ProKom

Die Messung und Modellierung von Kompetenzen fokussiert in der Regel auf Ergebnisindikatoren, d.h. durch die Analyse von Antwortmustern in Testaufgaben wird auf das zugrundeliegende Kompetenzniveau geschlossen. Nicht berücksichtig wird bei dieser Vorgehensweise die Möglichkeit, neben interindividuellen Unterschieden in den Aufgabenergebnissen auch Verhaltensunterschiede in der Erreichung eines bestimmten Ergebnisses in die Kompetenzmodellierung einzubeziehen.

Das interdisziplinäre Projekt untersucht die Nutzung von Prozessdaten im Hinblick auf Bearbeitungszeiten, theoretisch begründete Prozessmaße sowie explorativ gebildete Prozessmodelle zum Interaktions-und Navigationsverhalten in komplexen computerbasierten Aufgabenformaten.

Ziele

Das übergeordnete Ziel des Projektes besteht in einer erweiterten Modellierung von Kompetenzen durch die Verwendung von Prozessdaten. Kompetenzausprägungen, die in der Regel nur über Ergebnisdaten definiert werden, sollen im Rahmen der drei folgenden Teilziele anhand der Benutzung von Prozessdaten (Bearbeitungszeiten und Bearbeitungsschritte) und unter Verwendung unterschiedlicher methodischer Herangehensweisen aus Psychometrie und Informatik umfassender beschrieben werden.

1. Bearbeitungszeiten: Durch die Anwendung integrierter Messmodelle für Reaktionen und Reaktionszeiten (IRT-RT Modelle) soll u. a. die Beziehung zwischen domänenspezifischen Fertigkeits- und Geschwindigkeitskonstrukten empirisch ermittelt werden.
2. Bearbeitungsschritte (theoriegeleitet): Für die Domänen Literacy und Problem Solving werden u. a. theoriegeleitet Prozessmaße gebildet, die die Güte des Navigationspfades beschreiben und als Prädiktoren des Aufgabenerfolgs sowie als Kompetenzindikatoren eingesetzt werden.
3. Bearbeitungsschritte (explorativ): Die registrierten Ereignissequenzen sollen u. a. mittels Process-Mining-Techniken automatisiert analysiert werden, um aus den empirischen Lösungswegen explorativ ein zugrundeliegendes Prozessmodell des tatsächlichen Bearbeitungsverhaltens zu ermitteln.

Methodisches Vorgehen

Empirische Grundlage der Untersuchung sind jeweils die nationalen Feldtestdaten aus der PIAAC-Studie. Im geplanten Projekt sollen erweiterte und fortgeschrittene Analysen durchgeführt werden, die nicht zum regulären Analyseplan der PIAAC-Studie gehören. Die nationale PIAAC Feldtest(FT)-Stichprobe umfasst ca. N=1500 Teilnehmer (Haushaltsstichprobe). Für das geplante Projekt werden die Daten aus dem computer-basierten Assessment von Literacy, Numeracy und Problem Solving genutzt.
Die statistische Modellbildung beinhaltet u. a. Messmodelle für kategoriale und kontinuierliche Indikatoren (IRT, CFA), Erklärungsmodelle unter Berücksichtigung von Aufgaben- und Personenmerkmalen und deren Interaktion, sowie explorative Process Mining-Techniken.

Literatur

Goldhammer, F., Naumann, J., Stelter, A., Tóth, K., Rölke, H., Klieme, E. (2014). The Time on Task Effect in Reading and Problem Solving Is Moderated by Task Difficulty and Skill: Insights From a Computer-Based Large-Scale Assessment. Journal of Educational Psychology. doi: 10.1037/a0034716

Goldhammer, F., Rauch, W., Schweizer, K., Moosbrugger, H. (2010). Differential effects of intelligence, perceptual speed and age on growth in attentional speed and accuracy. Intelligence, 38, 83-92.

 

Finanzierung: Deutsche Forschungsgemeinschaft

Kooperation international: R.H. Klein Entink (NL), M.L. Lennon (USA), L. Salmerón, E. Vidal-Abarca (ES), W. van der Aalst (NL)

Kooperation national: J. Funke, J. Hartig, D. Moldt, GESIS

Laufzeit: 10/2011 - 06/2016

Status: abgeschlossen

Projektleitung: Frank Goldhammer, Johannes Naumann

Kontakt: Annette Stelter, Frank Goldhammer