priMA – Abbildung von Antwortprozessen in Abhängigkeit von individuellen Merkmalen und Aufgabeneigenschaften

Internationale Bildungsvergleichsstudien wurden in den letzten Jahren zunehmend auf computerbasierte Assessments umgestellt. Dadurch ergeben sich u. a. Perspektiven, um die Durchführung eines Assessments oder die Interpretierbarkeit seiner Daten zu verbessern (z. B. durch adaptives Testen oder das Erkennen von unmotiviertem Testverhalten). Um solche Möglichkeiten zu nutzen, können beispielweise Prozessdaten herangezogen werden. Prozessdaten sind Verhaltensdaten, die aus Logdaten abgeleitet werden und über den Verlauf einer Testsitzung informieren. Logdaten umfassen Interaktionen der Testperson mit dem Assessmentsystem beispielsweise in Form von Klicks mit der Maus und Anschläge der Tastatur sowie dazugehörige Zeitinformation.

Prozessdaten spiegeln Verhaltensweisen während der Bearbeitung einer Aufgabe wider. Daher wird angenommen, dass sie Rückschlüsse auf zugrundeliegende kognitive und motivationale Verarbeitungsprozesse erlauben. Die Untersuchung des Bearbeitungsverlaufs durch Prozessdaten liefert somit Anhaltspunkte für konstruktrelevante Teilprozesse, erfolgreiche Lösungsstrategien oder auch Schwierigkeiten, die eine Person während der Bearbeitung einer Aufgabe erfahren hat. Hierbei sind vor allem solche Prozessindikatoren interessant, die den Aufgabenerfolg vorhersagen können und somit im Falle einer falschen Antwort Informationen darüber bereitstellen, warum jemand eine Aufgabe nicht lösen konnte. Ein tiefergehendes Verständnis von Aufgabenbearbeitungsprozessen kann somit insgesamt wichtige Impulse setzen, um Lernprozesse positiv zu beeinflussen (z. B. zur Individualisierung von Instruktionen und lernförderlichen Rückmeldungen).

Vor diesem Hintergrund untersuchte das Projekt inhaltliche, methodische und diagnostische Herausforderungen in der Verwendung und Modellierung von Prozessdaten, wobei zwei überordnete Forschungsfragen verfolgt wurden:

1. Wie lassen sich Antwortprozesse in Form von validen Prozessindikatoren abbilden? Grundsätzlich stellt sich die Frage, wie Logdaten so zusammengefasst werden können, dass sie als Indikatoren bestimmter, nicht direkt beobachtbarer kognitiver Prozesse interpretiert werden können. Dabei ist zu klären, inwiefern ein Prozessindikator mehrdeutige Interpretationen zulässt (z. B. deutet eine kurze Bearbeitungszeit darauf hin, dass eine Person sehr effizient gearbeitet hat oder dass sie unmotiviert war?). Um auch ein besseres Verständnis dafür zu erhalten, wie Antworten in Fragebögen und Tests zustande gekommen sind, wurden zudem Unterschiede zwischen Personen und Aufgabeneigenschaften untersucht (z. B. treten sehr kurze Bearbeitungszeiten vor allem bei leistungsstarken Personen und in sehr leichten Aufgaben auf?
2. Wie lassen sich Antwortprozesse bei der Kompetenzmodellierung berücksichtigen? Als wesentliche methodische Zielsetzung wurde die angemessene Modellierung von Prozessindikatoren in statistischen Mess- und Erklärungsmodellen zusammen mit traditionellen Antwortdaten verfolgt. Ziel war es u. a. die Geschwindigkeit der Aufgabenbearbeitung als latentes Personenmerkmal abzubilden. Der Fokus lag hier vor allem auf der Modellierung von Antworten und Antwortzeiten in kognitiven Messinstrumenten. Darüber hinaus wurden auch Modelle untersucht, in denen Komponenten im Bearbeitungsprozess abgebildet werden, die nicht in erster Linie konstruktrelevant sind, aber die Zuverlässigkeit der Kompetenzmessung erheblich beeinflussen können (z. B. war eine Person motiviert genug den Test so zu bearbeiten, sodass tatsächlich ihr Wissen und ihre Fähigkeit gemessen werden).

Für die Bearbeitung der Forschungsfragen griff das Projekt-Team vor allem auf vorliegende Daten aus PISA und PIAAC zurück.

Ausgewählte Publikationen

Goldhammer, F., Hahnel, C., & Kroehne, U. (in press). Analyzing log file data from PIAAC. In D. B. Maehler & B. Rammstedt (Hrsg.), Large-Scale Cognitive Assessment: Analysing PIAAC Data. Springer International Publishing.

Goldhammer, F., Martens, T., & Lüdtke, O. (2017). Conditioning factors of test-taking engagement in PIAAC: an exploratory IRT modelling approach considering person and item characteristics. Large-scale Assessments in Education, 5, 1–25. https://doi.org/10.1186/s40536-017-0051-9

Goldhammer, F., & Zehner, F. (2017). What to Make Of and How to Interpret Process Data. Measurement: Interdisciplinary Research and Perspectives, 15(3–4), 128–132. https://doi.org/10.1080/15366367.2017.1411651

Hahnel, C., Kroehne, U., Goldhammer, F., Schoor, C., Mahlow, N., & Artelt, C. (2019). Validating process variables of sourcing in an assessment of multiple document comprehension. British Journal of Educational Psychology, 89, 524–537. https://doi.org/10.1111/bjep.12278

Kroehne, U., & Goldhammer, F. (2018). How to conceptualize, represent, and analyze log data from technology-based assessments? A generic framework and an application to questionnaire items. Behaviormetrika, 45(2), 527–563. https://doi.org/10.1007/s41237-018-0063-y

 

Finanzierung: Zentrum für internationale Bildungsvergleichsstudien (ZIB)

Kooperation: IPN, TUM

Laufzeit: 2017 - 2019

Staus: abgeschlossen

Kontakt: Carolin Hahnel