Logo: Deutsches Institut für Internationale Pädagogische Forschung

TBA Deutsch

ZIB priMA

Die Untersuchung des Verlaufs, in dem eine Testaufgabe bearbeitet wird, kann sowohl Anhaltspunkte für erfolgreiche Lösungswege als auch Schwierigkeiten im Lösungsprozess geben. Im Projekt „Abbildung von Antwortprozessen in Abhängigkeit von individuellen Merkmalen und Aufgabeneigenschaften“ (ZIB priMA) wird untersucht, wie solche Bearbeitungsprozesse abgebildet und angemessen statistisch modelliert werden können.

In der Regel wird zur Messung von Kompetenzen betrachtet, ob Personen Testaufgaben richtig oder falsch gelöst haben. Werden Testungen technologiegestützt durchgeführt – z.B. im Form von computerbasierten Assessments (CBA), können neben diesen „traditionellen“ Ergebnisdaten auch Verhaltensdaten gesammelt werden, die über den Verlauf einer Aufgabenbearbeitung informieren. Diese sogenannten Prozessdaten werden ohne Mehraufwand für Teilnehmende generiert und in Logfiles gespeichert. Sie umfassen für einzelne Personen beispielsweise Zeiten zur Bearbeitung einer Aufgabe sowie Bearbeitungsschritte und ihre Sequenz abgeleitet aus Klickdaten der Maus und Anschläge auf der Tastatur.

Im Projekt werden damit verbundene inhaltliche und methodische Herausforderungen im Rahmen von internationalen Bildungsvergleichsstudien wie PISA (Programme for International Student Assessment) und PIAAC (Programme for the International Assessment of Adult Competencies) untersucht. Dabei wird auf die Leistungs- und Logdaten von computerbasierten Kompetenz-Assessments aus bereits vorliegenden und kommenden Daten aus PISA und PIAAC zurückgegriffen. Konkret widmet sich das Projekt den folgenden übergeordneten Forschungsfragen:

1) Was sind valide Prozessindikatoren? Prozessdaten geben das Bearbeitungsverhalten von Personen wieder. Es wird daher angenommen, dass sie auch Rückschlüsse auf zugrundeliegende kognitive und motivationale Verarbeitungsprozesse und somit auch Kompetenzen zulassen. Es stellen sich aber Fragen danach, wie aus den erfassten Datenmengen neue und inhaltlich bedeutungsvolle Indikatoren zur Kompetenzmessung abgeleitet werden können, wie eindeutig interpretierbar diese sind und wie sie zur Qualitätssicherung bzw. Verbesserung bereits bestehender Indikatoren beitragen.

2) Wie können Antwortprozesse gemeinsam mit Ergebnisdaten modelliert werden? Methodische Herausforderungen umfassen die gemeinsame Modellierung von Antwort- und Prozessdaten in statistischen Mess- und Erklärungsmodellen mit dem Ziel Zusammenhänge zwischen Kompetenzen und Prozessen aus Large-Scale Assessments adäquat zu beschreiben (z.B. Bearbeitungszeiten als latenter Faktor zur Bestimmung der Geschwindigkeit).

3) Welchen Einfluss haben individuelle Personenmerkmale und aufgabenspezifische Eigenschaften auf den Lösungsprozess? Um zu einem besseren Verständnis darüber zu gelangen, wie Antworten in Fragebögen und Tests zustande kommen, sollen auch Unterschiede zwischen Personen sowie Aufgabeneigenschaften untersucht werden, die beispielsweise systematische Einflüsse wiederspiegeln können (z.B. sich ändernde Lösungsstrategien über Aufgaben hinweg).

Kontakt: Carolin Hahnel

zuletzt verändert: 20.12.2017