Nationale Ergänzungsstudie zu Moduseffekten in PISA 2018
Das Projekt untersucht Moduseffekte in PISA. Das bedeutet, dass Unterschiede zwischen einer papierbasierten und einer computerbasierten Testung untersucht werden. Dabei stellen sich vor allem Fragen nach der psychometrischen Vergleichbarkeit beider Testformen. Darüber hinaus untersucht das Projekt insbesondere die Auswirkungen des Moduswechsels auf den gemessenen Trend in Deutschland.
Mit PISA 2015 erfolgte eine wichtige Änderung für die Testteilnehmerinnen und Testteilnehmer: Die Umstellung von papier- auf computerbasiertes Testen. Dabei wurde von den deutlich größeren Möglichkeiten der Test- und Aufgabengestaltung am Computer Gebrauch gemacht. In diesem Zusammenhang kamen jedoch auch zahlreiche Fragen zur Vergleichbarkeit der beiden Testformen auf, die innerhalb einer nationalen Ergänzungsstudie zu PISA 2018 näher in Augenschein genommen werden.
Einerseits geht es darum zu prüfen, ob sich das Antwortverhalten bei der Bearbeitung von Aufgaben auf Papier zu dem am Computer unterscheidet. Die Testaufgaben für die Bearbeitung am Computer unterscheiden sich in ihrer Gestaltung zum Teil deutlich von denen auf Papier. Dies lässt Fragen danach aufkommen, ob durch die Umstellung andere Anforderungen an die Teilnehmerinnen und Teilnehmer gestellt werden und sich somit Veränderungen hinsichtlich der jeweils gemessenen Kompetenz zeigen (Moduseffekt auf Konstruktinterpretation), die Aufgaben in gleicher Weise zwischen mehr oder weniger kompetenten Schülerinnen und Schülern unterscheiden können (Moduseffekt auf Itemdiskrimination) und darüber hinaus, ob sich die Schwierigkeit der Aufgaben für alle Personen bzw. Gruppen gleich stark ändert (moderierter Moduseffekt auf Schwierigkeit). Dabei gilt es auch zu untersuchen, ob sich Moduseffekte zwischen Schulen unterscheiden und durch welche Schulmerkmale (z. B. Computerausstattung oder Einsatz von Computern im Unterricht) diese erklärt werden können.
Ein zweiter wichtiger Punkt ist die Vergleichbarkeit der Studienergebnisse bisheriger PISA-Durchgänge. Neben der Beschreibung der Ergebnisse der jeweils aktuellen PISA-Studie wird im nationalen PISA-Berichtband immer auch die Entwicklung (Trend) analysiert und interpretiert. Mit der Umstellung auf computerbasiertes Testen ist ein Vergleich nicht mehr ohne weiteres möglich. Bei Analysen und Vergleichen müssen die Moduseffekte stets mitberücksichtigt werden. Mit dieser Ergänzungsstudie wird daher erforscht, wie stark solche Moduseffekte ausgeprägt sind und inwiefern sich diese auf die Vergleichbarkeit auswirken, um auch zukünftig verlässliche Aussagen über nationale Trends treffen zu können.
Erste Ergebnisse der Begleitstudie liefern Belege für die Konstruktäquivalenz zwischen der papierbasierten und computerbasierten Testung. Zudem weisen die Daten der Begleitstudie darauf hin, dass die computerbasierten Items im Mittel etwas schwieriger sind als die papierbasierten Items. Hinsichtlich der Veränderungen zwischen 2015 und 2018 zeigt sich eine hohe Übereinstimmung von international berichtetem (originalem) und nationalem (marginalem) Trend. Die Veränderungen zwischen 2009 und 2018 fallen für den nationalen Trend, der allein auf papierbasierten Messungen beruht, insgesamt etwas günstiger aus als für den originalen Trend.
Ausgewählte Publikationen
Goldhammer, F., Harrison, S., Bürger, S., Kroehne, U., Lüdtke, O., Robitzsch, A., Köller, O., Heine, J.-H & Mang, M. (2019). Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer. In K. Reiss, M. Weis, E. Klieme & O. Köller (Hrsg.), PISA 2018 Grundbildung im internationalen Vergleich (S. 163-186). Waxmann. http://zib.education/fileadmin/user_upload/Dokumente/Artikel/Moduseffekt_Studie_PISA_2018.pdf
Finanzierung: Zentrum für internationale Bildungsvergleichsstudien (ZIB)
Laufzeit: 2017 - 2021
Status: laufend
Kontakt: Scott Harrison