Abgeschlossene Projektphase 2014-2017

Für die im Längsschnitt des NEPS mehrfach erhobenen Domänen Lesen, Mathematik, Naturwissenschaften und ICT Literacy wurden, basierend auf kombinierten Mode-Effekt und Linkstudien sowie mit Hilfe experimenteller Modus-Variation, Änderungen der Messinstrumente infolge der Computerisierung psychometrisch erforscht (siehe z.B. Buerger, Kroehne & Goldhammer,  2016). Dazu wurden solche Verfahren der Quantifizierung und Korrektur von Mode-Effekten untersucht und angewendet, die eine Einführung computerbasierter Kompetenztestung im NEPS ermöglichen. Forschungs- und Entwicklungsschwerpunkt lag in dieser Projektphase auf der Nutzung von Eigenschaften technologiebasierten Testens für die Weiterentwicklung und Optimierung von NEPS Kompetenztests (z.B. die Erprobung von multiplem Highlighting als Antwortformat).

Für die vertiefte Erforschung von Modus- und Settingseffekten wurde bei TBA beispielsweise ein Verfahren zur Erfassung von Log-Daten bei der papierbasierten Testung entwickelt, welches in ausgewählten NEPS-Studien zum Einsatz gekommen ist (siehe z.B. Kroehne & Goldhammer, 2018). Mit Hilfe digitaler Kugelschreiber erfolgt dabei die Beantwortung der papierbasiert administrierten Fragen in Testheften, in welchem ein spezielles Punktmuster aufgedruckt ist (siehe u.a. Dirk et al, 2017 für eine Beschreibung). Während die Eintragungen im Testheft mit diesen digitalen Kugelschreibern für die Panelteilnehmenden so sichtbar sind als wären sie mit einem gewöhnlichen Kugelschreiber vorgenommen worden, werden die Koordinaten und Zeitstempel aller Antworten zusätzlich über einen Bluetooth-verbundenen Computer aufgezeichnet. Diese Erhebungsmethode erlaubt die Analyse von Beantwortungsprozessen, wie bspw. den Vergleich der Bearbeitungszeiten zwischen papier- und computerbasierter Testung (siehe z.B. Kroehne, Hahnel, & Goldhammer, 2019).

Ausgewählte Publikationen

• Kroehne, U., Gnambs, T., & Goldhammer, F. (2019). Disentangling setting and mode effects for online competence assessment. In H.-P. Blossfeld & H.-G. Roßbach (Hrsg.), Education as a lifelong process (2. Aufl.). Wiesbaden, Germany: Springer VS. doi: 10.1007/978-3-658-23162-0
• Buerger, S., Kroehne, U., Köhler, C. & Goldhammer, F. (2019). What makes the difference? The impact of item properties on mode effects in reading assessments. Studies in Educational Evaluation, 62, 1-9. doi: 10.1016/j.stueduc.2019.04.005
• Kroehne, U., Hahnel, C. & Goldhammer, F. (2019). Invariance of the response processes between gender and modes in an assessment of reading. Frontiers in Applied Mathematics and Statistics, 5:2. doi: 10.3389/fams.2019.00002
• Kroehne, U., Buerger, S., Hahnel, C. & Goldhammer, F. (2019). Construct equivalence of PISA reading comprehension measured with paper‐based and computer‐based assessments. Educational Measurement, 38(3), 97-111. doi: 10.1111/emip.12280
• Dirk, J., Kratzsch, G. K., Prindle, J. P., Kroehne, U., Goldhammer, F., & Schmiedek, F. (2017). Paper-Based Assessment of the Effects of Aging on Response Time: A Diffusion Model Analysis. Journal of Intelligence, 5(2), 12. doi: 10.3390/jintelligence5020012
• Buerger, S., Kroehne, U., & Goldhammer, F. (2016). The Transition to Computer-Based Testing in Large-Scale Assessments: Investigating (Partial) Measurement Invariance between Modes. Psychological Test and Assessment Modeling, 58(4), 597-616.
• Goldhammer, F., & Kroehne, U. (2014). Controlling Individuals’ Time Spent on Task in Speeded Performance Measures: Experimental Time Limits, Posterior Time Limits, and Response Time Modeling. Applied Psychological Measurement, 38(4), 255–267. doi: 10.1177/0146621613517164