NEPS TBT: Arbeitspaket Technologiebasiertes Testen

Das Nationale Bildungspanel (NEPS) ist eine Multi-Kohorten-Längsschnittstudie, die individuelle Bildungs- und Kompetenzentwicklung von mehr als 70.000 Teilnehmenden und etwa 50.000 Kontextpersonen in sieben Startkohorten über den gesamten Lebensverlauf untersucht. Mit einem Schwerpunkt auf Kompetenzmessung legt das NEPS die Datengrundlage zur Untersuchung von Bildungschancen und Bildungsübergängen in Deutschland. Dazu werden neben Interviews und Befragungen regelmäßig Kompetenztests in unterschiedlichen Domänen durchgeführt. Das NEPS wurde 2009 als Projekt vom Bundesministerium für Bildung und Forschung (BMBF) gefördert. Seit 2014 wird das Nationale Bildungspanel am Leibniz-Institut für Bildungsverläufe e.V. (LIfBi) in Bamberg fortgeführt.

Projektbeschreibung

Das Arbeitspaket Technologiebasiertes Testen (TBT) gehört zur Methodengruppe des NEPS und ist am DIPF im TBA-Zentrum (Zentrum für technologiebasiertes Assessment) angesiedelt. Dort steht es unter der wissenschaftlichen Leitung von Prof. Dr. Frank Goldhammer und wissenschaftlichen Co-Leitung von Dr. Daniel Schiffner sowie der operativen Leitung von Dr. Lena Engelhardt. TBT arbeitet eng mit dem Leibniz-Institut für Bildungsverläufe (LIfBi) zusammen und beschäftigt sich mit innovativen Befragungs- und Testmethoden, beispielsweise mit computer- und internetbasierter Kompetenztestung.

Projektziele für die Projektphase 2023-2027

Ziel von NEPS-TBT ist neben der Erbringung wissenschaftlicher Dienstleistungen auch die wissenschaftliche Begleitforschung zu aktuell relevanten Themen im NEPS. Diese umfasst in der laufenden Projektphase die

Mitgestaltung und Umsetzung von Proctored vs. Unproctored Online Erhebungen.

Hierbei steht die experimentelle Untersuchung von möglichen zukünftigen Online-Erhebungsformaten im Fokus und Effekte dieser Formate auf bspw. das Bearbeitungsverhalten oder die Datenqualität. Mit den zu erprobenden Erhebungsformaten sollen im Vergleich zur klassischen eins-zu-eins Interviewsituation im Haushalt neue zukunftsträchtige Möglichkeiten ausgelotet werden. Beispielsweise könnten Personen Online in Begleitung eines virtuell zugeschalteten Interviewenden die Kompetenztests bearbeiten (proctored mode), oder die Kompetenztests in einem Online-Setting eigenständig bearbeiten (unproctored mode). Dabei werden Indikatoren für potentiell abweichendes Bearbeitungsverhalten (z.B. längere Inaktivität, Rapid Guessing, etc.) entwickelt, zur Laufzeit ausgelesen und passende Prompts ausgestaltet und als Intervention dargeboten. Es soll geprüft werden, ob solche Prompts Verhaltensanpassungen bewirken können. Darüber hinaus soll untersucht werden, ob die verschiedenen Bedingungen zu einer validen Interpretation der Bearbeitungsergebnisse führen, die mit dem klassischen eins-zu-eins Setting vergleichbar ist.

Diagnostische Nutzung von Prozessindikatoren, z.B. zur Prognose der Panelbereitschaft

Auf Basis von Logdaten sollen Prozessindikatoren extrahiert werden, die zur Modellierung von Kompetenzdaten herangezogen werden können und beispielsweise der forschungsbasierten Weiterentwicklung bestehender Skalierungsmodelle dienen. Mithilfe von Prozessindikatoren können zudem Aspekte der Datenqualität oder Missingkodierung, d.h. die Zuordnung fehlender Werte zu einer Kategorie fehlender Werte, betrachtet werden.

Darüber hinaus sollen Prozessdaten gemeinsam mit Ergebnis- und Paradaten, wie z.B. Rückmeldezeiten, genutzt werden, um die Teilnahmebereitschaft für Folgeerhebungen vorhersagen zu können. Hieraus können Risikoprofile in Hinblick auf drop-out resultieren, aus denen sich Implikationen zur Panelpflege sowie Incentivierung ableiten lassen.

Forschungsthemen

• Untersuchung verschiedener Erhebungsformate im Online-Setting (z.B. Proctoring, Prompts)
• Untersuchung des Bearbeitungsverhaltens in Online-Testungen und Wirksamkeit verhaltensbezogener Interventionen
• Vorhersage der Teilnahmebereitschaft für Folgeerhebungen unter Nutzung multipler Datenquellen, wie z.B. Prozessindikatoren, Ergebnisdaten, Paradaten
• Erstellung und Validierung innovativer Item- und Antwortformate für computerbasiertes Testen
• Analyse und Validierung prozessbezogener Verhaltensdaten aus Kompetenzmessungen
• Modellierung von Bearbeitungsgeschwindigkeit

Dienstleistungen

Das Arbeitspaket TBT unterstützt mit wissenschaftsbasierten Dienstleistungen, projektspezifischen Anpassungen von Softwareprodukten und wissenschaftlicher Begleitforschung die Umsetzung von technologiebasiertem Testen im NEPS v.a. in den Domänen Lesen und Mathematik.

Die wissenschaftlichen Dienstleistungen umfassen:

• Bereitstellung des CBA ItemBuilder und einer Testanwendung (IRTlib) zur Auslieferung computerbasierter Testmodule
• Studienspezifische Begleitung in Form von Support bei der Erstellung der Testaufgaben und Unterstützung bei der Erstellung der Testmodule
• Regelmäßige Workshop-Angebote sowie Aufbau einer Wissensdatenbank zur Unterstützung von Item-Autoren bei der eigenständigen Erstellung computerbasierter Testmodule
• Prototypische Erstellung innovativer und neuer Aufgabenformate
• Koordination von Anforderungen für die Weiterentwicklung des Autorenwerkzeugs CBA ItemBuilder und der Testanwendung (IRTlib) für den Einsatz im NEPS
• Aufbereitung und Auswertung von Datenbeständen (Ergebnis- und Prozessdaten) sowie Bereitstellung von bestehenden Werkzeugen von DIPF TBA zur Auswertung der erhobenen Daten

Ausgewählte Vorträge und Publikationen

Vorträge:

• Köllich, L.; Engelhardt, L., Goldhammer, F. (2024, September): Bahnen sich Rapid Guesses im Testverlauf an? Erklärung und Vorhersage von Rapid Guesses mit Prozessdaten. Talk presented at the 53rd DGPs Congress, Vienna, September 16.-19., 2024.
• Deribo, T.; Kröhne, U.; Hahnel, C., Goldhammer, F. (2023, March): Time-on-Task from Log and Eye Movement Data: Commonalities and Differences. Talk presented at the Annual Meeting of the National Council on Measurement in Education (NCME), Virtual, Chicago, USA, March 28.-30., 2023.
• Engelhardt, L., Kroehne, U., Hahnel, C., Deribo, T., Goldhammer, F. (2021, June). Validating ability-related time components in reading tasks with unit structure. Talk presented at the NEPS Conference 2021, Virtual, June 8, 2021.

Publikationen:

• Deribo, T., Goldhammer, F., & Kroehne, U. (2023). Changes in the Speed–Ability Relation Through Different Treatments of Rapid Guessing. Educational and Psychological Measurement, 83(3), 473-494. https://doi.org/10.1177/00131644221109490
• Goldhammer, F., Hahnel, C., Kroehne, U. & Zehner, F. (2021). From byproduct to design factor: On validating the interpretation of process indicators based on log data. Large-scale Assessments in Education, 9:20. doi: 1186/s40536-021-00113-5
• Goldhammer, F., Kroehne, U., Hahnel, C. & De Boeck, P. (2021). Controlling speed in component skills of reading improves the explanation of reading comprehension. Journal of Educational Psychology, 113(5), 861-878. doi: 1037/edu0000655
• Engelhardt, L. & Goldhammer, F. (2019). Validating test score interpretations using time information. Frontiers in Psychology, 10:1131. doi: 10.3389/fpsyg.2019.01131
• Engelhardt, L., Goldhammer, F., Naumann, J. & Frey, A. (2017). Experimental validation strategies for heterogeneous computer-based assessment items. Computers in Human Behavior, 76, 683-692. doi: 10.1016/j.chb.2017.02.020

Finanzierung: Drittmittel

Kooperation: Leibniz-Institut für Bildungsverläufe (LIfBi), Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel (IPN)

Laufzeit: 2023 - 2027

Status: laufend

Wissenschaftliche Leitung: Frank Goldhammer, Daniel Schiffner

Projektteam: Lena Engelhardt, Barbara Persch, Leo Köllich

Kontakt: Lena Engelhardt (operative Leitung)

Abgeschlossene Projektphasen

Abgeschlossene Projektphase 2018-2022

Abgeschlossene Projektphase 2014-2017

Abgeschlossene Projektphase 2009-2013