Abgeschlossene Projektphase 2018-2022

Übergeordnetes Ziel des NEPS-TBT Projekts war die Durchführung von wissenschaftlich fundierten, inter­na­tional anschlussfähigen technologiebasierten Assessments in den Panel-Studien.

Fünf zentrale Innovationsschwerpunkte sollten dieser Zielerreichung beitragen: (1) schrittweise Aktualisierung von Software-Komponenten, (2) Transfer von Assessment-Innovationen (z.B. innovative Itemformate & Steigerung der Messeffizienz) in Panel-Studien, (3) Cross-Mode Linking auch auf heterogene Erhebungshardware (Tablets, Touch-Eingabe) ausweiten, (4) Datenaufbereitung aller TBT-Daten über Log-Daten, (5) automatisierte Software-Testung und Qualitätssicherung. Diese Innovations­schwerpunkte finden eine konkrete Umsetzung in den folgenden Arbeitspaketen:

  1. Es soll eine Strategie zur Testung und Qualitätssicherung von studienspezifischen TBT-Modulen entwickelt werden. Diese soll durch eine automatisierte Testung eine vollständige Datenablageprüfung ermöglichen, der Qualitätssicherung fester Testzusammenstellungen dienen sowie die Prüfung adaptiver Testzusammenstellungen erlauben.
  2. Die Entwicklung eines standardisierten Editors im Rahmen der aktualisierten Software-Komponenten soll die automatische Prüfung von Codebooks sowie der Testdefinition für Multistage-Tests ermöglichen.
  3. Es soll ein einheitliches studienübergreifendes Konzept für die Kodierung fehlender Antworten entwickelt werden, welches Indikatoren aus Log-Daten berücksichtigt.
  4. Es sollen Voraussetzungen geschaffen werden, um psychometrisch anspruchsvolle Testdesigns, beispielsweise adaptive Algorithmen, umsetzen zu können. Hierfür wird bei TBA eine Infrastruktur entwickelt, mit deren Hilfe die CAT-Algorithmen für die Testentwicklung aus R konfiguriert und mit Simulationsstudien getestet werden können, welche operativ in die Auslieferungssoftware integriert sind.
  5. Dem Paradigma der Sparsamkeit folgend, sollen Ergebnis- und Log-Daten nicht parallel aufbereitet werden sondern die Aufbereitung der Ergebnisdaten auf Basis der Log-Daten erfolgen. Hierfür wurden bspw. Kriterien für die Definition der Vollständigkeit von Log-Daten entwickelt (vgl. Kroehne & Goldhammer, 2018). Diese Entwicklungen sollen für die Erstellung von generischen Werkzeugen verwendet werden, mit deren Hilfe die Datenaufbereitung reproduzierbar und nachvollziehbar wird.

Ausgewählte Publikationen:

  • Kroehne, U. & Goldhammer, F. (2018). How to conceptualize, represent, and analyze log data from technology-based assessments? A generic framework and an application to questionnaire items. Behaviormetrika, 45(2), 527–563. https://doi.org/10.1007/s41237-018-0063-y
  • Deribo, T., Goldhammer, F., & Kroehne, U. (2023). Changes in the Speed–Ability Relation Through Different Treatments of Rapid Guessing. Educational and Psychological Measurement, 83(3), 473-494. https://doi.org/10.1177/00131644221109490
  • Deribo, T., Kröhne, U. & Goldhammer, F. (2021). Model‐based treatment of rapid guessing. Journal of Educational Measurement, 58(2), 281-303. doi: 10.1111/jedm.12290
  • Kröhne, U., Deribo, T. & Goldhammer, F. (2020). Rapid guessing rates across administration mode and test setting. Psychological Test and Assessment Modeling, 62(2), 144-177. doi: 10.25656/01:23630
  • Kroehne, U. & Goldhammer, F. (2018). How to conceptualize, represent, and analyze log data from technology-based assessments? A generic framework and an application to questionnaire items. Behaviormetrika, 45(2), 527-563. doi: 10.1007/s41237-018-0063-y
  • Engelhardt, L., Goldhammer, F., Naumann, J., & Frey, A. (2017). Experimental validation strategies for heterogeneous computer-based assessment items. Computers in Human Behavior, 76(11), 683-692. doi: 10.1016/j.chb.2017.02.020