NEPS TBT: Arbeitspaket Technologiebasiertes Testen

Das DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation trägt als Konsortialpartner zur Planung und Durchführung des Nationalen Bildungspanels (NEPS) bei. Eines der Projektschwerpunkte ist das Arbeitspaket Technologiebasiertes Testen (TBT).

neps logoNEPS: National Educational Panel

Das Nationale Bildungspanel (NEPS) ist eine Multi-Kohorten-Längsschnittstudie, die seit 2009 die individuelle Bildungs- und Kompetenzentwicklung von 60.000 Kindern, Jugendlichen und Erwachsenen in sechs Startkohorten im Längsschnitt untersucht. Mit einem Schwerpunkt auf Kompetenzmessung legt das NEPS die Datengrundlage zur Untersuchung von Bildungschancen und Bildungsübergängen in Deutschland. Dazu werden neben Interviews und Befragungen regelmäßig Kompetenztests in unterschiedlichen Domänen durchgeführt. In der ersten Projektphase (2009 bis 2013) wurde das NEPS vom Bundesministerium für Bildung und Forschung (BMBF) gefördert. Seit 2014 wird das Nationale Bildungspanel im Leibniz-Institut für Bildungsverläufe e.V. (LIfBi) an der Otto-Friedrich-Universität Bamberg weitergeführt. Das DIPF| Leibniz-Institut für Bildungsforschung und Bildungsinformation ist NEPS-Konsortialpartner und LIfBi-Gründungsmitglied.

Projektbeschreibung

Das Arbeitspaket Technologiebasiertes Testen (TBT) gehört zur Methodengruppe des NEPS und ist am  DIPF innerhalb des interdisziplinären Zentrums für technologiebasiertes Assessment (TBA)  angesiedelt. Dort steht es unter der wissenschaftlichen Leitung von Dr. Ulf Kröhne und der operativen Leitung von Dr. Lena Engelhardt. TBT arbeitet eng mit dem Leibniz-Institut für Bildungsverläufe (LIfBi) zusammen und beschäftigt sich mit innovativen Befragungs- und Testmethoden, beispielsweise mit computer- und internetbasierter Kompetenztestung. TBT unterstützt mit wissenschaftsbasierten Dienstleistungen, projektspezifischen Anpassungen von Softwareprodukten und wissenschaftlicher Begleitforschung die Einführung und Umsetzung von technologiebasiertem Testen im NEPS. Nach der erfolgreichen Einführung von technologiebasiertem Testen in den außerinstitutionellen und der zunehmenden Umsetzung in institutionellen Erhebungskontexten des NEPS, liegt der Forschungs- und Entwicklungsschwerpunkt auf der Nutzung von Eigenschaften technologiebasierten Testens für die Weiterentwicklung und Optimierung von Assessments. Hierbei steht die Steigerung der Messeffizienz und der Nutzung von Log- und Prozessdaten im aktuellen Fokus.

Projektziele für die Projektphase 2018-2022

Übergeordnetes Ziel des NEPS-TBT Projekts ist die Durchführung von wissenschaftlich fundierten, inter­na­tional anschlussfähigen technologiebasierten Assessments in den Panel-Studien. Fünf zentrale Innovationsschwerpunkte sollen dieser Zielerreichung beitragen: (1) Schrittweise Aktualisierung von Software-Komponenten, (2) Transfer von Assessment-Innovationen (z.B. innovative Itemformate & Steigerung der Messeffizienz) in Panel-Studien, (3) Cross-Mode Linking auch auf heterogene Erhebungshardware (Tablets, Touch-Eingabe) ausweiten, (4) Datenaufbereitung aller TBT-Daten über Log-Daten, (5) automatisierte Software-Testung und Qualitätssicherung. Diese Innovations­schwerpunkte finden eine konkrete Umsetzung in den folgenden Arbeitspaketen:

  1. Es soll eine Strategie zur Testung und Qualitätssicherung von studienspezifischen TBT-Modulen entwickelt werden. Diese soll durch eine automatisierte Testung eine vollständige Datenablageprüfung ermöglichen, der Qualitätssicherung fester Testzusammenstellungen dienen, sowie die Prüfung adaptiver Testzusammenstellungen erlauben.
  2. Die Entwicklung eines standardisierten Editors im Rahmen der aktualisierten Software-Komponenten soll die automatische Prüfung von Codebooks sowie der Testdefinition für Multistage-Tests ermöglichen.
  3. Es soll ein einheitliches studienübergreifendes Konzept für die Kodierung fehlender Antworten entwickelt werden, welches Indikatoren aus Log-Daten berücksichtigt.
  4. Es sollen Voraussetzungen geschaffen werden, um psychometrisch anspruchsvolle Testdesigns, beispielsweise adaptive Algorithmen, umsetzen zu können. Hierfür wird bei TBA eine Infrastruktur entwickelt, mit deren Hilfe die CAT-Algorithmen für die Testentwicklung aus R konfiguriert und mit Simulationsstudien getestet werden können, welche operativ in die Auslieferungssoftware integriert sind.
  5. Dem Paradigma der Sparsamkeit folgend, sollen Ergebnis- und Log-Daten nicht parallel aufbereitet werden sondern die Aufbereitung der Ergebnisdaten auf Basis der Log-Daten erfolgen. Hierfür wurden bspw. Kriterien für die Definition der Vollständigkeit von Log-Daten entwickelt (vgl. Kroehne & Goldhammer, 2018). Diese Entwicklungen sollen für die Erstellung von generischen Werkzeugen verwendet werden, mit deren Hilfe die Datenaufbereitung reproduzierbar und nachvollziehbar wird.

Abgeschlossene Projektphase 2014-2017

Abgeschlossene Projektphase 2009-2013

Forschungsthemen 

Dienstleistungen

Ausgewählte Vorträge und Publikationen

 

Finanzierung: BMBF

Kooperation: Leibniz-Institut für Bildungsverläufe e.V. Bamberg (LIfBi), Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel (IPN)

Laufzeit: 2018 - 2022

Status: laufend

Projektleitung: 

Wissenschaftliche Leitung: Ulf Kröhne

Operative Leitung: Lena Engelhardt

Projektteam: Tobias Deribo, Marisa Herrmann, Christina Röper, Felix Wagner

Kontakt: Ulf Kröhne

 

Zur Webseite des NEPS am LIfBi.