MATE: Multidimensional Adaptive Testing Environment

Eines der Kernziele von TBA bei der Computerisierung papierbasierter Tests ist die Erhöhung der Messeffizienz. Im Vergleich zu Tests mit vorgegebener Testzusammenstellung, beispielsweise gängige lineare papierbasierte Tests, weisen computerisierte adaptive Tests in der Regel eine deutlich höhere Messeffizienz auf. Durch die Generalisierung von unidimensionalem zu multidimensionalem adaptiven Testen ist eine weitere Steigerungen der Messeffizienz möglich. So können mit multidimensionalen adaptiven Tests beispielsweise gleichzeitig mathematische und naturwissenschaftliche Kompetenzen auf hocheffiziente Weise gemessen werden. Mit der entsprechenden multidimensionalen adaptiven Testumgebung („Multidimensional Adaptive Testing Environment“: MATE) hat TBA im Rahmen des DFG-Schwerpunktprogramms „Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen“ eine Software entwickelt, die den gesamten Arbeitsablauf des multidimensionalen adaptiven Testens unterstützt.

Was ist MATE?

MATE verfolgt das Ziel, die Entwicklung und den Einsatz computerisierter adaptiver Tests zu fördern und zu vereinfachen. MATE ist die erste für wissenschaftliche Zwecke frei verfügbare Software, mit der über eine intuitive Point- & Click-Oberfläche multi- und unidimensionale adaptive Tests zusammengestellt, konfiguriert und administriert werden können. Zusätzlich können prä-operationale Simulationen durchgeführt werden. Damit lässt sich die künftige Performanz adaptiver Tests zielsicher abschätzen und die optimale Spezifikation der adaptiven Algorithmen bestimmen. Die Nutzungsmöglichkeiten von MATE werden in einem umfangreichen Manual beschrieben, das direkt in die Anwendung integriert ist.

Wie funktioniert MATE?

Die Benutzung von MATE setzt einen bestehenden Aufgabenpool voraus, dessen Items automatisch auswertbar sein müssen. Es können verschiedene Antwortformate verwendet werden, beispielsweise Multiple-Choice, halboffene Textformate mit eindeutig spezifizierbaren korrekten Antworten sowie komplexe Multiple-Choice-Antwortformate. Vorlagen für die Computerisierung können mit üblichen Programmen wie Microsoft PowerPoint oder Microsoft Word formatiert und auf effiziente Weise mit Hilfe von MATE computerisiert werden. Bei der Formatierung der Aufgaben können Farbmarker verwendet werden, um die korrekten und inkorrekten Antworten zu kennzeichnen. Die computerisierten Aufgaben können für die Administration von Tests mit MATE verwendet werden. Dies wird in folgender Grafik illustriert:

Nachdem das Aufgabenmaterial computerisiert wurde, kann die Art der Testvorgabe konfiguriert werden. MATE bietet eine Vielzahl von Konfigurationsmöglichkeiten an, mit denen die Tests den jeweiligen Anwendungsbedingungen genau angepasst werden können.
Der hauptsächliche Anwendungsbereich liegt im adaptiven Testen. Bei dieser Testart werden die Antworten der Testpersonen für die maßgeschneiderte Auswahl der jeweils nachfolgenden Aufgabe genutzt, um zu leicht oder zu schwer lösbare Aufgaben zu vermeiden. Um die adaptive Aufgabenauswahl zu ermöglichen, müssen die zu verwendenden Aufgaben im Vorfeld auf Basis eines Modells der Item-Response-Theorie kalibriert worden sein. Die aus dieser Kalibrierung resultierenden Aufgabenparameter (beispielsweise die Aufgabenschwierigkeiten) können auf einfache Weise in MATE eingelesen und den jeweiligen Aufgaben zugeordnet werden.
Um die Performanz computerisierter adaptiver Tests zu gewährleisten, sind vor deren Anwendung prä-operationale Simulationen mit verschiedenen Spezifikationen zu empfehlen. Hierdurch kann beispielsweise überprüft werden, welche Kombination aus Testlänge und Itemauswahl-Algorithmen bei einem gegebenen Aufgabenpool die höchste Messpräzision erwarten lässt. Dafür können in MATE Testdurchgänge mit simulierten Antworten erzeugt und im Hinblick auf unterschiedliche Kriterien ausgewertet sowie auch graphisch dargestellt werden.
Nachfolgend ein Beispiel der bei einer Simulation resultierenden Standardfehler der Fähigkeitsschätzung (Theta) für einen adaptiven Test:

Die Abbildung zeigt, dass der Standardfehler (Standard Error, Y-Achse) des simulierten adaptiven Tests über den gesamten Fähigkeitsbereich (True Theta, X-Achse) auf einem weitgehend einheitlichen Niveau liegt. Der hier simulierte adaptive Test erlaubt also eine Messung mit vergleichbarer Messpräzision in dem untersuchten Fähigkeitsbereich.

Auf Basis solcher Simulationsergebnisse kann ein für eine Zielpopulation optimal spezifizierter Test erzeugt werden. Dieser kann dann mit Hilfe von MATE realen Testpersonen vorgegeben werden. Die Testergebnisse können gespeichert und mit üblichen Statistikprogrammen wie SPSS^®, SAS^® oder R analysiert werden.

Wo wird MATE genutzt?

Die Software zur Administration und Simulation computerisierter adaptiver Tests wurde von TBA im Rahmen des Schwerpunktprogramms Kompetenzmodelle und in der dritten Förderphase des DFG-Projekts „Multidimensionale adaptive Kompetenzdiagnostik: MATE“ in Frankfurt und Jena entwickelt. MATE wird u.a. im Verbundprojekt MaK-adapt (Teilvorhaben adaptives Testen und Psychometrie) im Rahmen der ASCOT-Initiative zur Erhebung der allgemeinen Kompetenzen verwendet.

Wie ist MATE erhältlich?

MATE ist für den Einsatz in der Forschung frei verfügbar. Sollten Sie Interesse an der Nutzung von MATE haben, skizzieren Sie bitte kurz (a) die beteiligten Personen und ggf. Projekte, (b) die wissenschaftliche(n) Fragestellung(en), (c) die anvisierte Stichprobe sowie (d) den geplanten Ablauf und kontaktieren Sie uns. Bitte beachten Sie, dass wir für MATE keinen Support anbieten.

 

Finanzierung: DFG

Kooperation: Prof. Dr. Andreas Frey, Goethe-Universität Frankfurt

Laufzeit: Seit 2010

Status: laufend

Projektleitung: Ulf Kröhne (TBA)

Kontakt: Ulf Kröhne (TBA), Andreas Frey (Goethe-Universität Frankfurt)

Weitere Links: MAT-Projekt FSU; MAT-Projekt DIPF