Logo: Deutsches Institut für Internationale Pädagogische Forschung

TBA Deutsch

MATE: Multidimensional Adaptive Testing Environment

Softwarewerkzeug zum adaptiven Testen um den Workflow des multidimensionalen adaptiven Testens zu unterstützen, Entwicklungen, Anwendungen und Gebrauch des computerbasierten adaptiven Testens anzuregen und zu vereinfachen

Eines der Kernziele von TBA bei der Computerisierung papierbasierter Tests ist die Erhöhung der Messeffizienz. Im Vergleich zu Tests mit vorgegebener Testzusammenstellung, beispielsweise gängige lineare papierbasierte Tests, weisen computerisierte adaptive Tests in der Regel eine deutlich höhere Messeffizienz auf. Durch die Generalisierung von unidimensionalem zu multidimensionalem adaptiven Testen ist eine weitere Steigerungen der Messeffizienz möglich. So können mit multidimensionalen adaptiven Tests beispielsweise gleichzeitig mathematische und naturwissenschaftliche Kompetenzen auf hocheffiziente Weise gemessen werden. Mit der entsprechenden multidimensionalen adaptiven Testumgebung („Multidimensional Adaptive Testing Environment“: MATE) hat TBA im Rahmen des DFG-Schwerpunktprogramms „Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen eine Software entwickelt, die den gesamten Arbeitsablauf des multidimensionalen adaptiven Testens unterstützt.

Was ist MATE?

MATE verfolgt das Ziel, die Entwicklung und den Einsatz computerisierter adaptiver Tests zu fördern und dern Entwicklung und Anwendung zu vereinfachen. MATE ist die erste für wissenschaftliche Zwecke frei verfügbare Software, mit der über eine intuitive Point- & Click-Oberfläche multi- und unidimensionale adaptive Tests zusammengestellt, konfiguriert und administriert werden können. Zusätzlich können prä-operationale Simulationen durchgeführt werden. Damit lässt sich die künftige Performanz adaptiver Tests zielsicher abschätzen und die optimale Spezifikation der adaptiven Algorithmen kann bestimmt werden. Die Nutzungsmöglichkeiten von MATE werden in einem umfangreichen Manual differenziert beschrieben, welches direkt in die Anwendung integriert ist.

Wie funktioniert MATE genau?

Die Benutzung von MATE setzt einen bestehenden Aufgabenpool voraus, dessen Items automatisch auswertbar sein müssen. Es können verschiedene Antwortformate verwendet werden, beispielsweise Multiple-Choice, halboffene Textformate mit eindeutig spezifizierbaren korrekten Antworten sowie komplexe Multiple-Choice-Antwortformate. Vorlagen für die Computerisierung können mit üblichen Programmen wie Microsoft PowerPoint oder Microsoft Word formatiert und auf effiziente Weise mit Hilfe von MATE computerisiert werden. Bei der Formatierung der Aufgaben können Farbmarker verwendet werden, um die korrekten und inkorrekten Antworten zu kennzeichnen. Die computerisierten Aufgaben können für die Administration von Tests mit MATE verwendet werden.  Dies wird in folgender Grafik illustriert:

grafik 1

Nachdem das Aufgabenmaterial computerisiert wurde, kann die Art der Testvorgabe konfiguriert werden. MATE bietet eine Vielzahl von Konfigurationsmöglichkeiten an, mit denen die Tests den jeweiligen Anwendungsbedingungen genau angepasst werden können.
Der hauptsächliche Anwendungsbereich liegt im adaptiven Testen. Bei dieser Art des Testens werden die Antworten der Testteilnehmerinnen und Testteilnehmer für die maßgeschneiderte Auswahl der jeweils nachfolgenden Aufgabe genutzt. Eine Vorgabe von individuell viel zu leichten oder viel zu schwierigen Aufgaben wird vermieden. Damit die adaptive Aufgabenauswahl möglich wird, müssen die zu verwendenden Aufgaben im Vorfeld auf Basis eines Modells der Item-Response-Theorie  kalibriert worden sein. Die aus dieser Kalibrierung resultierenden Aufgabenparameter (beispielsweise die Aufgabenschwierigkeiten) können auf einfache Weise in MATE eingelesen und den jeweiligen Aufgaben zugeordnet werden.
Um die Performanz computerisierter adaptiver Tests zu gewährleisten, sind vor deren Anwendung prä-operationale Simulationen mit verschiedenen Spezifikationen zu empfehlen. Hierdurch kann beispielsweise überprüft werden, welche Kombination aus Testlänge und Itemauswahl-Algorithmen bei einem gegebenen Aufgabenpool die höchste Messpräzision erwarten lässt. Dafür können in MATE Testdurchgänge mit simulierten Antworten erzeugt und im Hinblick auf unterschiedliche Kriterien ausgewertet sowie auch graphisch dargestellt werden.
Nachfolgend ein Beispiel der bei einer Simulation resultierenden Standardfehler der Fähigkeitsschätzung (Theta) für einen adaptiven Test:

grafik 2

Die Abbildung zeigt, dass der Standardfehler (Standard Error, Y-Achse) des simulierten adaptiven Tests über den gesamten Fähigkeitsbereich (True Theta, X-Achse) auf einem weitgehend einheitlichen Niveau liegt. Der hier simulierte adaptive Test erlaubt also eine Messung mit vergleichbarer Messpräzision in dem untersuchten Fähigkeitsbereich.

Auf Basis solcher Simulationsergebnisse kann ein für eine Zielpopulation optimal spezifizierter Test erzeugt werden. Dieser kann dann mit Hilfe von MATE realen Testpersonen vorgegeben werden. Die Testergebnisse können gespeichert und mit üblichen Statistikprogrammen wie SPSS®, SAS® oder R analysiert werden.

Wo wird MATE genutzt?

Die Software zur Administration und Simulation computerisierter adaptiver Tests wurde von TBA im Rahmen des Schwerpunktprogramms Kompetenzmodelle und in der dritten Förderphase des DFG-Projekts „Multidimensionale adaptive Kompetenzdiagnostik: MATE“ in Frankfurt und Jena entwickelt. MATE wird u.a. im Verbundprojekt MaK-adapt (Teilvorhaben adaptives Testen und Psychometrie) im Rahmen der ASCOT-Initiative zur Erhebung der allgemeinen Kompetenzen verwendet.

Wie ist MATE erhältlich?

MATE ist für den Einsatz in der Forschung frei verfügbar. Sollten Sie Interesse an der Nutzung von MATE haben, skizzieren Sie bitte kurz (a) die beteiligten Personen und ggf. Projekte, (b) die wissenschaftliche(n) Fragestellung(en), (c) die anvisierte Stichprobe sowie (d) den geplanten Ablauf und kontaktieren Sie uns. Bitte beachten Sie, dass wir für MATE keinen Support anbieten.

 

Finanzierung: DFG

Kooperation: Prof. Dr. Andreas Frey, Friedrich-Schiller-Universität Jena

Laufzeit: Seit 2010

Status: laufend

Projektleitung: Ulf Kröhne (TBA)

Kontakt: Ulf Kröhne (TBA), Andreas Frey (FSU Jena)

Weitere Links: MAT-Projekt FSU; MAT-Projekt DIPF

zuletzt verändert: 02.02.2016
CBA ItemBuilder

Eine neue Version des CBA ItemBuilders (Version 7.4) ist verfügbar.

Kontakt
Anfragen richten Sie bitte an 

Hier finden Sie die aktuellsten Publikationen.

Stellenangebote

aktuell keine freien Stellen zu besetzen