ReCo: Textantworten aus Large-Scale Assessments automatisch verarbeiten

Die Software ReCo wurde anfänglich an der Technischen Universität München und im Zentrum für Internationale Bildungsvergleichsstudien (ZIB) e.V. entwickelt. In Kooperation mit der TU München und dem ZIB wird ReCo nun am DIPF im TBA-Zentrum weiterentwickelt. Das Projekt fasst die allgemeine ReCo-Entwicklung sowie Forschungsstudien rund um den Einsatz der Software zusammen. Dabei zeichnet die TBA-Gruppe einerseits für die konzeptuelle und technische Fortentwicklung verantwortlich, andererseits agiert sie als Projektleitung etwa im Projekt ReCo-Multi und unterstützt externe Forschungsgruppen in der Anwendung der Software.

Leistungsmessung in der Bildungsforschung verbessern

Bei der Konstruktion von Leistungstests stehen Forschungsgruppen zumeist vor der Frage, welches Antwortformat angemessen ist. Werden Antwortmöglichkeiten vorgegeben, wie etwa im Multiple-Choice-Format, können die Antworten leicht verarbeitet werden. Dieses geschlossene Format bringt aber neben Rateeffekten weitere unerwünschte Nebeneffekte mit sich. Dürfen die Befragten hingegen offen in ein Textfeld schreiben, was sie für die richtige Antwort halten, ist die Auswertung in vielen Fällen kompliziert. Ein Vorteil aber ist, dass dadurch tieferes Verständnis gemessen werden kann als es in einigen Domänen durch ein geschlossenes Format möglich ist, da die Befragten dabei eine Antwort produzieren und nicht nur die richtige erkennen müssen.

Daher hat sich etwa die OECD bereits in der PISA-Studie 2000 dafür entschieden, auch einige Aufgaben mit offenem Format zu verwenden. Der resultierende Aufwand für die Auswertung ist speziell bei einer so großen Studie wie PISA enorm. In jedem Teilnehmerstaat müssen dafür Teams aufwändig geschult werden, um die vielen Antworten der inzwischen insgesamt mehr als 500.000 Schüler*innen zu bewerten. Dabei erhalten sie Richtlinien, um die Bewertungen möglichst objektiv und vor allem über Teilnehmerstaaten hinweg vergleichbar vorzunehmen.

Da Menschen aber immer auch ihre subjektiven und kulturellen Perspektiven mitbringen, besteht das Risiko inkonsistenter Beurteilungen. Hinzu kommt, dass Menschen bei einer so großen Masse an Antworten auch vereinzelt Fehler aufgrund mangelnder Ausdauer unterlaufen können. Wird hingegen eine Computersoftware zur automatischen Auswertung der Textantworten hinzugezogen, wird die Auswertung sowohl innerhalb als auch zwischen Teilnehmerstaaten konsistenter und damit objektiver. Auch die hohe Anzahl der Antworten stellt dann keine Hürde mehr dar. Diese automatische Auswertung der Textantworten kann durch ReCo zufriedenstellend geleistet werden, wie erste Studien mit deutschen Daten zeigen.

ReCo kombiniert Technologien der natürlichen Sprachverarbeitung und des maschinellen Lernens. Die Software führt unter anderem eine Latente Semantische Analyse über einem speziell dafür angelegten Textkorpus durch, um so die Bedeutung einzelner Wörter vergleichen zu können. Auf diese Weise können dann unterschiedliche (semantische) Antworttypen in den Daten identifiziert und durch maschinelles Lernen etwa mit Antwortrichtigkeit in Verbindung gebracht werden. Darüber hinaus kann ReCo zusätzliche Antwortmerkmale extrahieren, etwa ob Schüler*innen in ihrer Antwort eigenes Wissen hinzufügen oder lediglich den Text wiedergeben.

ReCo-Multi: ReCo lernt viele Sprachen

Um die Anwendung der Software auch auf weitere Sprachen ausweiten zu können, haben sich einige nationale PISA-Zentren im Kooperationsprojekt ReCo-Multi zusammengeschlossen. Sie tauschen die Textdaten ihrer verschiedenen Testsprachen aus, entwickeln die Softwarekomponenten für diese weiter und evaluieren, ob die zufriedenstellenden Ergebnisse der deutschen Studie auch mit anderen Sprachen replizierbar sind. Zusammen mit dem deutschen PISA-Zentrum im ZIB ist TBA für die Koordination und Ausführung dieses internationalen Kooperationsprojekts zuständig.

Frei verfügbare Software

ReCo kann auf Anfrage frei genutzt werden. Aktuell ist die Nutzung auf deutsche Daten beschränkt. Im Rahmen des Projekts wird eine graphische Nutzungsoberfläche für die Software entwickelt und beides wird frei zum Download verfügbar sein.

Literatur

Zehner, F. (2016). Automatic processing of text responses in large-scale assessments (Dissertation). Technische Universität München, München. doi:10.13140/RG.2.2.26846.84800

Zehner, F., Sälzer, C. & Goldhammer, F. (2016). Automatic coding of short text responses via clustering in educational assessment. Educational and Psychological Measurement, 76(2), 280–303. doi:10.1177/0013164415590022

Kooperationen: Technische Universität München, Zentrum für Internationale Bildungsvergleichsstudien (ZIB) e.V.

Laufzeit: seit 04/2017

Status: laufend

Kontakt: Fabian Zehner, Frank Goldhammer