LogDataAnalyzer

Der LogDataAnalyzer liest Informationen aus Dateien aus, die unstrukturierte Prozessdaten enthalten (Protokolldateien), und stellt diese tabellarisch dar. Diese Tabellen können anschließend mit beliebiger Tabellenkalkulations- oder Statistiksoftware weiter verarbeitet werden. Analysiert werden die Aufgaben des technologiebasierten Problemlösen der PIAAC-Studie („Programme for the International Assessment of Adult Competencies“), die unterschiedliche Handlungen und mehrere Bearbeitungsschritte erfordern. Es können einzelne Handlungen oder auch ganze Handlungssequenzen mit dem LogDataAnalyzer ausgewählt werden, soweit diesen definierte Aktionen oder Aktionssequenzen in den Protokolldateien entsprechen. Zur Extraktion werden dann gezielt solche Aktionen in den Protokolldateien gesucht, die für die jeweilige Fragestellung relevant sind.

Was ist der LogDataAnalyzer?

Der LogDataAnalyzer wurde in Kooperation mit der Gesellschaft Sozialwissenschaftlicher Infrastruktureinrichtungen (GESIS) erstellt und dient der Bearbeitung von Prozessdaten. Er ist ein Werkzeug (Tool), dessen Benutzung kein umfangreiches Training erfordert und das sehr einfach bedient werden kann.

Der LogDataAnalyzer eignet sich besonders zur Datenextraktion und Tabellierung bei großen Stichproben. Eine Einsatzmöglichkeit des DataAnalyzers ist die Rekonstruktion von Bearbeitungswegen in Leistungstestaufgaben. Besonders bei komplexen Aufgaben in Leistungstests erfordert der Lösungsprozess in der Regel verschiedene, sequenzielle Teilschritte. Computerbasierte Erhebungen in der Bildungsforschung lassen mit Hilfe des LogDataAnalyzers eine Rekonstruktion des Bearbeitungsprozesses zu, die erstens dazu dienen kann, das Bearbeitungsergebnis in individuellen Testaufgaben zu erklären, und die zweitens selbst zur Kompetenzmessung herangezogen werden kann.

Wie funktioniert der LogDataAnalyzer genau?

Protokolldateien bilden verschiedene Arten von Interaktionen zwischen Testperson und Testumgebung sowie interne Aktionen (auch Events) ab, die zusammen mit einem Zeitstempel und einer Beschreibung aufgelistet werden:

Der Zeitstempel zeigt die Zeit (hier in Millisekunden) an, die seit dem Start der Aufgabenbearbeitung vergangen ist. Die Beschreibung gibt zusätzliche Informationen über die zugrundeliegende Aktion (z.B. welcher Link innerhalb einer Hypertextumgebung angeklickt wurde). Der LogDataAnalyzer kann summative Informationen (z.B. Anzahl von [bestimmten] Aktionen) sowie Informationen über Sequenzen (z.B. Zeit für eine bestimmte Aktion) extrahieren und in einer sog. CSV-Datei speichern. Zur Zeit sind nur Protokolldateien aus der Organisation for Economic Cooperation and Development (OECD) genauer, der PIAAC R1 lesbar. Die Weiterentwicklung des LogDataAnalyzers wird angestrebt.
Ein Beispiel: In der PIAAC-Aufgabe „Jobsearch“ (siehe Abbildung) haben die Testpersonen die Aufgabe, nach bestimmten Kriterien Treffer aus der Ergebnisseite einer Suchmaschine auszuwählen und mit einem Lesezeichen zu versehen:

In dieser Aufgabe ist zum Beispiel das Setzen eines Lesezeichens eine für den Lösungsprozess relevante Aktion sein:

Der LogDataAnalyzer kann Informationen für jeden Testteilnehmer und dessen Lesezeichen-Aktivitäten liefern. Hierzu gehört dann im Einzelnen beispielsweise die Anzahl der gesetzten Lesezeichen, die Zeit für das Setzen jedes einzelnen Lesezeichens sowie die Internetseite, für die ein Lesezeichen erstellt wurde.

Wo wird der LogDataAnalyzer genutzt?

Ein erstes Anwendungsfeld findet der LogDataAnalyzer im DFG-Projekt Prozessdaten zur Kompetenzmodellierung (ProKom), indem die Feldtestdaten der PIAAC-Studie analysiert werden. Hier werden die extrahierten Daten u.a. genutzt, um Zusammenhänge zwischen dem Resultat der Bearbeitung von Aufgaben zum technologiebasierten Problemlösen und Merkmalen des Bearbeitungsprozesses zu beschreiben. Als erklärungskräftige Prädiktoren haben sich bereits die für die Aufgabenbearbeitung aufgewendete Zeit (Goldhammer et al., in press), die Häufigkeit der Interaktion zwischen Testeilnehmerinnen und Testteilnehmern und Testumgebung (Naumann, Goldhammer, Rölke & Stelter, in Begutachtung) und die Zeit, die für elementare Teilschritte der Aufgabenbearbeitung benötigt wird (Stelter, Goldhammer, Naumann & Rölke, in Druck), erwiesen.

 

Finanzierung: Eigenmittel, OECD

Kooperation: GESIS

Status: abgeschlossen

Laufzeit: 06/2013 bis 06/2016

Projektleitung: Frank Goldhammer, Johannes Naumann

Kontakt: Frank Goldhammer