Logo: Deutsches Institut für Internationale Pädagogische Forschung

TBA Deutsch

PISA 2012 NaBe

PISA 2012 CBA NaBe erforscht die Durchführbarkeit von computerbasiertem Assessment (CBA) im Kontext der PISA-Erhebungen.

Computer prägen heute das Alltags- und Berufsleben. Entsprechend werden Wissen und Fertigkeiten zunehmend mit Hilfe des Computers erfasst – so auch von 15-jährigen Jugendlichen in der PISA-Erhebung 2012. Eine Testumsetzung mittels Computern minimiert nicht nur Kosten und Aufwand, sondern erlaubt insbesondere auch – gegenüber herkömmlichen papierbasierten Testaufgaben – neue Darstellungsmöglichkeiten und Aufgabenformate. Die nationale deutsche Ergänzungsstudie zu PISA 2012 versucht daher, Fragen zu Verwendungsmöglichkeiten von Computern v. a. zur Erfassung des Lese- und Mathematikverständnisses zu beantworten.

Ziele

Der Fokus der Begleitstudie liegt auf der Durchführung von computerbasiertem Assessment (CBA) im PISA-Kontext. Dabei sollen vorrangig Fragestellungen zu den folgenden Bereichen forschungsorientiert beantwortet werden:

1. Computerbasierte Messung des Lesens von Hypertexten (Digital Reading)

Im Gegensatz zum „gewöhnlichen“ Lineartext weist der digitale Hypertext spezifische Merkmale auf, die eine besondere Anforderung darstellen: das Lesen einer typischen Webseite bedeutet nicht nur fortlaufend Textpassagen einfach nur zu lesen, sondern vielmehr ist zu entscheiden, welche weiteren Webseiten in welcher Reihenfolge über Links angesteuert werden.
Bei dieser Auswahl von Webseiten müssen zusätzliche Kriterien wie z. B. die Relevanz und Vertrauenswürdigkeit der Seiten berücksichtigt werden. Der Computer ist bei der Erfassung des Lesens digitaler Texte also nicht nur ein Ausgabemedium, sondern ermöglicht vielmehr erst die Erzeugung von Hypertexten. Im Rahmen der nationalen Begleitstudie wird daher empirisch untersucht, ob sich eine Lineartext- von einer Hypertextlesekompetenz unterscheiden lässt und inwieweit sich Unterschiede durch Personenmerkmale, z. B. wie gut jemand mit dem Computer umgehen kann, erklären lassen.

Beispiele aus NaBe

So sieht die Umsetzung von Digital Reading Aufgaben aus:

PISA2012NABE digital reading

Die Aufgaben sind ähnlich zu Homepages aufgebaut, Links können natürlich angeklickt werden und verweisen auf weitere Seiten.

PISA2012NABE digital reading 2

2. Computerbasiertes Testen von Mathematik (CBA of Mathematics)

Ähnliche Fragen, wie die zum Lesen digitaler Texte, sollen auch zur Einführung des computerbasierten Assessments von Mathematik in der PISA-Studie 2012 beantwortet werden. Im Vergleich zum Lesen wird hier jedoch nicht davon ausgegangen, dass das Medium Computer die Erfassung von mathematischer Kompetenz grundlegend verändert. Vielmehr wird angenommen, dass der Computer lediglich als Auslieferungsumgebung dient und - im Sinne konvergenter Validität - die gleiche Mathematikkompetenz wie das papierbasierte Pendant erfasst.

3. Untersuchungen zu Mode-Effekten

Weitere Fragestellungen, die durch die PISA-Begleitforschung beantwortet werden sollen, betreffen Effekte, die durch die Übertragung von (linearen) Papiertexten auf den Computer entstehen können. Um das Lesen von Lineartexten zwischen den verschiedenen Modi (Papier vs. Computer) vergleichbar zu halten, wurde auf eine möglichst große Übereinstimmung zwischen der papier- und der computerbasierten Form geachtet. Neben der technischen Übertragbarkeit an sich ist vor allem von Interesse, ob sich die psychometrischen Eigenschaften der Aufgaben, wie z. B. ihre Lösungsschwierigkeit mit dem Moduswechsel ändern und wie ggf. auftretende Unterschiede erklärt werden können. Im Mittelpunkt steht u.a. die Frage, inwiefern Moduseffekte vom jeweiligen Antwortformat, z. B. Freitextschreiben oder Multiple Choice, der Leseaufgaben abhängen.

Beispiele aus NaBe

So sehen die Aufgaben zur Untersuchung von Modus-Effekten aus:

PISA2012NABE flu1

Die Aufgaben sollten möglichst ähnlich zu den papierbasierten Versionen sein. Deshalb enthalten die Aufgaben z. B. keine Hyperlinks im Text.

PISA2012NABE flu2

4. Auswirkungen des Modus’ auf die Motivation

Die gezeigte Leistung in den Kompetenzbereichen der PISA-Studie ist nicht nur von den kognitiven Fähigkeiten der SchülerInnen, sondern auch von ihrer momentanen Stimmung und ihrer Motivation abhängig. Die nationale Begleitstudie befasst sich daher auch mit der Frage, inwiefern die Erhebungsmodi Papier vs. Computer die aktuelle Motivation – und somit ggf. auch die Leistung im Test – beeinflussen.

Methodisches Vorgehen

Die Datenerhebung der CBA-Begleitforschung fand im Rahmen eines nationalen zweiten Testtags der PISA 2012-Haupterhebung in Deutschland statt. Für die Teilnahme an der Begleitforschung konnten 77 der 212 PISA-Schulen gewonnen werden, sodass die Daten  von fast 900 SchülerInnen für die Auswertung vorliegen. Die SchülerInnen bearbeiteten während einer Testung überwiegend Aufgaben am Computer. Neben einer Testbatterie, in der ihre Computerfähigkeiten, Arbeitsgedächtniskapazität und grundlegenden Lesefähigkeiten geprüft wurden, bearbeiteten sie auch Leseverständnisaufgaben und Fragen, die ihre Einstellung zu diesen Aufgaben erfassen. Einige SchülerInnen bearbeiteten auch Aufgaben in einem Testheft, d. h. in Papierform. Zur Beantwortung der Forschungsfragen sind zusätzlich auch Ergebnisse aus Leseverständnis-, Mathematik- und Problemlöseaufgaben einbezogen worden, die bereits am ersten Testtag im Rahmen von PISA computerbasiert administriert wurden.

Literatur

Hahnel, C., Goldhammer, F., Naumann, J., & Kröhne, U. (2014, September). Validierung von Digital Reading: Befunde zum Erklärungsbeitrag ICT-bezogener Komponenten [Validating Digital Reading: Findings about the contribution in explanation of ICT-related components]. Talk presented at the 49. Kongress der Deutschen Gesellschaft für Psychologie (DGPs), Bochum, Germany, September 21-25, 2014.

Hahnel, C., Kröhne, U., Naumann, J., & Goldhammer, F. (2013, August). Explaining hyperlink selection by PISA reading and cognitive component skills. Talk presented at the 15th Biennal Conference of the European Association for Research on Learning and Instruction (EARLI), Munich, Germany, August 27-31, 2013.

Kröhne, U., Hahnel, C., Schiepe-Tiska, A., & Goldhammer, F. (2013, August). Analyzing Mode Effects of PISA Print Reading Including a Comparison of Time-related Information. Talk presented at the 15th Biennal Conference of the European Association for Research on Learning and Instruction (EARLI), Munich, Germany, August 27-31, 2013.


Finanzierung: Zentrum für internationale Bildungsvergleichsstudien (ZIB)

Kooperation: TUM, DPC

Laufzeit: 12/2011 – 12/2016

Status: laufend

Projektleitung: Frank Goldhammer

Kontakt: Carolin Hahnel, Ulf Kröhne


zuletzt verändert: 23.06.2016
CBA ItemBuilder

Eine neue Version des CBA ItemBuilders (Version 7.4) ist verfügbar.

Kontakt
Anfragen richten Sie bitte an 

Hier finden Sie die aktuellsten Publikationen.

Stellenangebote

aktuell keine freien Stellen zu besetzen