PISA 2012 NaBe

Computer prägen heute das Alltags- und Berufsleben, sodass Wissen und Fertigkeiten auch zunehmend mit Hilfe des Computers erfasst werden – so beispielsweise von 15-jährigen Jugendlichen im Rahmen der PISA-Erhebung 2012. Eine Testumsetzung per Computer minimiert nicht nur Kosten und Aufwand, sondern erlaubt insbesondere auch – gegenüber herkömmlichen papierbasierten Testaufgaben – neue Darstellungsmöglichkeiten und Aufgabenformate. Die nationale deutsche Ergänzungsstudie zu PISA 2012 versucht daher, Fragen zu Verwendungsmöglichkeiten von Computern v. a. zur Erfassung des Leseverständnisses zu beantworten.

Ziele

Der Fokus der Begleitstudie liegt auf der Durchführung von computerbasiertem Assessment (CBA) im PISA-Kontext. Am DIPF sollen dabei vorrangig Fragestellungen zu den folgenden Bereichen forschungsorientiert beantwortet werden:

1. Computerbasierte Messung des Lesens von Hypertexten (Digital Reading)

Im Gegensatz zum „gewöhnlichen“ Lineartext weist der digitale Hypertext spezifische Merkmale auf, die eine besondere Anforderung darstellen: das Lesen einer typischen Webseite bedeutet nicht nur fortlaufend Textpassagen nur zu lesen, sondern auch darüber zu entscheiden, welche weiteren Webseiten in welcher Reihenfolge über Links angesteuert werden. Bei dieser Auswahl müssen zusätzliche Kriterien wie z. B. die Relevanz und Vertrauenswürdigkeit der Webseiten berücksichtigt werden. Der Computer ist bei der Erfassung des Lesens digitaler Texte also nicht nur ein Ausgabemedium, sondern ermöglicht vielmehr erst die Erzeugung von Hypertexten. Im Rahmen der nationalen Begleitstudie wird daher empirisch untersucht, ob sich eine Lineartext- von einer Hypertextlesekompetenz unterscheiden lässt und inwieweit sich Unterschiede durch Personenmerkmale, z. B. wie gut jemand mit dem Computer umgehen kann, erklären lassen.

 

Beispiele aus NaBe

So sieht die Umsetzung von Digital Reading Aufgaben aus:

Die Aufgaben sind ähnlich zu Homepages aufgebaut. Links können natürlich angeklickt werden und verweisen auf weitere Seiten.

2. Untersuchungen des Administrationsmodus

Weitere Fragestellungen, die durch die PISA-Begleitforschung beantwortet werden sollen, betreffen Effekte, die durch die Übertragung von (linearen) Papiertexten auf den Computer entstehen können. Um das Lesen von Lineartexten zwischen den verschiedenen Modi (d.h. Papier vs. Computer) vergleichbar zu halten, wurde auf eine möglichst große Übereinstimmung zwischen der papier- und der computerbasierten Form geachtet. Neben der technischen Übertragbarkeit an sich ist vor allem von Interesse, ob sich die psychometrischen Eigenschaften der Aufgaben, wie z. B. ihre Lösungsschwierigkeit mit dem Moduswechsel ändern und wie ggf. auftretende Unterschiede erklärt werden können. Im Mittelpunkt steht u.a. die Frage, inwiefern solche Moduseffekte vom jeweiligen Antwortformat, z. B. Freitextschreiben oder Multiple Choice, der Leseaufgaben abhängen.

 

Beispiele aus NaBe

So sehen die Aufgaben zur Untersuchung von Modus-Effekten aus:

Die Aufgaben sollten möglichst ähnlich zu den papierbasierten Versionen sein. Deshalb enthalten die Aufgaben z. B. keine Hyperlinks im Text.

 

Methodisches Vorgehen

Die Datenerhebung der CBA-Begleitforschung fand im Rahmen eines nationalen zweiten Testtags der PISA 2012-Haupterhebung in Deutschland statt. Für die Teilnahme an der Begleitforschung konnten 77 der 212 PISA-Schulen gewonnen werden, sodass die Daten von fast 900 Schülerinnen und Schüler für die Auswertung vorliegen. Die Schülerinnen und Schüler bearbeiteten während einer Testung überwiegend Aufgaben am Computer. Neben einer Testbatterie, in der ihre Computerfähigkeiten, Arbeitsgedächtniskapazität und grundlegenden Lesefähigkeiten geprüft wurden, bearbeiteten sie auch Leseverständnisaufgaben und Fragen, die ihre Einstellung zu diesen Aufgaben erfassen. Einige Schülerinnen und Schüler bearbeiteten auch Aufgaben in einem Testheft, d. h. in Papierform. Zur Beantwortung der Forschungsfragen sind zusätzlich auch Ergebnisse aus Leseverständnisaufgaben einbezogen worden, die bereits am ersten Testtag im Rahmen von PISA computerbasiert administriert wurden.

Publikationen

Hahnel, C., Goldhammer, F., Kröhne, U., & Naumann, J. (2018). The role of reading skills for the evaluation of online information. Computers in Human Behavior, 78, 223–234.  http://doi.org/10.1016/j.chb.2017.10.004

Hahnel. C. (2017). Demands and Cognitive Processes in Reading Digital Text (Dissertationsschrift). Goethe Universität Frankfurt am Main.

Hahnel, C., Goldhammer, F., Kröhne, U., & Naumann, J. (2017). Reading digital text involves working memory updating based on task characteristics and reader behavior. Learning and Individual Differences, 59, 149–157.  http://doi.org/10.1016/j.lindif.2017.09.001

Hahnel, C., Goldhammer, F., Naumann, J., & Kröhne, U. (2016). Effects of Reading Comprehension, Basic Computer Skills, Evaluating Online Information, and Navigation on Reading Digital Text. Computers in Human Behavior, 55, 486-500. http://doi.org/10.1016/j.chb.2015.09.042

Ausgewählte Konferenzbeiträge

Kröhne, U., Goldhammer, F., & Hahnel, C. (2014, 04. Juli). Benefits of Process-related Information for Explaining Differences Between Administration Modes. Vortrag auf der 9th Conference of the International Test Commission (ITC) in San Sebastian, ES.

Kröhne, U., Hahnel, C., Schiepe-Tiska, A., & Goldhammer, F. (2013, 27. August). Analyzing Mode Effects of PISA Print Reading Including a Comparison of Time-related Information. Vortrag auf der 15th Biennal Conference of the European Association for Research on Learning and Instruction (EARLI) in München, DE.

 

Finanzierung: Zentrum für internationale Bildungsvergleichsstudien (ZIB)

Kooperation: TUM, IEA

Laufzeit: 12/2011 – 12/2016

Status: abgeschlossen

Projektleitung: Frank Goldhammer

Kontakt: Carolin Hahnel, Ulf Kröhne