ReTiCo

Informationen für Studienteilnehmer:

Ergebnisrückmeldung

In groß angelegten Bildungsvergleichsstudien (Large Scale Assessments) bearbeiten Testteilnehmer die Aufgaben üblicherweise innerhalb eines nicht weiter unterteilten Zeitrahmens. Testteilnehmer können sich somit bei der Bearbeitung in der pro Aufgabe verwendeten Zeit, beziehungsweise im jeweiligen Zeitmanagement, erheblich unterscheiden. Diese individuellen Unterschiede in der Bearbeitungsstrategie können zu heterogenen Leistungen führen, das heißt, die Wahl der Bearbeitungsstrategie kann die Messung beeinflussen und deren Vergleichbarkeit beeinträchtigen. Bisherige Erkenntnisse zu dieser Problematik, die mit dem sogenannten‚ Speed-Accuracy-Tradeoff‘ zusammenhängt, stammen vorwiegend aus Studien zu Speed-Tests (Messung der Leistungsgeschwindigkeit). In diesem Projekt sollen die Fragestellungen und Erkenntnisse nun auch auf Power-Tests (Messung der Leistungshöhe, z.B. Kompetenz- oder Fähigkeitstests) übertragen werden.

Ziele

Im Einzelnen werden folgende Zielsetzungen verfolgt:

1. Reduktion der individuellen Unterschiede

Durch die Einführung von zeitlichem Feedback und der Begrenzung der Bearbeitungszeit auf Aufgabenebene sollen konstruktirrelevante Unterschiede in der Bearbeitungsstrategie reduziert werden.

2. Ermittlung der Ursachen

Mit Hilfe zusätzlicher erklärender Personenvariablen sollen die Ursachen der individuellen Unterschiede in der Bearbeitung ermittelt werden.

3. Modelltestung

Zur Schätzung der Personenparameter sollen Modelle getestet werden, die den Einfluss des Zeitaufwandes auf den Bearbeitungserfolg berücksichtigen.

4. Auswirkungen auf Itemkennwerte

Die Auswirkungen verschiedener zeitlicher Bedingungen auf die Itemkennwerte Schwierigkeit und Trennschärfe sowie die Kovarianzstruktur der Messungen sollen untersucht werden.

Methodisches Vorgehen

ReTiCo kombiniert experimentelle und diagnostische Untersuchungsansätze. Bereits erprobte Lesekompetenztests werden in verschiedenen zeitlichen Rückmeldebedingungen umgesetzt, um den individuellen Einfluss auf die Leistung der SchülerInnen zu untersuchen, ebenso wie die Auswirkungen auf die Itemkennwerte. Die Datenerhebung findet im Frühjahr 2014 an Berufsschulen statt. Dabei wird eine Stichprobe von mindestens 800 Schülerinnen und Schüler angestrebt. Die Schülerinnen und Schüler bearbeiten die Testverfahren ausschließlich am Computer. Neben verschiedenen Lesebedingungen werden in anonymisierter Form erklärende Variablen (beispielsweise Testmotivation, Stressempfinden, Deutschnote) erfasst, die Aufschluss über mögliche Zusammenhänge zwischen Personenvariablen und Fähigkeit sowie Bearbeitungsstrategie geben sollen.

Literatur

Goldhammer, F.; Kroehne, U. (2014). Controlling Individuals' Time Spent on Task in Speeded Performance Measures: Experimental Time Limits, Posterior Time Limits, and Response Time Modeling. Applied Psychological Measurement. Published online before print January 16, 2014. https://journals.sagepub.com/doi/abs/10.1177/0146621613517164

Goldhammer, F. ; Klein Entink, R.H. (2011). Speed of reasoning and its relation to reasoning ability. Intelligence, 39, 108-119.

 

Finanzierung:Zentrum für internationale Bildungsvergleichsstudien (ZIB)

Kooperation: NEPS

Laufzeit: 08/2012 – 12/2016

Status: abgeschlossen

Projektleitung: Frank Goldhammer

Kontakt: Frank Goldhammer, Miriam Maschke