PISA 2012

Unterstützung der fünften PISA-Studie hinsichtlich des Testauslieferungsprozesses und des Auslieferungssystems für das computerbasierte Testen zweier Domänen.

PISA 2012 ist die fünfte Erhebung der weltweiten Kompetenzmessstudie der OECD. Hauptdomäne ist 2012 die Mathematik. Eine zusätzliche Domäne ist die Testung dynamischer Problemlösefähigkeiten (‚Dynamic Problem Solving‘). Erstmals wird die Testung in Mathematik und im dynamischen Problemlösen computerbasiert durchgeführt.
TBA war stark in die Vorbereitung der Studie einbezogen, beispielsweise durch die Erweiterung des CBA ItemBuilders für das dynamische Problemlösen in Kooperation mit der Arbeitsgruppe um Professor Funke an der Universität Heidelberg. Bei der Durchführung der Studie hat TBA gemeinsam mit cApStAn den Übersetzungsablauf überarbeitet, das Übersetzungswerkzeug OLT angepasst und wichtige Komponenten des Auslieferungssystems erstellt.

Ziele

  1. Unterstützung der internationalen Projektdurchführung und des Testauslieferungsprozesses
  2. Erstellung des Auslieferungssystems

In der Vorbereitungsphase wurden im CBA ItemBuilder die Aufgabentypen für dynamisches Problemlösen („MicroDYN“ und „MicroFIN“) erweitert und angepasst. Der Fokus im eigentlichen Projektablauf lag auf den folgenden Werkzeugen:

    • Translation Support Tool (TST): Die Anwendung unterstützt den Übersetzer bei PISA durch die Bereitstellung zusätzlicher Konvertierungsfunktionen, die die Einhaltung des komplexen Übersetzungsworkflows erleichtern.
    • Open Language Tools (OLT): Der OLT ist ein Übersetzungswerkzeug zur Unterstützung der Übersetzung von Software und elektronischen Dokumenten. Der Übersetzungs-Editor des OLT wurde zur besseren Unterstützung des PISA-Workflows angepasst und erweitert. Ein Beispiel für eine Erweiterung ist die Unterstützung der mehrstufigen Verifikation durch Read-Only Kommentare. Anpassungen waren notwendig, um Rechts-nach-Links Sprachen wie Arabisch und Hebräisch im Editor nutzen zu können.
    • Auslieferungssystem: Alle für den computerbasierten Test benötigten Komponenten des PISA 2012-Testsystems werden auf einem USB-Speicherstick bereitgestellt. Die Komponenten umfassen sowohl Dienstprogramme, zum Beispiel zur Verschlüsselung, als auch die eigentlichen Aufgaben und den Testablauf. Aufgabe des Auslieferungssystems ist die länderbezogene Zusammenstellung und die Konfiguration der Komponenten. Die Aufgaben und der Testablauf werden zudem in einem Container verschlüsselt. Das so entstandene Softwarepaket kann dann auf USB-Speichersticks kopiert und ausgeliefert werden.
    • Menü- und Systemprüfungsprogramm: Jede Auslieferung enthält das Menü- und das Systemprüfungsprogramm. Das Systemprüfungsprogramm stellt sicher, dass ein Rechner die zur Ausführung des PISA-Testsystems definierten Hard- und Softwarevoraussetzungen erfüllt. Das Menüprogramm stellt die Funktionen zum Start und Beenden des Testsystems zur Verfügung. Zum Start des Testsystems mit dem Menüprogramm erfolgt zunächst die Prüfung des verwendeten Rechners (Ausführung des Systemprüfungsprogramms) und dann die Authentifizierung. Bei erfolgreicher Durchführung wird der verschlüsselte Container mit den Aufgaben geöffnet und die zum Start benötigten Programme des Testsystems wie Webserver und Browser ausgeführt. Beendet wird der Test ebenfalls durch das Menüprogramm.

 

Finanzierung: OECD

Kooperation: OECD/Länder, CRP, ACER, cApStAn

Laufzeit: 2010-2012

Status: abgeschlossen

Kontakt: Robert Baumann, Britta Upsing, Mahtab Dalir