Logo: Deutsches Institut für Internationale Pädagogische Forschung

Infrastruktur

Computer Based Assessments mit CBA ItemBuilder software

Der CBA ItemBuilder ist ein Autorenwerkzeug zur Erstellung dynamischer und interaktiver Aufgaben für Computer-basierte Tests, ohne Programmiererfahrung.

Eine Kernaufgabe des Zentrums für Technology Based Assessments (TBA) besteht darin, nationale und internationale Projekte sowie in Bildungsforschungseinrichtungen bei der Realisierung von Leistungs- und Fragebogenuntersuchungen zu unterstützen. Die dafür vom TBA-Team entwickelten Werkzeuge sollen Forscherinnen und Forschern die Möglichkeit bieten innovative Assessments selbständig durchzuführen. Komplexe Anforderungen sollen einer einfachen Umsetzung dabei nicht entgegenstehen. 

Was ist der CBA ItemBuilder?

Der CBA ItemBuilder ist ein Autorenwerkzeug zur Erstellung Computer-basierter Aufgaben, die in der Fachsprache als Items bezeichnet werden. Die primäre Zielgruppe sind Akademiker, die sich mit Fachdidaktik beschäftigen. Die Aufgaben Computer-basiert zu erstellen erlaubt dabei die entsprechende Auswertung und Analyse der Ergebnisse. Die grafische Benutzeroberfläche ermöglicht es Tests in relativ kurzer Zeit zu erstellen, ohne Programmiererfahrung. 

 Abbildung 1 & Demo 1: Web basiertes Assessment 

 

Zusätzlich bietet der CBA ItemBuilder mehr Funktionalität, die dem fortgeschrittenen User erlaubt, sein eigenes 'Computational Model' zu konfigurieren und programmiertechnisch zu kontrollieren (siehe Abbildung 2).   

 Abbildung 2: Beispiel für ein Finite State Model



Abgestimmt auf die jeweiligen spezifischen diagnostischen Fragestellungen können mit dem CBA ItemBuilder sowohl einfache als auch komplexe computerisierte Aufgaben mit multimedialen Inhalten erstellt werden. So unterstützt  der CBA ItemBuilder eine breite Palette möglicher Antwortformate, die von einfachen click responses (Verwendung von Radiobuttons, Buttons, Checkboxen, Comboboxen, Eingabefelder, Hyperlinks und vieles mehr) über freie Texteingaben bis hin zu Drag & Drop- und High-lightening-Methoden reichen. Darüber hinaus bietet das Programm viele weitere Features für die Erstellung komplexer Items. Beispielsweise ist sowohl das Abspielen als auch Aufnehmen von Audio- und Videomaterial möglich.

Der CBA ItemBuilder wird in Zusammenarbeit und Absprache mit seinen Nutzern ständig erweitert (Abbildung 3 & 4). 

 

 Abbildung 3: Block Programmieren mit CBA ItemBuilder - START

 

 

 Abbildung 4: Block Programmieren mit CBA ItemBuilder

 

 

Wie funktioniert der CBA ItemBuilder?

Erstellung von Computer Based Assessments - Itembuilding

  1. Seitenerstellung und Seitentypen

    Eine Aufgabendatei wird im CBA ItemBuilder als Projekt bezeichnet. Ein solches Projekt besteht aus einer oder mehreren Seiten. Vom CBA ItemBuilder werden neben dem Standardtyp für einfache Seiten weitere Seitentypen bereitgestellt, die mit speziellen Eigenschaften den Funktionsumfang einer Seite erweitern. So werden zur Simulation einer Website beispielweise WebBrowserPages verwendet oder sogenannte X-Pages für Navigationsleisten oder durchgängig sichtbare Header, die z.B. Elemente wie Logos oder Buttons enthalten. Für einmal erstellte Seiten ermöglicht es der CBA ItemBuilder, diese als Vorlagen (Templates) zu speichern. Diese Vorlagen können dann als Ausgangspunkte beliebig oft verwendet werden.

  2. Navigation

    Zwischen Seiten kann beispielsweise mit Hilfe von Verweisen (Links) oder Schaltflächen (Buttons) navigiert werden. Die Seitennavigation kann an Bedingungen geknüpft sein, z.B. ob eine Aufgabe richtig oder falsch beantwortet wurde. Ein Seitenwechsel kann beispielsweise auch nach Ablauf einer festgelegten Bearbeitungszeit erfolgen.

  3. Item-Gestaltung

    Der CBA ItemBuilder stellt als innovatives Werkzeug eine Benutzeroberfläche bereit, um Aufgaben in einer Entwurfsansicht zu bearbeiten: Items werden erstellt und bearbeitet, indem Elemente aus einer Palette hinzugefügt und entsprechend modifiziert werden können.

    Jede Seite kann individuell gestaltet und angepasst werden und kann unterschiedliche Antwortformate und / oder Elemente enthalten. Die Möglichkeiten, Items individuell zu gestalten sind sehr vielfältig. Das Interface bietet viele Elemente für die Layout-Erstellung. So können auch Grafiken schnell und einfach eingebettet werden. 


  4. Item-Preview

    Zum Ansehen der Items kann jederzeit eine Vorschau, die sogenannte Preview - erzeugt werden, wobei die Aufgabe im Browser als HTML-Seite angezeigt wird. 



Automatisches Scoring

Für die Aufgaben in einem CBA ItemBuilder Projekt können vordefinierte Auswertungsregeln (Scoring) hinterlegt werden. Dafür werden eine oder mehrere sogenannte Task(s) angelegt. Eine Task ist der Einsprungspunkt (Entry point) für eine in sich geschlossene Aufgabe, zu der eine Abschlussbewertung (Itemscore) automatisch erstellt wird. Die Definition von automatischem Scoring im CBA ItemBuilder bedeutet unter anderem, dass direkt auf Ergebnisse zugegriffen werden kann, was beispielsweise die Umsetzung von adaptivem Testen ermöglicht. Das Scoring ist unabhängig von der Testauslieferungstechnik und kann im Prozess der Aufgabenentwicklung definiert und getestet werden. Was gescort wird, bleibt dem Autor überlassen. Der ItemBuilder bietet nicht nur die Möglichkeit, zwischen richtig und falsch zu unterscheiden, sondern auch komplexe Antworten wie Texteingaben zu filtern.

Weitere wichtige Funktionen

Der CBA ItemBuilder bringt eine Reihe weiterer Features mit, die Itemautoren flexible Gestaltungsmöglichkeiten eröffnen oder den Itementwicklungs-prozess unterstützen. Einige ausgewählte Features sind beispielsweise:

  • Finite State Machines (FSM) ermöglichen die Bestimmung und Veränderung sogenannter diskreter Zustände. Das heißt, dass der Aufgabenautor festlegt, welche (internen) Zustände in einer Aufgabe möglich sind und durch welche Ereignisse (Zeit, Interaktionen) zwischen den Zuständen gewechselt werden soll. Zustände können Einfluss auf die Darstellung der Aufgabe nehmen, z.B. Audio- oder Videomaterial ansteuern oder grafische Elemente beeinflussen. 

  • Dynamische Automaten (MicroDYN) funktionieren ähnlich wie Finite State Machines, wurden aber speziell für dynamische Aufgabenstrukturen entworfen. Mit MicroDYN können kontinuierliche Variablen miteinander über ein lineares Gleichungssystem in Beziehung gesetzt werden, so dass sich in der Aufgabe eine Eigendynamik entwickeln lässt. 

  • Das Open Language Tool (OLT) bietet eine schnelle Übersetzung von Items.

  • WebBrowserPages enthalten eine Werkzeugleiste, mit der wesentliche Eigenschaften von Webumgebungen simuliert werden können.

Testzusammenstellung und Auslieferung

CBA ItemBuilder Items werden im Webbrowser dargestellt. Zur Ausführung wird zusätzlich zum Browser ein Server benötigt. Um einen Test durchzuführen, wird eine passende Laufumgebung gebraucht z.B. die Execution EnvironmentTAO oder die MATE. Darin können anschließend mehrere ItemBuilder-Projekte zu einem Test zusammengestellt werden. ItemBuilder-Aufgaben können in anderen Auslieferungswerkzeugen eingesetzt werden, da eine Einbindung über eine Javascript-Schnittstelle unterstützt wird.

Die Möglichkeiten der Auslieferung sind vielfältig,  ob als Installation eines Software-Pakets auf einem PC oder Notebook, als Software-Paket auf einem USB-Stick, als Virtuelle Maschinen (VMs) oder Online.

 

Wo wird der CBA ItemBuilder eingesetzt?

Aufgaben, die mit dem CBA ItemBuilder erstellt wurden, werden Beispielsweise für computerbasierte Assessments im Schulkontext, als Online-Testungen oder eingebundene Kompetenzdiagnostik in Computer Assisted Personal Interview-Erhebungen verwendet. Eine Übersicht der Erhebungen, in denen der CBA ItemBuilder zum Einsatz kommt, finden Sie hier.

 

Wie ist der CBA ItemBuilder erhältlich?

Der CBA ItemBuilder ist kostenlos erhältlich und kann zusammen mit dem Execution Environment von TBA  bereitgestellt werden.

 

 

Leitung/Product Owner: Dr. Ulf Kröhne

Product Manager: Dr. Margit Mikula 

Kooperation: Nagarro

Kontakt:

Weitere Links: ItemBuilder-Wiki

 

 

zuletzt verändert: 28.09.2020