Die Software CBA ItemBuilder ist ein Autor*innenwerkzeug zur Erstellung dynamischer und interaktiver Aufgaben für computerbasierte Tests ohne Programmiererfahrung.

Eine Kernaufgabe des Zentrums für Technology Based Assessments (TBA) ist die Unterstützung von Bildungsforschungseinrichtungen sowie nationalen und internationalen Projekten (z.B. die PISA Studie) bei der Realisierung von Leistungs- und Fragebogenuntersuchungen. Die dafür vom TBA-Team entwickelten Werkzeuge sollen Forschenden die Möglichkeit bieten, innovative Assessments selbständig durchzuführen und dabei auch komplexe Anforderungen einfach umzusetzen.

Welche Funktionen bietet die CBA ItemBuilder-Software?

Die CBA ItemBuilder-Software ist ein Autor*innenwerkzeug zur Erstellung computerbasierter Tests, die in der Fachsprache als Items bezeichnet werden. Die Items bestehen aus Elementen, die grafisch angeordnet werden können und als interaktiver Inhalt im Browser dargestellt werden. Die Items können in relativ kurzer Zeit und ohne Programmiererfahrung erstellt werden. Eine Teilnahme an den regulär stattfindenden ItemBuilder-Workshops wird empfohlen. Die primäre Zielgruppe sind Psycholog*innen und Pädagog*innen, die sich mit Fachdidaktik beschäftigen. 

 

Itemtypen

 

  • Einfachauswahl via Radiobuttons (z. B. Likert Scale)



  • Mehrfachauswahl via Checkboxes (z. B. Persönlichkeitstest)
  • Eingabefelder
  • Umordnungsaufgaben (z. B. Memory Spiel), Bilder anordnen (z. B. Puzzle)



     

  • Textmarkierung



  • Items mit Audio/Video
  • Arithmetische Items mit Timerfunktion

 

  • Interaktive Slides/Navigationsseiten

    Abbildung 1
  • Entscheidungsszenarien (ausgewählte Seiten werden nur bei erfolgreicher Beantwortung bestimmter Items angezeigt)

 

Erweiterte Funktionen

 

Abgestimmt auf die jeweiligen spezifischen diagnostischen Fragestellungen können mit dem CBA ItemBuilder sowohl einfache als auch komplexe computerisierte Aufgaben mit multimedialen Inhalten erstellt werden. Zusätzlich bietet der CBA ItemBuilder mehr Funktionalität, die es erlaubt, ein eigenes 'Computational Model' zu konfigurieren und programmiertechnisch zu kontrollieren. Anbei ist das FSM Model für ein Memory Game visualisiert. 

 

 


 

 

Der CBA ItemBuilder bringt eine Reihe weiterer Features mit, die flexible Gestaltungsmöglichkeiten eröffnen oder den Itementwicklungs-prozess unterstützen. Einige ausgewählte Features sind beispielsweise:

 

  • Finite State Machines (FSM) ermöglichen die Bestimmung und Veränderung sogenannter diskreter Zustände. Welche (internen) Zustände in einer Aufgabe möglich sind und durch welche Ereignisse (Zeit, Interaktionen) zwischen den Zuständen gewechselt werden soll, kann individuell festgelegt werden. Zustände können Einfluss auf die Darstellung der Aufgabe nehmen, z.B. Audio- oder Videomaterial ansteuern oder grafische Elemente beeinflussen. 

  • Das Open Language Tool (OLT) bietet eine schnelle Übersetzung von Items.

  • WebBrowserPages enthalten eine Werkzeugleiste, mit der wesentliche Eigenschaften von Webumgebungen simuliert werden können.

 

Der CBA ItemBuilder wird in Zusammenarbeit und Absprache mit ihn nutzenden Personen ständig erweitert. 

 

Wie arbeite ich mit dem CBA ItemBuilder?

Erstellung von Computer Based Assessments - Itembuilding

  1. Seitenerstellung und Seitentypen

    Eine Aufgabendatei wird im CBA ItemBuilder als Projekt bezeichnet. Ein solches Projekt besteht aus einer oder mehreren Seiten. Vom CBA ItemBuilder werden neben dem Standardtyp für einfache Seiten weitere Seitentypen bereitgestellt, die mit speziellen Eigenschaften den Funktionsumfang einer Seite erweitern. So werden zur Simulation einer Website beispielsweise WebBrowserPages, sogenannte X-Pages für Navigationsleisten oder durchgängig sichtbare Header, die Elemente wie Logos oder Buttons enthalten, verwendet. Für einmal erstellte Seiten ermöglicht es der CBA ItemBuilder, diese als Vorlagen (Templates) zu speichern. Diese Vorlagen können dann als Ausgangspunkte beliebig oft verwendet werden.

  2. Navigation

    Zwischen Seiten kann mit Hilfe von Verweisen (Links) oder Schaltflächen (Buttons) navigiert werden. Die Seitennavigation kann an Bedingungen geknüpft sein, z.B. ob eine Aufgabe richtig oder falsch beantwortet wurde. Ein Seitenwechsel kann beispielsweise auch nach Ablauf einer festgelegten Bearbeitungszeit erfolgen.

  3. Item-Gestaltung

    Der CBA ItemBuilder stellt als innovatives Werkzeug eine Nutzungsoberfläche bereit, um Aufgaben in einer Entwurfsansicht zu bearbeiten: Items werden erstellt und bearbeitet, indem Elemente aus einer Palette hinzugefügt und entsprechend modifiziert werden können.

    Jede Seite kann individuell gestaltet und angepasst werden sowie unterschiedliche Antwortformate und/oder Elemente enthalten. Die Möglichkeiten zur individuellen Gestaltung von Items sind sehr vielfältig. Das Interface bietet viele Elemente für die Erstellung von Layouts, sodass auch Grafiken schnell und einfach eingebettet werden können.

  4. Item-Preview

    Zum Ansehen der Items kann jederzeit eine Vorschau, die sogenannte Preview, erzeugt werden, wobei die Aufgabe im Browser als HTML-Seite angezeigt wird. 

Automatisches Scoring

Für die Aufgaben in einem CBA ItemBuilder-Projekt können vordefinierte Auswertungsregeln (Scoring) hinterlegt werden. Dafür werden eine oder mehrere sogenannte Task(s) angelegt. Eine Task ist der Einsprungspunkt (Entry point) für eine in sich geschlossene Aufgabe, zu der automatisch eine Abschlussbewertung (Itemscore) erstellt wird. Das automatische Scoring im CBA ItemBuilder ermöglicht unter anderem den direkten Zugriff auf Ergebnisse, was beispielsweise die Umsetzung von adaptivem Testen möglich macht. Das Scoring ist unabhängig von der Testauslieferungstechnik und kann im Prozess der Aufgabenentwicklung definiert und getestet werden. Was gescort wird, bleibt den Autor*innen überlassen. Der ItemBuilder bietet nicht nur die Möglichkeit, richtige von falschen Beantwortungen zu unterscheiden, sondern auch komplexe Antworten, wie Texteingaben, zu filtern.

Testzusammenstellung und Auslieferung

CBA ItemBuilder Items werden im Webbrowser dargestellt. Zur Ausführung wird zusätzlich zum Browser ein Server benötigt. Die Testdurchführung erfordert eine passende Laufumgebung z. B. Execution EnvironmentTAO oder MATE. Darin können anschließend mehrere ItemBuilder-Projekte zu einem Test zusammengestellt werden. ItemBuilder-Aufgaben können in anderen Auslieferungswerkzeugen eingesetzt werden, da eine Einbindung über eine Javascript-Schnittstelle unterstützt wird.

Die Möglichkeiten der Auslieferung sind vielfältig und können als Installation eines Software-Pakets auf einem PC oder Notebook, als Software-Paket auf einem USB-Stick, als Virtuelle Maschinen (VMs) oder online erfolgen.

 

Wo wird der CBA ItemBuilder eingesetzt?

Mit dem CBA ItemBuilder erstellte Aufgaben werden beispielsweise für computerbasierte Assessments im Schulkontext, Online-Testungen oder eingebundene Kompetenzdiagnostik in Computer Assisted Personal Interview-Erhebungen verwendet. Eine Übersicht der Erhebungen, in denen der CBA ItemBuilder zum Einsatz kommt, finden Sie hier.

 

Wie ist der CBA ItemBuilder erhältlich?

Der CBA ItemBuilder ist kostenlos erhältlich und kann zusammen mit dem Execution Environment von TBA  bereitgestellt werden.

 

Leitung/Product Owner: Dr. Ulf Kröhne

Product Manager: Dr. Margit Mikula 

Kooperation: Nagarro

Kontakt:

Weitere Links: ItemBuilder-Wiki

 

 Anleitungen

Präsentation vom letzten Workshop