Logo: Deutsches Institut für Internationale Pädagogische Forschung

Computer-Based Assessments mit CBA ItemBuilder

Computer-Based Assessments mit CBA ItemBuilder

Die CBA ItemBuilder software ist ein Autorenwerkzeug zur Erstellung dynamischer und interaktiver Aufgaben für Computer-basierte Tests, ohne Programmiererfahrung.

Eine Kernaufgabe des Zentrums für Technology Based Assessments (TBA) besteht darin, nationale und internationale Projekte, zum Beispiel die PISA Studie, und Bildungsforschungseinrichtungen, bei der Realisierung von Leistungs- und Fragebogenuntersuchungen, zu unterstützen. Die dafür vom TBA-Team entwickelten Werkzeuge sollen Forscherinnen und Forschern die Möglichkeit bieten innovative Assessments selbständig durchzuführen und dabei auch komplexe Anforderungen einfach umzusetzen.

 

Welche Funktionen bietet die CBA ItemBuilder Software?

Die CBA ItemBuilder Software ist ein Autorenwerkzeug zur Erstellung Computer-basierter Tests, die in der Fachsprache als Items bezeichnet werden. Die Items bestehen aus Elementen, die grafisch angeordnet werden können und als interaktiver Inhalt im Browser dargestellt werden. Die  Items können in relativ kurzer Zeit und ohne Programmiererfahrung erstellt werden. Eine Teilnahme an den regulär stattfindenden ItemBuilder Workshops ist anzuraten. Die primäre Zielgruppe sind Psychologen und Pädagogen, die sich mit Fachdidaktik beschäftigen. 

 

Item Typen

 

  • Einfachauswahl via Radiobuttons, z. B: Likert Scale



  • Mehrfachauswahl via Checkboxes, z. B.: Persönlichkeitstest



  • Eingabefelder
  • Umordnungs-Aufgaben, z. B.: Memory Spiel, Bilder anordnen, z. B: Puzzle



     

  • Text Markieren



  • Items mit Audio/Video
  • Arithmetische Items mit Timer-Funktion

 

  • Interaktive Slides/Navigationsseiten

    Abbildung 1
  • Entscheidungs-Szenarien: Nur bei erfolgreicher Beantwortung kommt man zu bestimmten Seiten.

 

Erweiterte Funktionen

 

Abgestimmt auf die jeweiligen spezifischen diagnostischen Fragestellungen können mit dem CBA ItemBuilder sowohl einfache als auch komplexe computerisierte Aufgaben mit multimedialen Inhalten erstellt werden. Zusätzlich bietet der CBA ItemBuilder mehr Funktionalität, die dem fortgeschrittenen User erlaubt, sein eigenes 'Computational Model' zu konfigurieren und programmiertechnisch zu kontrollieren. Anbei ist das FSM Model für ein Memory Game visualisiert. 

 

 


 

 

Der CBA ItemBuilder bringt eine Reihe weiterer Features mit, die Itemautoren flexible Gestaltungsmöglichkeiten eröffnen oder den Itementwicklungs-prozess unterstützen. Einige ausgewählte Features sind beispielsweise:

 

  • Finite State Machines (FSM) ermöglichen die Bestimmung und Veränderung sogenannter diskreter Zustände. Das heißt, dass der Aufgabenautor festlegt, welche (internen) Zustände in einer Aufgabe möglich sind und durch welche Ereignisse (Zeit, Interaktionen) zwischen den Zuständen gewechselt werden soll. Zustände können Einfluss auf die Darstellung der Aufgabe nehmen, z.B. Audio- oder Videomaterial ansteuern oder grafische Elemente beeinflussen. 

  • Das Open Language Tool (OLT) bietet eine schnelle Übersetzung von Items.

  • WebBrowserPages enthalten eine Werkzeugleiste, mit der wesentliche Eigenschaften von Webumgebungen simuliert werden können.

 

Der CBA ItemBuilder wird in Zusammenarbeit und Absprache mit seinen Nutzern ständig erweitert. 

 

Wie arbeite ich mit dem CBA ItemBuilder?

Erstellung von Computer Based Assessments - Itembuilding

  1. Seitenerstellung und Seitentypen

    Eine Aufgabendatei wird im CBA ItemBuilder als Projekt bezeichnet. Ein solches Projekt besteht aus einer oder mehreren Seiten. Vom CBA ItemBuilder werden neben dem Standardtyp für einfache Seiten weitere Seitentypen bereitgestellt, die mit speziellen Eigenschaften den Funktionsumfang einer Seite erweitern. So werden zur Simulation einer Website beispielweise WebBrowserPages verwendet oder sogenannte X-Pages für Navigationsleisten oder durchgängig sichtbare Header, die z.B. Elemente wie Logos oder Buttons enthalten. Für einmal erstellte Seiten ermöglicht es der CBA ItemBuilder, diese als Vorlagen (Templates) zu speichern. Diese Vorlagen können dann als Ausgangspunkte beliebig oft verwendet werden.

  2. Navigation

    Zwischen Seiten kann beispielsweise mit Hilfe von Verweisen (Links) oder Schaltflächen (Buttons) navigiert werden. Die Seitennavigation kann an Bedingungen geknüpft sein, z.B. ob eine Aufgabe richtig oder falsch beantwortet wurde. Ein Seitenwechsel kann beispielsweise auch nach Ablauf einer festgelegten Bearbeitungszeit erfolgen.

  3. Item-Gestaltung

    Der CBA ItemBuilder stellt als innovatives Werkzeug eine Benutzeroberfläche bereit, um Aufgaben in einer Entwurfsansicht zu bearbeiten: Items werden erstellt und bearbeitet, indem Elemente aus einer Palette hinzugefügt und entsprechend modifiziert werden können.

    Jede Seite kann individuell gestaltet und angepasst werden und kann unterschiedliche Antwortformate und / oder Elemente enthalten. Die Möglichkeiten, Items individuell zu gestalten sind sehr vielfältig. Das Interface bietet viele Elemente für die Layout-Erstellung. So können auch Grafiken schnell und einfach eingebettet werden. 


  4. Item-Preview

    Zum Ansehen der Items kann jederzeit eine Vorschau, die sogenannte Preview - erzeugt werden, wobei die Aufgabe im Browser als HTML-Seite angezeigt wird. 

Automatisches Scoring

Für die Aufgaben in einem CBA ItemBuilder Projekt können vordefinierte Auswertungsregeln (Scoring) hinterlegt werden. Dafür werden eine oder mehrere sogenannte Task(s) angelegt. Eine Task ist der Einsprungspunkt (Entry point) für eine in sich geschlossene Aufgabe, zu der eine Abschlussbewertung (Itemscore) automatisch erstellt wird. Die Definition von automatischem Scoring im CBA ItemBuilder bedeutet unter anderem, dass direkt auf Ergebnisse zugegriffen werden kann, was beispielsweise die Umsetzung von adaptivem Testen ermöglicht. Das Scoring ist unabhängig von der Testauslieferungstechnik und kann im Prozess der Aufgabenentwicklung definiert und getestet werden. Was gescort wird, bleibt dem Autor überlassen. Der ItemBuilder bietet nicht nur die Möglichkeit, zwischen richtig und falsch zu unterscheiden, sondern auch komplexe Antworten wie Texteingaben zu filtern.

Testzusammenstellung und Auslieferung

CBA ItemBuilder Items werden im Webbrowser dargestellt. Zur Ausführung wird zusätzlich zum Browser ein Server benötigt. Um einen Test durchzuführen, wird eine passende Laufumgebung gebraucht z.B. die Execution EnvironmentTAO oder die MATE. Darin können anschließend mehrere ItemBuilder-Projekte zu einem Test zusammengestellt werden. ItemBuilder-Aufgaben können in anderen Auslieferungswerkzeugen eingesetzt werden, da eine Einbindung über eine Javascript-Schnittstelle unterstützt wird.

Die Möglichkeiten der Auslieferung sind vielfältig,  ob als Installation eines Software-Pakets auf einem PC oder Notebook, als Software-Paket auf einem USB-Stick, als Virtuelle Maschinen (VMs) oder Online.

 

Wo wird der CBA ItemBuilder eingesetzt?

Aufgaben, die mit dem CBA ItemBuilder erstellt wurden, werden Beispielsweise für computerbasierte Assessments im Schulkontext, als Online-Testungen oder eingebundene Kompetenzdiagnostik in Computer Assisted Personal Interview-Erhebungen verwendet. Eine Übersicht der Erhebungen, in denen der CBA ItemBuilder zum Einsatz kommt, finden Sie hier.

 

Wie ist der CBA ItemBuilder erhältlich?

Der CBA ItemBuilder ist kostenlos erhältlich und kann zusammen mit dem Execution Environment von TBA  bereitgestellt werden.

 

 

Leitung/Product Owner: Dr. Ulf Kröhne

Product Manager: Dr. Margit Mikula 

Kooperation: Nagarro

Kontakt:

Weitere Links: ItemBuilder-Wiki

 

 

zuletzt verändert: 13.01.2021