5.1.3. Assessment-Formen in QUADRIGA OER#
In QUADRIGA OER werden vorrangig folgende Assessment-Formate genutzt.
Single-Choice- / Multiple-Choice-Tests
Diese Tests sind schnell und einfach in der Korrektur, da diese automatisch erfolgen kann. Die Erstellung muss überlegt durchgeführt werden.
Falsche Antwortmöglichkeiten (Distraktoren) sollten in ihrer Struktur (Länge, Detailgrad) möglichst gleich und inhaltlich plausibel sein. Single-Choice-Tests sollten mindestens drei Antwortmöglichkeiten anbieten (eine richtige und zwei falsche). Multiple-Choice-Tests (MC) mit \(n\) Antwortmöglichkeiten können zwischen \(1\) und \(n\) richtige beinhalten. Ein MC ohne richtige Antwort ist nutzlos, weil das “Nichts-Tun” zu einem korrekten Ergebnis führt und damit die Funktion der Rückmeldung fehlt.
Jede Frage und deren Antwortmöglichkeiten muss mit einer/mehreren Erklärungen verbunden werden, die erläutern, warum die richtigen Antwortmöglichkeiten richtig und die falschen Antwortmöglichkeiten falsch sind. Dieses direkte Feedback hilft Lernenden beim Einordnen ihrer Antwort: War die Antwort nur zufällig oder auf Basis falscher Gründe korrekt? Was habe ich übersehen/vergessen um zur falschen Lösung zu gelangen?
Elemente in korrekte Reihenfolge bringen
Dieser Fragetyp eignet sich für die automatische Korrektur. Gibt es eine natürliche Struktur / einen klaren Prozess, so kann diese(r) durch diesen Fragetyp geprüft werden. Eine Erklärung für die korrekte Antwort und ggf. schwierige Entscheidungen der Anordnung ist verpflichtend.
Gibt es mehrere mögliche, gleich oder änlich korrekte Reihenfolgen / Strukturen, so sollte dieser Fragentyp gemieden werden.
Verknüpfung von Elementen (\(1:1\), \(1:n\), oder \(n:m\))
Diese Art von Testfrage kann automatisch korrigiert werden. Es können verschiedene Beziehungstypen wie Hierarchien, Beinhaltung, Gegensätze, … geprüft werden. Typischerweise bauen diese Fragen auf einer bi-partiten Gruppe von Elementen auf, wobei ein Element der “linken” Gruppe mit einem oder mehreren Elementen der “rechten” Gruppe verknüpft werden sollen. Es besteht die Möglichkeit, dass nicht alle Elemente der “rechten” Gruppe verknüpft werden müssen. Typischerweise müssen alle Elemente der “linken” Gruppe mindestens einmal verknüpft werden.
Der betrachtete Beziehungstyp und die Anzahl der korrekten Verknüpfungen müssen in der Frage definiert werden. Dieser Fragentyp kann auch in Form eines Lückentextes dargestellt werden. Eine Erklärung, warum eine Elementverknüpfung korrekt ist und die anderen Varianten nicht, ist verpflichtend.
Tests auf ein festgelegtes, nach Vorgaben formatiertes Ergebnis
Dieser Test kann ggf. automatisch korrigiert werden, wenn das Ergebnis eineindeutig ist oder mehrere korrekte Schreibweisen/Werte hinterlegt sind.
Typischerweise hat dieser Test Zahlen oder einzelne Wörter als korrekte Antwort. Ggf. können Fehlerbereiche wie ±1% oder Unterschiede in der Groß-/Kleinschreibung automatisch berücksichtigt werden.
Schwierig ist dieser Fragetyp, wenn mehrere Antworten korrekt sein können. In einem gewissen Rahmen ist dies modellierbar, aber die mit jeder möglichen korrekten Antwort exponentiell steigende Komplexität macht dies schnell unübersichtlich.
Dieser Fragentyp kann auch in der Form eines Lückentextes dargestellt werden.
Eine Erklärung nicht nur der korrekten Antwort, sondern auch von “Fehlerbereichen” mit Hinweisen auf die korrekte Antwort ist verpflichtend.
Programmierung einer Funktion mit festgelegtem Interface
Dieser Fragetyp kann ggf. mit (vorgegebenen und ggf. geheimen) Testfunktionen automatisch überprüft werden. Diese Art der Aufgabe fordert zwingend, dass die vorgegebenen Testfunktionen nützliche Hinweise zur Korrektur der eigenen Funktion liefern. Dieser Aufgabentyp funktioniert nur, wenn Lernende beliebig oft die Testfunktionen auf ihre Antwort-Funktion anwenden können. Es müssen nicht zwingend gesonderten, geheimen Testfunktionen zur Überprüfung einer “Abgabe” existieren.
Programmierung/Konfiguration einer Datenverarbeitungs-Pipeline
Ähnlich zum Fragentyp der Programmierung einer Funktion kann auch dieser Fragentyp ggf. automatisch korrigiert werden, solange ein Eingabedatensatz und Test-Funktionen sowie ggf. ein Ausgabedatensatz existieren. Für die Bearbeitung müssen zusätzlich mindestens ein Test-Eingabedatensatz und offengelegte Test-Funktionen sowie ggf. mindestens ein Test-Ausgabedatensatz existieren, anhand derer die Lernenden ihre Datenverarbeitungs-Pipeline entwickeln und testen können. Diese Art der Aufgabe fordert zwingend, dass die vorgegebenen Testfunktionen nützliche Hinweise zur Korrektur der eigenen Funktion liefern. Dieser Aufgabentyp funktioniert nur, wenn Lernende beliebig oft die Testfunktionen auf ihre Antwort-Funktion anwenden können. Es müssen nicht zwingend gesonderten, geheimen Testfunktionen zur Überprüfung einer “Abgabe” existieren.
Self-Assessment-Aufgaben
Diese Gruppe von Aufgaben wird durch die Lernenden selbst bewertet. Dazu erhalten sie (nach Abgabe ihrer Antwort) eine Kombination aus Musterlösung(en) und/oder Bewertungskriterien sowie Anleitung, wie sie diese anwenden sollen. Alle Bewertungsinformationen können auch mit der Aufgabenstellung bekanntgegeben werden.
Diese Art der Aufgabe verlässt sich auf die Selbstreflexion der Lernenden. Eine Abwandlung als Peer-Review ist ggf. möglich, wenn mehrere Lernende gleichzeitig die Aufgabe bearbeiten (siehe bspw. MOOCs) oder wenn es eine Lehrperson gibt. Dies ist im Rahmen von QUADRIGA nicht explizit vorgesehen.
Eine Bewertung/ein Feedback durch ein mit Aufgabenstellung, Musterlösungen und Bewertungskriterien trainiertes LLM-System ist denkbar. Die Nützlichkeit und Validität eines solchen Feedbacks müssen jedoch überprüft werden.
Dieser Fragetyp wird angewendet für komplexe Fragen, die sich nicht oder nicht einfach/fehlerfrei durch die anderen Fragetypen abbilden lassen. Dies betrifft vor allem Aufgaben der selbstständigen Erschaffung von Code, Text, Graphiken, …. Dies erfordert die Produktion von Wissen/Information und nicht “nur” die Erkennung von korrekten Antworten oder das In-Beziehung-Setzen von vorgegebener Information.
Weiter Formate
Eine Möglichkeit, die Produktion von Wissen zu testen ist, die Lernenden zuerst auf eine Frage selbst eine Antwort formulieren zu lassen und dann (auf einer nächsten Seite) diese bspw. 3 vorformulierten Antwortmöglichkeiten gegenüberzustellen, aus denen dann eine korrekte auswählt werden muss. Die Lernenden müssen so zuerst eine Antwort selbst generieren und können dann ihre – richtige oder falsche – Antwort mit drei Antwortmöglichkeiten vergleichen und ggf. auf Basis der darin “versteckten” Hinweise verbessern. Die Auswahl der richtigen Antwortmöglichkeit ist dann ein zusätzlicher Verifikationsschritt, bei dem die Lernenden entweder in Ihrer eigenen Antwort und/oder der gewählten Antwortmöglichkeit bestätigt werden, oder indem Sie eine Antwortmöglichkeit als gesichert falsch eliminieren, um auf Basis dieser neuen Informationen nochmals ihre selbst-formulierte Antwort verbessern und/oder die korrekte Antwort aus den restlichen Antwortmöglichkeiten auswählen können. Wie immer gilt, dass falsche Antwortmöglichkeiten möglichst eine Begründung beinhalten sollten, die die Lernenden unterstützt in der Herausarbeitung der richtigen Antwort(möglichkeit).
Portfolios würden in ihrer Struktur ideal zur Fallstudienbasierten Aufbereitung in den QUADRIGA-OER passen, jedoch sind sie im Rahmen des QUADRIGA Projekts leider nicht umsetzbar. In einer Workshop-/Lehrveranstaltungssituation bieten sie sich als gute Form an, die eine Mischung aus formativem und summativem Assessment ermöglicht.
Eignung von Assessment-Methoden für gewisse Lernziele#
Wie bei den Fragetypen angedeutet haben diese Eigenschaften, die sich auf die überprüfbaren Inhalte/Lernziele auswirken. Erkennen, Verstehen und ggf. Anwenden (siehe Anderson et al., 2014, Schermutzki, 2007) können mit den ersten, einfacheren Fragetypen überprüft werden. Anwenden und Analysieren lassen sich ggf. noch automatisch korrigieren, wenn die Frage/Aufgabenstellung eng genug definiert ist. Spätestens, wenn es um das Beurteilen und Gestalten geht, sind diese vorrangig nur noch durch komplexe Aufgaben – im Kontext von QUADRIGA durch Self-Assessment – überprüfbar. Bei affektiven Lernzielen ergibt sich ein ähnliches Bild, sodass die ersten Stufen (siehe Anderson et al., 2014, Schüller et al., 2019) noch durch die ersten Fragetypen abgedeckt werden können während höhere Stufen vorrangig durch komplexe Aufgaben – hier Self-Assessment – überprüft werden müssen.
Literatur
Anderson, L. W., Airasian, P. W., Cruikshank, K. A., Krathwohl, D. R., Mayer, R. E., Pintrich, P. R., … Wittrock, M. (2014). Anderson, L. W., & Krathwohl, D. R. (Eds.). A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom's. Pearson new international edition ed. Harlow: Pearson Education.
Schermutzki, M. (2007). Lernergebnisse - Begriffe, Zusammenhänge, Umsetzung und Erfolgsermittlung: Lernergebnisse und Kompetenzvermittlung als elementare Orientierungen des Bologna-Pozesses.
Schüller, K., Busch, P., & Hindinger, C. (2019). Future Skills: Ein Framework für Data Literacy. Hochschulforum Digitalisierung.