5.1.4. Assessment-Formen in QUADRIGA OER#
In QUADRIGA OER werden vorrangig folgende Assessment-Formate genutzt.
Single-Choice- / Multiple-Choice-Tests Diese Tests sind schnell und einfach in der Korrektur, da diese automatisch erfolgen kann. Die Erstellung muss überlegt durchgeführt werden.
Falsche Antwortmöglichkeiten (Distraktoren) sollten in ihrer Struktur (Länge, Detailgrad) möglichst gleich und inhaltlich plausibel sein. Single-Choice-Tests sollten mindestens drei Antwortmöglichkeiten anbieten (1 richtige und 2 falsche). Multiple-Choice-Tests mit n Antwortmöglichkeiten können zwischen 1 und n richtige beinhalten. Eine MC ohne richtige Antwort ist nicht empfohlen, weil sonst das “Nichts-Tun” zu einem korrekten Ergebnis führt.
Jede Frage und deren Antwortmöglichkeiten muss mit einer/mehreren Erklärungen verbunden werden, warum die richtigen Antwortmöglichkeiten richtig und die falschen Antwortmöglichkeiten falsch sind.
Elemente in korrekte Reihenfolge bringen Dieser Fragetyp eignet sich für die automatische Korrektur.
Gibt es eine natürliche Struktur / einen klaren Prozess, so kann diese(r) durch diesen Fragetyp geprüft werden.
Eine Erklärung für die korrekte Antwort und ggf. schwierige Entscheidungen der Anordnung ist verpflichtend.
Verknüpfung von Elementen (1:1, 1:n, oder n:m) Diese Art von Testfrage kann automatisch korrigiert werden.
Es können verschiedene Beziehungstypen wie Hierarchien, Beinhaltung, Gegensätze, … geprüft werden. Typischerweise bauen diese Fragen auf einer bi-partiten Gruppe von Elementen auf, wobei ein Element der “linken” Gruppe mit einem oder mehreren Elementen der “rechten” Gruppe verknüpft werden sollen. Es besteht die Möglichkeit, dass nicht alle Elemente der “rechten” Gruppe verknüpft werden müssen. Typischerweise müssen alle Elemente der “linken” Gruppe mindestens einmal verknüpft werden. Vorgesehener Beziehungstyp und die Anzahl der möglichen Verknüpfungen müssen in der Frage definiert werden.
Dieser Fragentyp kann auch in Form eines Lückentextes dargestellt werden.
Eine Erklärung, warum eine Elementverknüpfung korrekt ist und die anderen Varianten nicht ist verpflichtend.
Tests auf ein festgelegtes, nach Vorgaben formatiertes Ergebnis Dieser Test kann ggf. automatisch korrigiert werden, wenn das Ergebnis eineindeutig ist.
Typischerweise hat dieser Test Zahlen oder einzelne Wörter als korrekte Antwort. Ggf. können Fehlerbereiche wie ±1% oder Unterschiede in der Groß-/Kleinschreibung automatisch berücksichtigt werden.
Schwierig ist dieser Fragetyp, wenn mehrere Antworten korrekt sein können. In einem gewissen Rahmen ist dies modellierbar, aber ab einer gewissen Komplexität der möglichen korrekten Antworten ist dieser Fragetyp nicht mehr nutzbar.
Dieser Fragentyp kann auch in der Form eines Lückentextes dargestellt werden.
Eine Erklärung nicht nur der korrekten Antwort, sondern auch von “Fehlerbereichen” mit Hinweisen auf die korrekte Antwort ist verpflichtend.
Programmierung einer Funktion mit festgelegtem Interface Dieser Fragetyp kann ggf. mit (vorgegebenen und ggf. geheimen) Testfunktionen automatisch überprüft werden.
Diese Art der Aufgabe fordert zwingend, dass die vorgegebenen Testfunktionen nützliche Hinweise zur Korrektur der eigenen Funktion liefern. Dieser Aufgabentyp funktioniert nur, wenn Lernende beliebig oft die Testfunktionen auf ihre Antwort-Funktion anwenden können.
Es müssen nicht zwingend gesonderten, geheimen Testfunktionen zur Überprüfung einer “Abgabe” existieren.
Programmierung/Konfiguration einer Datenverarbeitungs-Pipeline Ähnlich zum Fragentyp der Programmierung einer Funktion kann auch dieser Fragentyp ggf. automatisch korrigiert werden, solange ein Eingabedatensatz und Test-Funktionen sowie ggf. ein Ausgabedatensatz existieren. Für die Bearbeitung müssen zusätzlich mindestens ein Test-Eingabedatensatz und offengelegte Test-Funktionen sowie ggf. mindestens ein Test-Ausgabedatensatz existieren, anhand derer die Lernenden ihre Datenverarbeitungs-Pipeline entwickeln und testen können.
Diese Art der Aufgabe fordert zwingend, dass die vorgegebenen Testfunktionen nützliche Hinweise zur Korrektur der eigenen Funktion liefern. Dieser Aufgabentyp funktioniert nur, wenn Lernende beliebig oft die Testfunktionen auf ihre Antwort-Funktion anwenden können.
Es müssen nicht zwingend gesonderten, geheimen Testfunktionen zur Überprüfung einer “Abgabe” existieren.
Self-Assessment-Aufgaben Diese Gruppe von Fragen wird durch die Lernenden selbst bewertet. Dazu erhalten Sie (nach Abgabe ihrer Antwort) eine Kombination aus Musterlösung(en) und/oder Bewertungskriterien sowie Anleitung, wie sie diese anwenden sollen. Alle Bewertungs-Informationen können auch mit der Aufgabenstellung bekanntgegeben werden.
Diese Art der Aufgabe verlässt sich auf die Selbstreflexion der Lernenden. Eine Abwandlung als Peer-Review ist ggf. möglich, wenn mehrere Lernende gleichzeitig die Aufgabe bearbeiten (siehe bspw. MOOCs) oder wenn es eine Lehrperson gibt. Dies ist im Rahmen von QUADRIGA nicht explizit vorgesehen.
Eine Bewertung/ein Feedback durch ein mit Aufgabenstellung, Musterlösungen und Bewertungskriterien trainiertes LLM-System ist denkbar. Die Nützlichkeit und Validität eines solchen Feedbacks müssen noch überprüft werden.
Dieser Fragetyp wird angewendet für komplexe Fragen, die sich nicht oder nicht einfach/fehlerfrei durch die anderen Fragetypen abbilden lassen. Dies betrifft vor allem Aufgaben der selbstständigen Erschaffung von Code, Text, Graphiken, …. Dies erfordert die Produktion von Wissen/Information und nicht “nur” die Erkennung von korrekten Antworten oder das In-Beziehung-Setzen von vorgegebener Information.
Eine Möglichkeit, die Produktion von Wissen zu testen ist, die Lernenden zuerst auf eine Frage selbst eine Antwort formulieren zu lassen und dann (auf einer nächsten Seite) diese bspw. 3 vorformulierten Antwortmöglichkeiten gegenüberzustellen, aus denen dann eine korrekte auswählt werden muss. Die Lernenden müssen so zuerst eine Antwort selbst generieren und können dann ihre – richtige oder falsche – Antwort mit drei Antwortmöglichkeiten vergleichen und ggf. auf Basis der darin „versteckten“ Hinweise verbessern. Die Auswahl der richtigen Antwortmöglichkeit ist dann ein zusätzlicher Verifikationsschritt, bei dem die Lernenden entweder in Ihrer eigenen Antwort und/oder der gewählten Antwortmöglichkeit bestätigt werden, oder indem Sie eine Antwortmöglichkeit als gesichert falsch eliminieren, um auf Basis dieser neuen Informationen nochmals ihre selbst-formulierte Antwort verbessern und/oder die korrekte Antwort aus den restlichen Antwortmöglichkeiten auswählen können. Wie immer gilt, dass falsche Antwortmöglichkeiten möglichst eine Begründung beinhalten sollten, die die Lernenden unterstützt in der Herausarbeitung der richtigen Antwort(möglichkeit).
Portfolios wären schön, sind aber technisch nicht wirklich umsetzbar, weil keine Lehrkapazität für die Kurse veranschlagt ist.
Eignung von Assessment-Methoden für gewisse Lernziele#
Wie bei den Fragetypen angedeutet haben diese Eigenschaften, die sich auf die überprüfbaren Inhalte/Lernziele auswirken. Erkennen, Verstehen und ggf. Anwenden (siehe Bloom, Schermutzki) können mit den ersten, einfacheren Fragetypen überprüft werden. Anwenden und Analysieren lassen sich ggf. noch automatisch korrigieren, wenn die Frage/Aufgabenstellung eng genug definiert ist. Spätestens, wenn es um das Beurteilen und Gestalten geht, sind diese vorrangig nur noch durch komplexe Aufgaben – im Kontext von QUADRIGA durch Self-Assessment – zu überprüfen. Bei affektiven Lernzielen ergibt sich ein ähnliches Bild, sodass die ersten Stufen (siehe Bloom, Schüller) noch durch die ersten Fragetypen abgedeckt werden können während höhere Stufen vorrangig durch komplexe Aufgaben – hier Self-Assessment – überprüft werden müssen.