Einsatz und Gestaltung von (Self-)Assessments in der digitalen Lehre

Einsatzszenarien von (Self-)Assessments

Selbsttests und Tests können in der digitalen Lehre als E-Assessments umgesetzt werden und haben so das Potential, Veranstaltungen um neue Szenarien zu bereichern. Sie können Studierenden Informationen über ihren eigenen Lehr-Lernprozess liefern und die Lernentwicklung verbessern (Kingston & Nash, 2011). Außerdem liefern sie relevante Hinweise für Lehrende, die zur Reflexion und Anpassung der Lehrveranstaltung im Semesterverlauf genutzt werden können. Während Tests in klassischen Lehrformaten meist als abschließende summative Prüfungen von Relevanz sind, lassen sich auch diagnostische (z.B. Vorwissen ermitteln) und formative Funktionen (Im Verlauf: Was wurde bereits erreicht, wo muss nachgesteuert werden?) nutzen.

Formative Assessments dienen der Lernunterstützung („Assessment for Learning“) und können mit Rückmeldungen durch Lehrende, durch Tutor*innen oder durch Kommiliton*innen ergänzt werden oder als Self-Assessments konzipiert werden, die von den Studierenden unabhängig und flexibel bearbeitet werden können.

Um die Wirkungen von formativen Assessment zu maximieren, sollten folgende Hinweise beachtet werden (Chappuis, 2015):

1. Die eingesetzten Instrumente sind mit Lernzielen und Lehr-Lernaktivitäten abgestimmt.
2. Lehrende nutzen die diagnostischen Informationen.
3. Studierende nutzen die diagnostischen Informationen.
4. Ergebnisse werden zeitnah rückgemeldet.
5. Es besteht ausreichend Zeit und Gelegenheit für Lehrende und Studierende, um auf die Ergebnisse zu reagieren.

Formative Self-Assessments lassen sich günstig mit automatisiert auswertbaren Aufgabenformaten (z.B. MC-Aufgaben) umsetzen. Damit auf diese Weise aussagekräftige und passgenaue Tests entstehen, ist es wichtig, Konstruktionshinweise zu beachten.

Da Sie die hier erläuterten Prinzipien und Grundlagen zu Konstruktion und Einsatzszenarien der Aufgabenformate auch für die Erstellung summativer Prüfungen nutzen können, finden Sie an den relevanten Stellen Infoboxen, die Sie darauf hinweisen, was hier zu beachten ist.

Automatisiert auswertbare Aufgabenformate

Bei automatisiert auswertbaren Aufgabenformaten ist die Antwort entweder bereits vorgegeben und muss durch die Studierenden ausgewählt werden (z.B. Richtig-Falsch, Multiple-Choice, Single-Choice, Zuordnungs- und Umordnungsaufgaben, auch drag & drop) oder es müssen nur einzelne Wörter oder Zahlen ergänzt werden (z.B. Kurzantwort- oder Lückentextaufgaben, einfache Rechenaufgaben). Die Umsetzung und Auswertung lässt sich in Autorensystemen und Lernplattformen durch Test-Features umsetzen (an der GU: LernBar, OLAT, Moodle etc.) und über Prüfungssoftware abbilden (an der GU: LPLUS, EvaExam). Da MC-Aufgaben häufig genutzt werden, finden Sie im Folgenden einige Konstruktionshinweise. Weitere Aufgabenformate werden im begleitenden LernBar-Kurs vorgestellt.

Konstruktionshinweise für MC Aufgaben

Strukturelemente einer MC-Aufgabe

Prinzipiell muss bei MC-Aufgaben aus mehreren vorgegebenen Alternativen die richtige Lösung ausgewählt werden. Vorausgehende Informationen (Fallbeschreibung, Textauszug, Diagramm, Grafik, Tabelle, Video usw.) ermöglichen auch anspruchsvolle Aufgaben zu höheren kognitiven Niveaus, bei denen die Studierenden die Anwendung des Wissens, ihre Analysefähigkeit oder ihre Kompetenz zeigen können, Schlussfolgerungen aus einem konkreten Fall zu ziehen. 

Aufgabenstamm	Du befindest dich auf einer Wanderung in Kanada und möchtest für die Nacht das Zelt aufschlagen. In den Wetternachrichten hast du gehört, dass sich im Westen ein Hoch und im Osten ein Tief befindet.
Frage	Bewerte deine Situation und entscheide, in welche Himmelsrichtung du den Zelteingang ausrichtest, damit möglichst wenig Wind hineinbläst?
Antwortalternativen mit Distraktoren und richtiger Antwort(*)	Nord / Nord-Ost / Ost / Süd-Ost (*) / Süd / Süd-West / West / Nord-West

Tab. 1: Strukturelemente

Allgemeine Konstruktionshinweise 

Bei der Formulierung von MC-Aufgaben sind drei Grundregeln zu berücksichtigen:

1. Jede MC-Aufgabe sollte nur einen wichtigen Lerninhalt behandeln und die korrekte Lösung der Aufgabe durch eine Referenz (Literaturhinweis, Belegstelle in den Materialien) belegbar sein.
2. Inhalt und Anspruchsniveau der Aufgabe sollten auf das zugehörige Lernziel abgestimmt sein, d.h. es kann über die Beantwortung der Frage erkannt werden, ob das intendierte Lernziel erreicht wurde.
3. Die Schwierigkeit einer MC-Aufgabe ist durch Variation des Aufgabenstamms und der Distraktoren (Falschantworten) beeinflussbar. Aufgaben sollen aber nicht künstlich kompliziert gemacht werden, wie es zum Beispiel durch die Benutzung komplexer Sprache möglich wäre. Die Schwierigkeit einer MC-Aufgabe soll von dem kognitiven Anspruch (Anwendung, Verständnis, Problemlösung) oder der erforderlichen Differenzierung (gegenseitige Nähe der Antwortalternativen) bestimmt sein.

Hinweise zur Formulierung des Aufgabenstamms

Folgende Aspekte sollten bei der Formulierung des Aufgabenstamms beachtet werden.

• Der Aufgabenstamm soll alle für die Lösung der Aufgabe erforderlichen Informationen enthalten und damit hinreichend ausführlich sein, während die Antwortoptionen kurz und übersichtlich sein sollten, um sie einfacher gegeneinander abwägen zu können.
• Der Aufgabenstamm sollte klar und ohne das Lesen der Antwortalternativen verständlich sein. D.h. die Aufgabe kann auch beantwortet werden, ohne dass die Antwortoptionen gezeigt werden müssen (sog. „cover-the-options-rule“).
• Den Aufgabenstamm möglichst positiv formulieren! Bei negativen Formulierungen Negation typographisch deutlich herausstellen (NICHT nicht nicht) und nach Möglichkeit am Ende des Aufgabenstammes (dann wird es nicht so leicht überlesen).
• Doppelte Verneinungen vermeiden. Dies gilt auch für die Kombination Stamm – Antwort, d.h. wenn eine negative Formulierung im Aufgabenstamm gewählt wird, sollte keine Verneinung in den Antwortoptionen verwendet werden.
• Es sollen keine unnötigen oder zusätzlichen Informationen gegeben und möglichst unkompliziert formuliert werden. Bei einer „echten“ (selektiven/benoteten) Prüfung sollte keinesfalls noch versucht werden, zusätzliche Lerninhalte zu vermitteln.

Hinweise zur Formulierung der Antwortalternativen

Die Antwortalternativen stellen die Auswahl möglicher Lösungen auf die im Aufgabenstamm formulierte Problemstellung dar. Von den angebotenen Optionen können eine oder mehrere die richtigen bzw. die eindeutig besten Antworten sein. Die anderen Optionen sind falsch (so genannte Distraktoren). Die Schwierigkeit einer Frage ist vor allem von der Qualität der Distraktoren abhängig. Sie sollten den unwissenden Studierenden plausibel erscheinen, so dass sie von der richtigen Antwort ablenken und die Ratewahrscheinlichkeit minimieren. Die wissenden Studierenden sollten durch die Distraktoren aber nicht verwirrt werden. Bei der Formulierung der Antwortalternativen sind eine Reihe inhaltlicher, formaler und sprachlicher Kriterien zu erfüllen:

• Alle Antwortalternativen müssen plausibel sein und inhaltlich in die gleiche Kategorie fallen, also zum gleichen Themenfeld gehören (diese Regel wird häufig verletzt).
• Jede Antwortalternative sollte möglichst kurz sein und nur eine Aussage enthalten.
• Die richtige Antwort bzw. die richtigen Antworten müssen gegenüber den Distraktoren die eindeutig besten sein, dabei aber richtige und falsche Antworten möglichst hohe Ähnlichkeit aufweisen.
• Alle Distraktoren müssen eine klar nachvollziehbare Beziehung zum Fragenthema aufweisen. Bei Distraktoren kann es sich zum Beispiel um häufige Fehlvorstellungen, falsche Konzepte oder veraltete Ansichten handeln. Triviale, unplausible oder auch scherzhafte Distraktoren können sofort auch von unwissenden Lernenden ausgeschlossen werden. Dadurch erhöht sich die Ratewahrscheinlichkeit der Frage und die Trennschärfe der Aufgabe nimmt ab.
• Um die Ratewahrscheinlichkeit durchgehend klein zu halten, sollten möglichst 4-5 Antwortalternativen formuliert werden. Falls einmal tatsächlich nur zwei sinnvolle Distraktoren gefunden werden, sollten lieber nur drei Antwortalternativen angeboten werden, anstatt etwas völlig Abwegiges aufzunehmen.
• Auf die Verwendung der Optionen „Alle genannten Alternativen“ oder „Keine der genannten Antworten“ soll verzichtet werden.

Hinweis beim Einsatz als Prüfung
Bewertung: Bitte beachten Sie bei der Erstellung von MC-Aufgaben in elektronischen Lern- oder Prüfungsumgebungen darauf, dass die automatische Auswertung die Ergebnisse liefert, die Sie beabsichtigen! Insbesondere sollte vermieden werden, dass Studierende die volle Punktzahl erhalten, indem alle Antwortoptionen angekreuzt werden. Die unterschiedlichen Plattformen bieten hierfür verschiedene Möglichkeiten. Probieren Sie anhand typischer Fragen die Einstellungen am besten aus oder wenden Sie sich an die entsprechenden Ansprechpartner bei studiumdigitale, dem IKH oder dem HRZ.

Mögliche Stolperfallen bei der Formulierung

Es gibt einige leicht vermeidbare Stolperfallen bei der Formulierung von MC-Aufgaben, die sich auf die Qualität der Aufgaben auswirken. So können kleine formale, logische oder sprachliche Ungenauigkeiten oder Fehler unbeabsichtigte Lösungshinweise („cues“) geben, die die Ratewahrscheinlichkeit von nicht wissenden Studierenden erhöhen. Um die Aussagekraft Ihrer Aufgaben zu erhöhen („Erhalte ich bei richtiger Lösung eine Information über den Kenntnisstand/die Kompetenz der Studierenden?“)  sollten die Formulierungen auf folgende Kriterien hin überprüft werden:

• Aufgabenstamm und Alternativen müssen grammatikalisch zueinander passen, damit keine Hinweise auf korrekte Antworten gegeben werden.
• Keine Unterschiede in Komplexität und Satzlänge zwischen Distraktoren und korrekten Antworten (häufig ist der längste Satz die richtige Antwort).
• Keine Formulierung nur der korrekten Antwort „aus dem Lehrbuch“, d.h. auch sprachlich sollen alle Alternativen ähnlich klingen.
• Absolute Begriffe wie „immer, niemals, alle, kein, nur“ weisen meist auf falsche Antworten hin und sollten daher vermieden werden.
• Moderate Begriffe wie „manchmal, zum Beispiel, gewöhnlich“ weisen meist auf richtige Antworten hin und sollten daher vermieden werden.
• Es sollte auf Elemente, die bereits auf die richtige Antwort hinweisen und deren Wiederholung in einzelnen Antwortalternativen verzichtet werden. Die Antwort, die die größte Zahl von Elementen mit anderen Antworten gemeinsam hat, ist mit erhöhter Wahrscheinlichkeit die richtige. Ein derartiger Hinweis wird „Konvergenz-Cue“ genannt. Im Beispiel 1 unten ist „Hypertext“ 2mal enthalten, 3mal „Transfer“ und 2mal „Protocol“. Antwort b. enthält alle drei Elemente.
• Hinweise, welche die Aufmerksamkeit auf zwei Antwortalternativen einschränken, sind zu vermeiden. Werden Kernelemente der richtigen Antwort noch in einer zweiten Antwort verwendet, wird die Aufmerksamkeit darauf gelenkt. Wird in einer falschen Antwort das Gegenteil der richtigen formuliert, wie in Beispiel 2, muss logischerweise fast eine der beiden richtig sein. So ergibt sich eine 50-prozentige Ratewahrscheinlichkeit.
• Die richtige Antwort nach Zufall festlegen oder logisch/systematisch aufbauen (häufig haben Autor*innen die Tendenz dazu, die richtigen Antworten in der Mitte der Antwortalternativen zu platzieren).

Tipps und Tricks

• Beziehen Sie die Studierenden in die Aufgabenkonstruktion mit ein (bspw. als aktiven Teilnahmenachweis müssen die Studierenden MC-Fragen zu den Lernzielen von 3 Sitzungen erstellen). Unterstützen Sie die Studierenden bei der Erstellung bspw. mit Checklisten (siehe unten) und/oder arbeiten Sie mir Peerfeedback (Hinweise zur Nutzung in OLAT oder Moodle).
• Häufige Fehler bei Kurzantwort-Aufgaben können als plausible Distraktoren dienen, wenn Sie diese in ein geschlossenes Antwortformat überführen. 
• Achten Sie darauf, dass Sie keine „Item-Enemies“ in Ihrem Assessment nutzen (Die Beantwortung einer Aufgabe darf durch die richtige oder falsche Beantwortung einer anderen Aufgabe nicht leichter oder schwerer werden.).
• Nutzen Sie Fragenbibliotheken zum Archivieren, Austauschen und Wiederverwenden von (Prüfungs-)Aufgaben. 
• Gehen Sie in den Austausch mit Ihren Kolleg*innen ggf. auch aus anderen Hochschulen. Evtl. haben diese bereits geschlossene Fragen zu Themen Ihres Fachgebiets erstellt, die sie gerne mit Ihnen teilen.
• Nutzen Sie die empirischen Kennwerte (Schwierigkeit, Trennschärfe) für Revisions- bzw. Eliminationsentscheidungen.
• Wenn systematisch bestimmte Themengebiete schlechter ausfallen, prüfen Sie:  
  • Anpassung der Lehre und/oder der zugrundeliegenden Literatur?
  • Stimmt das Alignement zwischen Lernzielen, Lehre und Prüfung und ist dies für die Studierenden transparent?

Checkliste zur Itemerstellung 

Inhalt	Ja	Nein
Ist die gestellte Frage zur Überprüfung des Lernziels wirklich relevant?
Ist das Schwierigkeitsniveau angemessen, nicht zu spitzfindig/trivial?
Ist der Frageninhalt fachlich unumstritten?
Wurde die Frage per Peer-Review auf Relevanz, Verständlichkeit und Schwierigkeit von einem Fachkollegen beurteilt?

Fragenstamm	Ja	Nein
Ist der Fall/die Problembeschreibung adäquat?
Ist die Sprache klar und einfach, kein komplizierter Satzbau, keine Mehrdeutigkeiten?
Werden nur gebräuchliche Abkürzungen, Fachausdrücke und Fremdwörter verwendet?
Wurde Text so weit wie möglich durch Bildmaterial ersetzt?

Frage	Ja	Nein
Ist die Frage klar umrissen?
Handelt es sich um eine Wissensanwendungsfrage?
Entspricht der Frageninhalt der einheitlichen Lehrmeinung?
Ist die Frage beantwortbar, ohne die Antwortoptionen gelesen zu haben? (Einhaltung der cover-the-options-rule)
Wurden Negationen vermieden bzw. falls nicht möglich hervorgehoben?
Handelt es sich um eine Fangfrage?

Antwortoptionen	Ja	Nein
Gibt es eine eindeutig beste Antwort?
Sind alle Distraktoren plausibel?
Sind alle Antwortmöglichkeiten homogen (Textlänge, Grammatik, formale Gestaltung)?
Sind alle Antwortoptionen aus der gleichen Antwortkategorie?
Sind die Wahlantworten kurz?
Wurde doppelte Verneinung vermieden?
Wurde „alle der oben genannten treffen zu“ vermieden?
Wurden absolute Begriffe (immer, alle, niemals) vermieden?
Wurden moderate Begriffe wie „manchmal, zum Beispiel, gewöhnlich“ vermieden
Wurden Wortwiederholungen aus dem Stamm vermieden?
Gibt es eine Häufung der richtigen Antworten bei C oder D?

(verändert nach Slotosch, 2013)

Literaturhinweise/Links

Wenn Sie mehr über formatives Assessment und seine Gelingensbedingungen erfahren möchten, bietet dieses Video einen ersten Einstieg: https://vimeo.com/89619211

Chappuis, J. (2015). Seven Strategies of Assessment for Learning, 2nd Edition. Pearson

Kingston, N., & Nash, B. (2011). Formative assessment. A meta-analysis and a call for research. Educational Measurement: Issues and Practice, 30(4), 28–37.

Slotosch, S. (2013). Information für Lehrende zum Einsatz von E-Tests. Albert-Ludwigs-Universität Freiburg.