Elektronische Leistungsbeurteilung in einem Grundlagenfach

Umgesetzte Maßnahme

Ziele

Ziel des Beitrags ist es zu zeigen, wie elektronische Leistungsüberprüfung Lehrende in einem Grundlagenfach unterstützen kann und wie der Korrekturaufwand dadurch optimiert wird, sodass mehr Zeit für qualitativ hochwertige Rückmeldungen bleibt und Lernende aufgrund der Prüfungsergebnisse sehen, in welchen Bereichen Verbesserungspotenzial besteht.

Beschreibung

Die Autorin versucht einerseits mobile Endgeräte zur Überprüfung von Gruppenleistungen im Unterricht einzusetzen. Andererseits verwendet sie zur summativen Leistungsüberprüfung (=Zwischen- und Abschlussprüfungen) der Studierenden das kommerzielle Lernmanagementsystem „Questionmark Perception“ und beschreibt in ihrem Beitrag die Erfahrungen mit den Fragetypen, den Bewertungen und den Vor- und Nachteilen dieser Art der Leistungsbeurteilung für Lehrende wie auch Studierende.

1. Einleitung

 

Während in den USA elektronische Leistungsüberprüfungen sowohl im sekundären als auch im tertiären Bildungssektor Standard sind, werden sie im europäischen Raum weit weniger oft eingesetzt. Allerdings gibt es seit dem Umstieg auf das Bologniasystem und dem damit einhergehenden steigenden Prüfungsaufkommen eine Entwicklung in Richtung e-Assessment, weil damit nach anfänglichem Mehraufwand eine größere Anzahl von Prüfungen bewältigt werden kann. Zusätzlich wird als eines der didaktischen Ziele im Bologniasystem eine Output-Orientierung bei Lernprozessen gefordert (vgl. Wannemacher 2013, S. 10):

„Im Bologniasystem werden Leistungspunkte nur dann vergeben, wenn Lernziele tatsächlich erreicht wurden. In diesem Kontext sind Abschlussprüfungen am Ende großer Studienabschnitte um modulbezogene Leistungs-überprüfungen ergänzt. Diese umfassen sowohl:

• formative Prüfungen, mit denen Studierende erkennen können, inwieweit sie ihre Lernziele schon erreicht haben,

• summative Prüfungen, die für die Vergabe der Kreditpunkte relevant sind,

• als auch diagnostische Prüfungen, deren Bedeutung im Bologniasystem ebenfalls zunimmt, um beispielsweise zu erheben, ob ein/e Studienbewerber(in) die für einen bestimmten Studiengang notwendigen Kompetenzen aufweist.“

Formative Prüfungen haben das Ziel, den Lernerfolg der Studierenden aufzuzeigen und geben den Lehrenden die Möglichkeit, ihren Lehransatz zu verbessern, weil sie sehen, in welchen Bereichen die Studierenden noch Defizite haben. Gleichzeitig können Studierende Rückmeldung bezüglich ihrer Stärken und Schwächen bekommen. Eine formative Leistungsüberprüfung ist beispielsweise das Zusammenfassen des Gelernten in wenigen Sätzen (Lerntagebuch) oder das Einreichen eines Konzepts für eine Seminar- oder Bachelorarbeit.

Summative Prüfungen sollen den Lernerfolg der Studierenden bewerten und diesen mit einem gesetzten Standard vergleichen/abstufen. Zu dieser Art der Prüfung gehören Zwischen- und Abschlussprüfungen sowie auch Seminararbeiten.

Elektronische Leistungsüberprüfungen können sowohl formativ als auch summativ sein. Mit automatisch aus-wertbaren Angaben lassen sich vor allem kognitive Lernziele überprüfen. Je nach Aufgabenstellung und Prüfungssoftware ist es möglich, zusätzlich zu reinem Faktenwissen, das „Verstehen, Anwenden und Beurteilen“ zu überprüfen (vgl. www.e-teaching.org).

Nachfolgend werden zwei Arten der elektronisch unterstützten Leistungsüberprüfung, die von der Autorin eingesetzt werden, beschrieben.

 

 

2. Elektronisch unterstützte Leistungsüberprüfung einer Gruppe

 

Die Autorin bezieht seit dem WS 2014/15 mobile Endgeräte und Computer in den Unterricht mit ein und kann so das Interesse der sehr technikaffinen Studierenden mit einer formativen Leistungsüberprüfung kombinieren. Für kurze Umfragen im Unterricht wird eine Software verwendet, wo Studierende mittels Computer oder ihrer Mobiltelefone über PowerPoint präsentierte Fragen beantworten und das Ergebnis nach einer festgelegten Zeit live in den Folien angezeigt wird. Die Kommunikation hierbei ist eine „viele zu eins“-Kommunikation ähnlich einer TED (Teledialog)-Umfrage im Fernsehen. Ziel dieses formativen Assessments ist es zu sehen, welche Fragen/Aufgaben von welchem Prozentsatz der Studierenden verstanden wurden und gelöst werden können; die Studierenden sehen dabei für sich persönlich, ob sie die Frage richtig gelöst haben oder ob sie den Stoff genauer lernen oder noch einmal wiederholen müssen. Die Autorin sieht, zu welchem Prozentsatz das Unterrichtete verstanden wurde und ob es notwendig ist, Teil¬gebiete des Lernstoffs ein weiteres Mal zu wiederholen. Um einen aktuellen Wissensstand zu haben, ist es aber notwendig, nicht nur Gruppenleistungen, sondern auch die Kenntnisse von Einzelpersonen zu überprüfen und zu bewerten. Auch hier kann eine technologiebasierte Prüfung zu motivierenden und sinnvollen Ergebnissen führen.

 

 

3. Elektronische Leistungsüberprüfung von Einzelleistungen

 

Die Autorin verwendet an einem Studiengang der FH JOANNEUM seit 2003 für Zwischen- und Abschlussprüfungen der Studierenden ein kommerzielles Lernmanagementsystem, um zu überprüfen, ob die Lernziele erreicht wurden.

 

Lernziele werden, um sie vergleichbar zu machen, nach formalen Kriterien bestimmten Bereichen zugeordnet. Die am weitesten verbreiteten gehen auf Benjamin Bloom zurück und umfassen drei Klassen, nämlich (vgl. E-Assessment-Wiki):

1) kognitive (u.a. wissen, verstehen, anwenden, analysieren, evaluieren),

2) affektive (u.a. aufmerksam werden, beachten, reagieren, werten, strukturieren) &

3) psychomotorische Lernziele (u.a. imitieren, manipulieren, präzisieren, gliedern)

Anderson und Krathwohl haben Blooms Taxonomie erweitert und neben den Wissensdimensionen auch die verschiedenen Schritte des kognitiven Prozesses miteinbezogen. Zur Dimension des kognitiven Prozesses gehören laut Anderson und Krathwohl: erinnern, verstehen, anwenden, analysieren, bewerten/evaluieren und erzeugen (vgl. E-Assessment-Wiki).

 

Grundlagen- und Faktenwissen, welches sich nicht ändert, wird von der Autorin in Multiple Choice-, Mehrfachantwort-, Lückentext-, Ja/Nein-, nummerischen- und Lückentext- wie Wahlfragen abgefragt, wo es zu jedem dieser Fragetypen eine ausreichende Zahl von Antworten gibt. Bei einer Lückentextfrage werden beispielsweise in der Vorbereitung bis zu zehn Antwortmöglichkeiten eingegeben, die elektronisch korrigiert werden – die Autorin muss lediglich jene Antworten korrigieren, die entweder falsch sind oder so kreativ, dass sie vom System nicht erkannt werden.

Um zu vermeiden, dass Lernende Antworten erraten, ist es bei Multiple-Choice-Fragen und Mehrfach¬antworten möglich, einen Punkteabzug für falsche Antworten zu definieren.

 

Aktuell besteht der Fragepool der Autorin aus 2.200 Fragen, wobei 1.500 Fragen in den ersten beiden Semestern des Bachelorstudiums zur Anwendung kommen, wo im Unterrichtsfach der Autorin auch Grundlagenwissen gelehrt und abgefragt wird.

Zu den Aufgabenstellungen, die jedes Jahr basierend auf den im Unterricht behandelten Themen neu erstellt werden, gehören Textaufgaben wie auch Aufsätze, um zu überprüfen, ob das Gelernte nicht nur verstanden, sondern auch analysiert, interpretiert und praktisch angewandt werden kann. Bei diesen Aufgabenstellungen sind die Antwortmöglichkeiten so individuell, dass sie nicht von einem Prüfungssystem korrigiert werden können. Durch die Eingabe am Computer können allerdings Formalkriterien (wie die Form) leicht bewertet werden. Ein weiterer positiver Aspekt sind eindeutige Lesbarkeit der Textantworten und Anonymisierung der Lernenden, sodass eine ggf. aufgrund schwer lesbarer Handschrift der Lernenden Voreingenommenheit weg-fällt.

Der Einsatz dieses Fragetyps ist insofern wichtig, da es notwendig ist, zu überprüfen, ob die Lernenden die im Unterricht behandelten Themen wirklich verstanden haben.

 

3.1 Anwendung

 

Im ersten Semester des Bachelorstudiums findet nach sieben Wochen eine Zwischenprüfung statt, die vom Prüfungssystem bewertet werden kann und drei Ziele verfolgt:

1. zu erkennen, wo die Defizite der ganzen Gruppe liegen,

2. zu sehen, was vom bisher Gelernten verstanden wurde und

3. individuell aufzuzeigen, wo es Bereiche gibt, die genauer wiederholt/gelernt werden müssen

 

Die Studierenden erhalten sofort nach Absenden der Prüfung ihr Ergebnis und bekommen nach Durchsicht durch die Lehrende innerhalb von einer Woche ausgedruckt die Detailbewertung zu den verschiedenen Themenbereichen. Die Autorin kann die Ergebnisse des ganzen Jahrgangs für diese Prüfung im „Assessment Over¬view Report“ vergleichen und den Stu¬dierenden bekannt geben. So sehen die Studierenden, wie ihre Ergebnisse im Vergleich zur Gesamtgruppe ausgefallen sind und wo sie ihre Stärken haben und anderen helfen können, aber auch, wo sie Defizite haben. Die Autorin sieht aus den Ergebnissen, welche Themen¬bereiche entweder wiederholt oder ausführlicher behandelt werden müssen und kann Themenbereiche, wo der ge-samte Jahrgang ein Ergebnis über 80% erreicht hat, z.B. bei der Abschlussprüfung, weg¬lassen.

Es ist mithilfe der verwendeten Prüfungssoftware möglich zu sehen, welche Einzelfragen am öftesten und am wenigsten oft richtig beantwortet wurden und auf Basis dieses Wissens, Anpassungen im Unterricht vorzunehmen und für den jeweiligen Jahrgang besonders schwierige Themen und Fragen genauer zu erläutern.

 

 

4. Vor- und Nachteile

 

Prüfungen können aufgrund des großen Fragepools relativ einfach und rasch erstellt werden. Die Bewertung ist allgemein objektiver (da maschinell für alle gleich) und auch bei Textfragen fällt eine mögliche Voreingenommenheit weg. Studierende können bei Zwischenprüfungen sofort ihr Ergebnis bekommen und der Korrekturaufwand wird vereinfacht. Bei einer Abschlussprüfung, die frei zu schreibende Textteile enthält, konnte der Korrekturaufwand durch die computergestützte Vorkorrektur um insgesamt zwei Drittel verringert werden wodurch es möglich ist, jedem Prüfling ausführliches Feedback für die Freitextteile zu geben und gleichzeitig das erworbene Wissen zu unterschiedlichen Themen zu überprüfen.

Mit Prüfungen, wo es einen großen Anteil von professionell erstellten Multiple-Choice-Fragen gibt, lassen sich größere Themengebiete rasch und schnell (für Prüflinge und Prüfende) überprüfen. Diese Fragen zeichnen sich in der Regel durch Zuverlässigkeit und Objektivität aus. Sie sind allerdings nicht geeignet, Kreativität und Kommunikationsfähigkeit zu überprüfen.

Zu den Nachteilen gehören die Abhängigkeit von einem Softwaretool und die Notwendigkeit, ständig am neuesten Stand der Technik zu bleiben. Auch die Prüfungsumgebung muss vorhanden sein – so ist es notwendig eine bestimmte Anzahl von entsprechend ausgestatteten EDV-Räumen und Aufsichtspersonal zu haben, damit Prüfungen zeitgleich stattfinden können und die Voraussetzungen für alle gleich sind. Ein großer Vorteil ergibt sich bei den Prüfungsterminen für die Studierenden: Wenn ein entsprechender Fragepool vorhanden ist, ist jede Prüfung individuell und es müssen bei den alternativen Antrittsmöglichkeiten lediglich die Freitextangaben geändert werden. Wichtig aus Sicht der Autorin ist es auch, die Prüfungen nicht nur auf einem gesicherten hausinternen Server zu schreiben, sondern auch dort zu verwahren, damit sie innerhalb der gesetzlichen Aufbewahrungsfrist zugänglich bleiben.

Ein elektronisches Prüfungssystem zahlt sich aus, wenn es langfristig angesetzt ist und Wissen überprüft wird, das sich nicht konstant verändert (z.B. mathematische, sprachliche, mechanische, programmiertechnische, elektrotechnische Grundlagen). Die Tatsache, dass Studierende ihre Ergebnisse rascher erhalten als bei schriftlichen Prüfungen, die nicht mit einem elektronischen Prüfungssystem abgehalten werden, und sie ihre individuellen Ergebnisse vergleichen können sowie wissen, woran sie noch arbeiten müssen, kann für Studierende als Motivationsfaktor gesehen werden. Für die Autorin selbst ist diese Art der Prüfung und Auswertung der Ergebnisse ein Anreiz zur Verbesserung der eigenen Lehre.

 

 

Bibliografie

siehe Langversion (unter: Weiterführende Information)

Positionierung des Lehrangebots

Bachelorstudium, 1. und 2. Semester

Das Beispiel wurde für den Ars Docendi Staatspreis für exzellente Lehre 2016 nominiert.