Prä- und Post- Reviewprozess von Prüfungen mit MCQs

Konzept

Ziele

Elektronische Erstellung, Verwaltung und Qualitätssicherung der MCQs;
Software die diese Prozesse unterstützt;
Kennzahlen definieren, an denen Maßnahmen gemessen werden können

Beschreibung

Für die Durchführung der Jahresprüfungen (SIP – summativ integrierte Prüfung) für ca. 2000 Kandidat/inn/en aus 5 Studienjahren wurde eine webbasierte Software nach einem Evaluierungsprozess ausgewählt. Die Software wurde so an die lokalen Bedürfnisse adaptiert, dass die Lehrenden als Fragenautor/inn/en ihre Fragen elektronisch eingeben, diese in einen formalen und einen fachlichen elektronischen Prä-Review schicken, nach positivem Review steht die Frage für die jeweilige Prüfung zur Verfügung. Die Prüfungen sind mit blueprints hinterlegt, der prüfungsverantwortliche Koordinator kann diese entsprechend zusammenstellen. Bereits gestellte Fragen führen die Information mit, wann sie bereits gestellt wurden und wie die Statistik (Trennschärfe und Schwierigkeitsindex) ausgefallen ist. Bis zur Erstellung der Prüfungshefte erfolgen alle Schritte elektronisch. Die Prüfungen selbst werden als paper pencil durchgeführt. Es besteht auch die Möglichkeit, die Prüfungen selbst elektronisch durchzuführen – was auch für Prüfungen mit kleiner Teilnehmer/innenzahl erfolgreich durchgeführt wird. Die Antwortbögen werden per Scan wieder ins System zurückgeführt – nach einer Einlesekontrolle erfolgt die elektronische Auswertung inkl. der Standardstatistik (Trennschärfe und Schwierigkeitsindex und cronbach alpha). Der Prüfungssenat kann ebenfalls elektronisch Fragen eliminieren bzw. Antwortschlüssel ändern – Korrekturen und Neuberechnungen erfolgen automatisch. Die Ergebnismitteilung erfolgt individualisiert an die Studierenden.