Peer Reviewed Lecture (PRL)

Umgesetzte Maßnahme

Ziele

Ausgangslage: Die rasante Entwicklung neuer für die Lehre verwendbarer digitaler Technologien sowie der wachsende Einsatz von Lernplattformen im universitären Bereich hat substantielle Veränderungen in den Lehr- und Lernprozessen mit sich gebracht. Neben spektakulären neuen Möglichkeiten, komplexe Zusammenhänge drei- und vierdimensional darstellen zu können und dynamische Prozesse durch Computersimulationen visualisieren zu können hat dieser Technologieschub aber auch gravierende Nachteile mit sich gebracht. Der inhärente Druck zur Standardisierung (alles muss auf Powerpointfolien laufen), die Normierung der Vortragstechnik und die Zerstückelung in tausende Teilstücke, elektronisch beliebig verteilbar arbeitet gegen die Qualität einer nachhaltigen und universitären Lehre. Die persönlichen so unterschiedlichen Profile sowohl von Lehrenden als auch von Studierenden werden in Standardevaluierungen weggemittelt und der große Benefit der Vielfalt wird nicht genutzt. Die vielfältige Sicht einer Vorlesung aus der Perspektive von lehrenden Kollegen wird bestenfalls punktuell bei einer kurzen Probevorlesung in Zuge eines Habilverfahrens erhoben und dann nie mehr. Lehrende sprechen und diskutieren über Wissenschaftsthemen, aber über Inhalte und Didaktik der Lehre nahezu nie. Selbst- und Fremdwahrnehmung einer Vorlesung und ihrer Qualität differieren bisweilen bedenklich.

 

Motiv: Die zweifellos bestehende Vielfalt an technischen Möglichkeiten und an persönlichen Aspekten einer klassischen Lehrveranstaltung sollte genutzt werden, um innerhalb eines Peers von Lehrenden und Lernenden auch die Außensicht des Gebotenen zu erfahren und daraus Anregungen zu gewinnen.

 

Ziel des Projektes: Ziel des Pilot-Projektes „Peer Reviewed Lecture“ ist bei Studierenden und Lehrenden eine breitere und reflektierte Sicht der Lehr- und Lernprozesse, der technischen Möglichkeiten aber auch mehr gegenseitiges Verständnis über Aufwand und Realisierungsprobleme zu erreichen und Alternativen zur unidirektionalen Feedbackbogen-Evaluierung anzuregen.

Beschreibung

Einer Vorlesung kann aus diversen Gesichtspunkten bewertet werden. Im Idealfall entsprechen Inhalt, Präsentationsformate, Methodik und Didaktik dem Erwartungsprofil der meisten Studierenden. Dem steht jedoch die Heterogenität an Vorbildung, Auffassungsgabe und Leistungsfähigkeit der Studierenden, die Heterogenität der Universitätslehrer in Didaktik, Methodik und Präsentation und die Diskrepanz von Eigenwahrnehmung und Fremdwahrnehmung einer Vorlesung zwischen Studierenden und Vortragenden entgegen.

Im vorliegenden Projekt soll die Darstellung und Analyse einer vorgegebenen Vorlesungsreihe in der Wahrnehmung von möglichst diversen Personenkategorien, welche unterschiedliche Sichtwinkel repräsentieren, versucht werden. Ziel dieses Peer Review Projekts PRL in der Präsenzlehre ist, ein kritisch reflexives, kollaboratives Verfahren zur Verbesserungen in der Lehre mit Studierenden und Lehrenden zu entwickeln.

Ein Satz von konsekutiven Vorlesungen soll durch Peers folgender Kategorien begleitet werden: KollegInnen gleichen Faches, KollegInnen eines anderen Faches, StudentInnen der laufenden Lehrveranstaltung, StudentInnen nachfolgender Semester. Eine innovative Technik der Präsentation mit Hilfe einer Interaktiven Pen Display Technologie IPD auf einem Großtablet (27“) wird eingesetzt. Neben der Abschlussevaluierung gibt es ein kontinuierliches Tuning durch ein laufendes informelles Feedback.

1. Ausgangssituation und Projektkurzbeschreibung

Im vorliegenden Projekt soll die Darstellung und Analyse einer vorgegebenen Vorlesungsreihe in der Wahrnehmung von möglichst diversen Personenkategorien, welche unterschiedliche Sichtwinkel repräsentieren, versucht werden. Ziel dieses Peer Review Projekts PRL in der Präsenzlehre ist, ein kritisch reflexives, kollaboratives Verfahren zur Verbesserungen in der Lehre mit Studierenden und Lehrenden zu entwickeln.

Ein Satz von konsekutiven Vorlesungen soll durch Peers folgender Kategorien begleitet werden: KollegInnen gleichen Faches, KollegInnen eines anderen Faches, StudentInnen der laufenden Lehrveranstaltung, StudentInnen nachfolgender Semester. Eine innovative Technik der Präsentation mit Hilfe einer Interaktiven Pen Display Technologie IPD auf einem Großtablett (27“) wird eingesetzt. Neben der Abschlussevaluierung gibt es ein kontinuierliches Tuning durch ein laufendes informelles Feedback.

2. Methodik

2.1. Review-Prozess

Ein Peer Review sollte für jede(n) ReviewerIn zumindest zwei besser jedoch drei Lehrereignisse (Ein¬heiten zu 45 Minuten) umfassen:

1. ReviewerIn erhalten relevante Lehrunterlagen, Informationen über Vorwissen der Studierenden und in einem Gespräch Informationen über die zu evaluierenden Lehreinheit;

2. Die Lehreinheit wird schriftlich evaluiert

3. Im Laufe des Vorlesungszyklus werden Verbesserungen vorgenommen und bewertet

Die Zahl und Teilnahmefrequenz der Peers sollte möglichst hoch sein, um ein Kontinuum einer ganzen inhaltlichen Einheit zu bewerten und nicht nur eine Momentaufnahme zu analysieren.

2.2. Checkliste – Bewertungskriterien

o Organisation (Raum Zeit, Unterlagen)

o Präsentation

o Kommunikation (Interaktion, Stimme, Erklärungen, Frage/Antwort)

o Lehrmaterialien und Technik

o Rolle von innovativen Multimedia

o Methodenvielfalt (alte und neue Medien)

o Content (Wissensvermittlung, Relevanz, Link zu anderen Fächern und Themen, Medizinbezug)

o Neben den oben angeführten strukturierten Themen ist eine narrative Beschreibung geplant

2.3. Auswertemethoden der Fragebögen:

Die durchgeführten Signifikanztests haben exploratorischen Charakter. Im Sinne der einheitlichen Darstellung werden die Ergebnisse einheitlich durch t-Tests vergleichen, obwohl die Annahme der Normalverteilung nicht immer erfüllt ist. Peers waren nicht bei allen Einheiten anwesend und haben jede besuchte Lehreinheit getrennt beurteilt, die Beurteilung durch die Peers erfolgte spezifisch für die besuchten Einheiten, während die Studierenden die gesamte Lehrsequenz kumulativ beurteilten.

3. Projektergebnisse:

3.1. Projektergebnis aus Sicht des Vortragenden

Vorangestellt sei eine Abschätzung der erforderlichen Humanressourcen. Für Planung, Vorbereitung, Abwicklung und Evaluierung der Feedbacks wurde von den beiden Antragstellern zusammen etwa 100 Stunden investiert. Die studentischen (13) und die akademischen (9) Peers waren bei den 3 Meetings ca. 8 Stunden, bei den Vorlesungen 6x2 Stunden und teilweise bei den Projektsitzungen 7x1 Stunde involviert. Insgesamt sind dafür etwa 240 Stunden zu kalkulieren. Die spezielle Aufbereitung des Lehrmaterials für dieses Format hat für den Vortragenden etwa zusätzliche 300 Stunden erfordert.

3.1.1. Innovation Overlaytechnologie:

Mit einer neuen Interaktiven Pen Display Technologie IPD auf einem Großtablett (27“) kann eine Zeichenfläche mit einem elektronischen Farbstift bearbeitet werden. Als Hintergrund kann aber auch jeder Bild¬schirminhalt unterlegt werden (Powerpointfolie, Bild, Video, Browserinhalt) und man kann elektronisch eine Tafelfunktion nachbilden. Der Inhalt des IPD mit Beamer projiziert. Das IPD kann zentral wie ein Rednerpult positioniert werden. Die Vorteile sind: freies Zeichnen ist auf der Tafel möglich, man kann zwischen freier Zeichenfläche und Präsentation hin- und herschalten steht zentral und hat ständig Sichtkontakt zu den Studierenden. Die Brillanz und Schärfe der Zeichnungen ist jeder Tafelschrift weit überlegen. Nachteilig in der jetzigen Ausführung ist: die IPD Unit ist wegen der Größe nicht portabel, Konzept und Medienwechsel ist für Lehrende noch etwas ungewohnt und es bedarf der Einübung im Handling. Soft- und Hardware für diese IPD Technologie ist leider noch etwas unausgereift.

3.1.2. Innovation Lehrunterlagen:

Um die Anwendung der IPD-Technologie voll zur Geltung kommen zu lassen, mussten die Unterlagen für die Vorlesung völlig neu überarbeitet werden. Die Präsentationsfolien wurden zu-nächst unter dem Aspekt gesichtet, welche Aspekte als fertige Vorlage präsentiert werden sollten und welche Ergänzungen in der Vorlesung spontan oder „nach Drehbuch“ mittels Farbstift als Zeichnung oder Schrift hinzugefügt werden sollen. Als Ergebnis liegt den Studierenden eine Aus-gangspräsentation mit „halbfertigen“ Powerpointfolien vor, welche „im life-Modus“ während des Vortrages ergänzt wird. Ein derartiges Format hat zwei Vorteile: 1. Es ist wesentlich dynamischer als eine herkömmlich Powerpoint-Vorlesung, das Ergebnis kann je nach Zwischenfragen der Studierenden oder nach Spontaneinfällen der Vortragenden jedes mal anders aussehen und 2. das Tempo des Vortrages nähert sich sichtlich dem Tempo der mitschreibenden Studierenden.

Die Vorlesungsfolien wurde mit wesentlichen Zusatzinformationen versehen: 1. Mit den korrespondierenden Stichworten aus dem Gegenstandskatalog, 2. Mit Links zu den virtuellen Demonstrations-Experimenten der Vorlesung, so dass die Studierenden jedes Experiment zu Hause nachmachen konnten, 3. Mit Verweisen auf die Lehrbuchkapitel und allfällige Zusatzskripten, welche im VMC zur Verfügung gestellt wurde und 4. mit persönlichen Anmerkungen des Vortragenden zu speziellen Punkten des Vortrages.

3.1.3. Innovation Peer Review:

Es war zwar ungewohnt, dass KollegInnen als Beobachter anwesend waren aber die neue Perspektive von Lehrenden in den Sitzreihen der Studierenden war für Lehrende und Studierende sehr interessant, lehrreich und motivierend. Weniger eignet sich ein derartiger Prozess zur Beurteilung der Lehrleistung im Sinne von Ranking, wie es weitgehend in Bezug auf die Forschungsleistung aber auch mit numerischen Lehreevaluierung praktiziert wird. Auch für Studierende war die Art der Einbindung in einen Peer Prozess neu und ich hatte den Eindruck, dass in den informellen Sitzungen und Gesprächen zum ersten Mal eine gegenseitige Beleuchtung „wie und unter welchen Umständen lernt der/die Studierende“ und „wie und unter welchen Umständen lehrt der Lehrende“ erfolgt ist. Ein derartiger Aspekt wird in keiner der gängigen Evaluierungsprozesse sichtbar. Eine in diese Richtung gehende Diskussion wäre in Zukunft auf jeden Fall wünschenswert.

3.2. Projektergebnisse aus Sicht der Peers

3.2.1. Testimonial 1

Das gesamte Projekt war sehr ambitioniert (Einbeziehung einer Kollegin einer anderen Universität in die Planung, Beurteilung durch Studierende und Kollegen, Einbeziehung Studierender in die Organisation …). Es gab ein detailliertes Proposal mit genauer Beschreibung bis zur Checkliste mit Bewertungskriterien, Beurteilungsbögen, Vorlesungsunterlagen. Der technische Teil (Verwendung eines Tablets für die Präsentation und zum Schreiben und Zeichnen) war sehr interessant und bietet Möglichkeiten und Ideen für die eigene Lehre. Die kollegiale Hospitation ist in ihrer systematischen Art mit Feedback in diesem Projekt äußerst sinnvoll, auch für den Beobachter, der für die eigene Lehre sehr viel mitnehmen kann (über die technische Unterstützung durch das vorgestellte Tablet weit hinaus). Die Möglichkeit zum Vergleich der Studierendensicht mit der Sicht der Kollegen ist ein äußerst interessanter Aspekt dieses Projekts. Der persönliche Einsatz ist hervorzuheben.

3.2.2. Testimonial 2

Die durchgeführte Lehrveranstaltungsreihe mit Peer Review, aufbereiteten Lehrunterlagen und IPD Tablet war in mehrfacher Hinsicht eine ganz hervorragende Unternehmung, die Schule machen sollte: Eine Vorlesungsreihe ganz bewusst unter den kritischen Augen von Kolleginnen und Kollegen zu halten und sich damit potentieller Kritik auszusetzen, ist bisher absolut nicht selbstverständlich, sollte aber im Interesse einer nachhaltigen Qualitätssteigerung und –sicherung mehr Gewicht bekommen. Für die Peers war neben den inhaltlichen und formalen Aspekten der vorgetragenen Vorlesungen wohl auch das ganz ungewohnte Erleben einer Vorlesung aus der Studierendenperspektive sehr informativ und lehrreich, nicht zuletzt für das eigene Tun als Lehrperson. Die Unterstützung der – auch technisch ganz hervorragend vorbereiteten – Vorlesungen durch das IPD-Tablet war für Studierende ebenso wie für die Peers sehr hilfreich für das Verstehen des durchaus anspruchsvollen Lehrstoffs.

3.2.3. Testimonial 3

Peer Review im Bereich der Lehre ist aus meiner Sicht nach wie vor nicht weit verbreitet, da scheinbar Sorge besteht, sich selbst durch Kolleginnen und Kollegen beobachten zu lassen. Ich halte das Pilotprojekt daher für innovativ und qualitätsfördernd. In sehr offenen Gesprächen konnten Herangehensweisen und didaktische Aspekte diskutiert werden und so ein gemeinsames Verständnis des Aufbaus der Unterrichtseinheiten geschaffen werden. Der Einsatz des IPD-Tablets für den Unterricht in der Großgruppe gefällt mir sehr gut, da Zeichnungen und Ableitungen von Formeln auch aus der letzten Sitzreihe noch problemlos sicht- und lesbar sind. Außerdem besteht so die Möglichkeit, die einzelnen Schritte der Herleitung auch nachzuvollziehen; das ist beim Einsatz von Tafeln oder White Boards meistens nicht der Fall.

3.2.4. Testimonial 4

Als langjähriger Lehrender an der MUG und auch an anderen Universitäten konnte ich durch das Peer-Review Projekt völlig neue Erfahrungen sammeln. Die Beurteilung eines Kollegen war absolut neu und stellte daher auch eine gewisse Herausforderung dar. Es war sehr gut und äußerst hilfreich, dass vom Projektteam vorgefertigte Fragen zur Verfügung standen. Die Reaktionen bzw. das Verhalten der Studierenden während der Unterrichtseinheiten konnten direkt beobachtet werden und ergaben ein recht aufschlussreiches Bild. Nicht immer waren Studierende am Stoffgebiet interessiert, und dies trotz wirklich innovativer Präsentationstechnik. Andererseits gab es sicher viele Studierende, die durch den Wechsel der Medien besser dem Stoff folgen konnten. Der Zeitaufwand als Teilnehmer an diesem Projekt ist durchaus als hoch einzuschätzen und somit wird eine umfassende Implementierung für sämtliche Vortragenden der MUG höchst wahrscheinlich nicht möglich sein. Vor allem für jüngere Lehrende könnte ich mir aber sehr gut vorstellen, dass ein Feedback durch erfahrenere Lehrende von großem Nutzen sein könnte und im Endeffekt die Studierenden davon profitieren würden.

3.2.5. Testimonial 5

Als Didaktikerin fällt mir auf, wie ambitioniert dieses Projekt aufgebaut ist. Die Steigerung der Lernergebnisse und der Herstellung eines möglichst angenehmen Lernprozesses stehen im Vordergrund. Ohne vertiefte didaktisch theoretische Voranalyse hat dieses Projekt sehr rasch und unbürokratisch praktisch gestartet. Die Fragebögen sind entwickelt worden, das Sample ausgewählt. Auf mich hat das sehr direkt, ohne geisteswissenschaftliche Umwege gewirkt, als ob die Ergebnisse das eigene didaktische Tun direkt beeinflussen könnten. Ein wenig gefehlt hat mir die Analyse der Rahmenbedingungen des Lernortes, der studentischen Lebenswelt und der Lernmöglichkeiten im Rahmen großer Lehrveranstaltungen. Trotzdem bleibt mir aufrichtig zu gratulieren für die Ehrlichkeit, die es braucht um die eigene Lehre verbessern zu wollen und für die Motivation, die Lernergebnisse der Studierenden dabei in den Fokus zu rücken.

3.2.6. Testimonial 6

Im Teil 1 des Projekts – Lehrinhalte mit Medientechniken, die an den Universitäten weitgehend unbekannt sind und daher auch nicht genützt werden können – zeigte sich für mich, dass der persönliche Einsatz von Lehrenden als zentrales Element der wichtigste Erfolgsfaktor zu sehen. Ja, wir sollten derartige IPD-Tablets verwenden, aber noch wichtiger ist für mich, dass die Wertschätzung der Lehre mit der Wertschätzung für andere universitäre Aspekte – Publikationen, Drittmittel, Schritt halten kann. Wenn Lehre sich entwickeln soll, braucht es wie in der Forschung Mittel zum Experimentieren. Beim Teil 2 – Peer Review – habe ich persönlich sehr von der Sichtweise und der Kritik von KollegInnen profitiert. Auch die Erfahrung der Studierenden war wichtig und ein Feedback ermöglicht eine ge¬zielte Verbesserung, was bei der üblichen studentischen Evaluierung nur beschränkt möglich ist. Was das Projekt vor allem auszeichnete, war der überdurchschnittliche Einsatz des „Frontmans“; Respekt!

Positionierung des Lehrangebots

Diplomstudien Human- und Zahnmedizin, 1. Studienabschnitt

Das Beispiel wurde für den Ars Docendi Staatspreis für exzellente Lehre 2016 nominiert.