Entwicklung eines computergestützten Self-Assessment-Verfahrens zur objektiven Bewertung der praktischen, zahnärztlichen Fähigkeiten von Studierenden.

Konzept

Ziele

Ausgangslage/Problemstellung:

 

Die Schlüsselkompetenz eines berufsfertigen Zahnarztes ist seine psychomotorische Fähigkeit. Daher müssen im Rahmen eines Zahnmedizinstudiums alle Studierenden ihre praktischen Fähigkeiten erlernen und üben. Im Laufe der Ausbildung geschieht das mittels konkreter, praktischer zahnärztlicher Aufgabenstellungen, die zuerst anhand von entsprechend vorbereiteten Kiefermodellen (Schaumodellen) erklärt und dann anhand unbearbeiteter Modelle selbstständig durchgeführt werden müssen. Um diese Übungen möglichst realitätsnah zu gestalten, werden in Abhängigkeit vom Kursprogramm bis zu 70 konkrete zahnärztliche Aufgabestellungen an im Behandlungsstuhl liegenden Puppen (Phantomköpfen) durchgeführt. Diese universitären Übungen werden Phantomkurse genannt. Nachdem der Studierende die Aufgabe gelöst hat, wird seine Arbeit aktuell durch erfahrene Kursassistenten oder Kommilitonen (das sogenannte Peer-Assessment) mittels Vergleich der Kiefermodelle (Schaumodell vs. Studentenmodell) beurteilt. Für eine positive Beurteilung darf die studentische Arbeit maximal zu 30 bis 40 % vom Idealmodell abweichen. Die Bestehensgrenze liegt in Abhängigkeit vom Studienabschnitt bei 60 bis 70 %. Diese "Glance-and-Grade"-Methode ist nach wie vor der am häufigsten praktizierte Ansatz zur Bewertung der praktischen Leistungen von Studierenden. Das Problem dieses Ansatzes ist allerdings, dass er auf fehlender Objektivität beruht, da bei vielen Aufgabestellungen die zulässige Abweichung zum Modell mit dem freien Auge gar nicht und wenn, dann niemals ganz genau erfasst werden kann. Dazu kommt noch, dass unterschiedliche Personen anders bewerten und dabei auch die persönliche Komponente (Interrater-Variabilität) nicht ausgeblendet werden kann. So führt die fehlende Objektivität der "Glance-and-Grade"-Methode oft zu Enttäuschungen und Verärgerungen auf Seiten der Studierenden und verringert deren Motivation und letztlich auch die allgemeine Qualität ihrer Arbeiten.

 

 

Ziel:

 

Das Ziel des Projektes war es, ein analytisches, computergestütztes Beurteilungskonzept zur objektiven Beurteilung der praktischen Fähigkeiten von Studierenden der Zahnmedizin zu entwickeln und zum Einsatz zu bringen.

 

Weil unterschiedliche Autoren in den letzten Jahren die Anwendung studentischer Selbsteinschätzungen (Self-Assessment) als neue und besonders vielversprechende Bewertungsmethode im Bereich der zahnärztlichen Ausbildung beschrieben haben, war es ein weiteres Ziel, den didaktischen Nutzen eines computergestützten Trainings und die sich daraus ergebende Selbstbeurteilung der Studierenden kurz- und langfristig zu untersuchen.

Kurzzusammenfassung (dt.)

In den Phantomkursen des zahnmedizinischen Studiums werden die praktischen zahnärztlichen Fähigkeiten geübt. Das geschieht anhand von Idealkiefermodellen (Master-Präparationen), an denen die Studierenden die Präparationen von Hohlräumen und Bohrungen sehen. In Folge müssen sie diese Präparationen selbst durchführen. Für die Benotung sind Studierende wie Lehrende auf die gängige „Glance-and-Grade“- Methode, also eine rein visuelle Beurteilung angewiesen. Das Problem daran ist: diese Methode ist nicht objektiv. In einem Forschungsprojekt der DPU ist es Dr. Wolgin gelungen, das Computerprogramm prepCheck derart einzusetzen, dass damit 3D-Bilder der studentisch bearbeiteten Kiefermodelle angefertigt und mit den Idealmodellen überlagert werden können. Dadurch wird objektiv sichtbar, wo der Studierende zu viel und wo zu wenig gebohrt hat. Im zweiten Schritt der Studie wurden Toleranzkorridore für die zulässigen Abweichungen für eine positive Benotung definiert. Auf Basis dessen hat sich gezeigt, dass einige Studierende, die bei der visuellen Beurteilung durchgefallen sind, mit ihren Arbeiten eigentlich innerhalb der Toleranzgrenze waren und umgekehrt. Weiter konnte die Studie zeigen, dass Studierende, die den Phantomkurs durch eigenverantwortliches Self-Assessment mit prepCheck durchliefen, bei der anschließenden Prüfung das gleiche Leistungsniveau aufzeigten wie Studierende, die im Kurs mittels Feedback durch den Assistenzarzt/die Assistenzärztin unterrichtet wurden.

Kurzzusammenfassung (engl.)

The practical skills of future dentists are practiced in the phantom courses of the study course on dental medicine. This is done with the help of ideal orthodontic models (master preparations) on which students can see specimens of cavities and drillings. As a next step, students have to prepare such specimens themselves. For grading, students as well as teachers rely on the common “glance-and-grade“ method, which consists of a purely visual assessment. The problem is, however, that this method is not objective. In a research project at DPU, Dr. Wolgin has succeeded in using the computer program prepCheck in a way that permits taking 3D images of the orthodontic models prepared by the students on which the ideal models can be directly superimposed. Thus it can be clearly seen where the student has drilled too much or not enough. In the second step of the study tolerance corridors were defined as permissible deviations for positive grading. On this basis it was shown that some students had failed the visual assessment, although their work was actually within the tolerance limit and vice versa. The study further demonstrated that students who completed the phantom course through self-responsible assessment with prepCheck reached a performance level equivalent to students who had been taught by feedback from the lecturer.

Nähere Beschreibung

Die grundlegende Idee Dr. Wolgins und seines Teams ist die Abkehr von der allgemein etablierten subjektiven Bewertungsmethode der praktischen Fähigkeiten der Studierenden der Zahnmedizin zugunsten eines lehrerunabhängigen formativen und computergestützten Feedbacks. Für die Studierenden, in Folge aber auch für die Beurteilenden, soll ein analytisches, computergestütztes Beurteilungssystem entwickelt werden, das ihnen beim Lernen objektives Feedback gibt und später Grundlage für eine fundierte Benotung sein kann. Das Beurteilungskonzept soll so konzipiert sein, dass je nach Studienabschnitt unterschiedliche zulässige Abweichungen toleriert werden (justierbare Toleranzkorridore).

 

Umsetzung:

 

Die Umsetzung des Projektes teilt sich in 7 Etappen (Milestones):

 

1. Überprüfung der Objektivität der allgemein etablierten "Glance-and-Grade"-Methode

 

Im ersten Schritt wurde die momentan vorherrschende Bewertungsmethode untersucht. Dazu wurden zwei Testgruppen gebildet. Die erste Gruppe bestand aus 171 Zahnmedizinstudenten und -studentinnen des fünften Semesters, die an einem Phantomkursus der Zahnerhaltungskunde teilgenommen haben. Die zweite Gruppe bestand aus 127 Zahnmedizinstudenten und -studentinnen des sechsten Semesters, die an einer praktischen zahnärztlichen Vorprüfung teilgenommen haben. Beide Gruppen waren ohne signifikante Unterschiede in Alter, Geschlecht und ethnischer Zugehörigkeit. Der Anteil der weiblichen Studierenden in den beiden Gruppen betrug 40 % bzw. 37 %.

 

Beide Gruppen wurden mit standardisierten praktischen Tests (OSPE-Objective Structured Practical Examination) konfrontiert, die aus fünf bis sechs Teststationen mit der Präparation unterschiedlicher Kavitäten und dem Legen verschiedener Füllungen in einem zuvor codierten standardisierten Simulationsmodell bestehen.

Die anschließende Beurteilung wurde unabhängig von drei kalibrierten Prüfern durchgeführt, die sich zuvor auf eine Reihe von Kriterien geeinigt hatten.

Die Benotung der Kursleistung wurde mit den Werten von „-1“ (nicht akzeptabel), über „0“ (klinisch akzeptabel) bis „+1“ (sehr gut) und die Leistung aus der Vorprüfung anhand der österreichischen 5-Punkte-Notenskala von 1 (sehr gut) bis 5 (nicht ausreichend) durchgeführt.

 

Eine statistische Auswertung mit dem Chi-Quadrat-Test ergab statistisch signifikante Unterschiede (p ? 0,05) bei der Beurteilung aller Prüfer in allen Tests. Obwohl die Prüfungen einen OSPE-Charakter trugen, war es den Prüfern nicht möglich, die praktische Leistung der Studierenden objektiv zu beurteilen.

 

2. Entwicklung eines analytischen prepCheck-basierten Verfahrens zur objektiven Beurteilung der praktischen Fähigkeiten von Studierenden der Zahnmedizin

 

Als Basis für das objektive computergestützte Bewertungssystem wurde auf ein bereits existierendes Analyseprogramm namens prepCheck zurückgegriffen. PrepCheck dient ursprünglich dem Zweck der Beurteilung von einfachen Zahnstumpfpräparationen im Rahmen der Vorbereitung des Zahnes zur Aufnahme einer künstlichen Krone. Dabei ist die prepCheck-Anwendung in der Lage, das Ausmaß des Zahnhartsubstanzabtrages zu visualisieren. Für die Entwicklung eines objektiven Bewertungsverfahrens im therapeutischen Bereich (Präparation von Hohlräumen zur Aufnahme einer plastischen Füllung) wurden die versteckten Möglichkeiten des prepChecks so ausgenutzt, dass auch das Erfassen der komplizierten Geometrie von Kavitäten möglich wurde.

 

Die Erschließung dieses zuvor ungenutztes Potentials von prepCheck hat dazu geführt, dass sowohl das Idealkiefermodell (Master-Präparation) als in Folge auch die Kiefermodelle der Studierenden mithilfe von CEREC-Omnicam in 3D eingescannt und in prepCheck vermessen und bewertet werden konnten. Entscheidend dabei ist, dass man im 3D-Bild der Präparation neben dem Querschnitt des Zahns auch mehrere Schichten virtuell schneiden oder in unterschiedlich vielen Schichten betrachten kann. Dadurch kann man Ansichten der Präparation sehen, die am physischen Modell niemals ersichtlich sind.

 

Nachdem das studentisch bearbeitete Kiefermodell eingescannt ist, wird es in der Software über das Idealmodell der Masterpräparation gelegt und damit abgeglichen. Die Unterschiede zwischen der studentischen Präparation und dem Mastermodell werden so grafisch sichtbar. Auf diese Art sieht man auf einen Blick, wo und wie viel der Studierende zu viel oder zu wenig gebohrt hat.

 

3. Kalibrierung von prepCheck durch Bestimmung der zulässigen Toleranzgrenze und Definition eines Toleranzkorridors

 

Eine Gruppe von 54 konventionell betreuten Studierenden des fünften Semesters übte die Präparation einer makroretentiven Klasse-II Kavität (Zahn 46). Das ist eine Bohrung, bei der die Öffnung am Zahn schmäler ist als der weiter innen liegende Hohlraum. Diese Art der Bohrung gewährleistet, dass die anschließende Füllung im Zahn hält. Nach der Übung legten die Studierenden die obligatorische praktische Prüfung ab, bei der auch eine solche Präparation durchzuführen war. Drei Kursbetreuer führten nach vordefinierten Beurteilungskriterien die visuelle Auswertung der Prüfungsaufgaben durch. Ein vierter unabhängiger, verblindeter und den anderen Bewertern übergeordneter Prüfer übernahm die Verantwortung für die endgültige Entscheidung im Falle der fehlenden Übereinstimmung (bei widersprüchlichen und/oder voneinander abweichenden Beurteilungen für die Notenvergabe).

 

Anschließend wurde die Gestaltung aller Präparationen mittels prepCheck analysiert. Da die aktuell vorhandene Version der prepCheck-Anwendung noch über keine Möglichkeit der Datenverarbeitung verfügt, wurden die Daten (Abmessungen der Kavitäten) in eine Excel-Tabelle exportiert. Die Excel-Tabelle wurde so eingestellt, dass eine maximal zulässige Abweichung der Kavität der studentischen Präparation zur Masterpräparation von ±10 % akzeptiert wurde. Das führte zu einer Misserfolgsrate von 96,3 %. Fast alle Studierenden, die die vorherige Prüfung bestanden hatten, wären also bei dieser geringen Toleranz durchgefallen. Deshalb wurde die Toleranz der zulässigen Abweichung schrittweise auf bis zu 35 % erhöht und mit dem Ergebnis der visuellen Beurteilung (Misserfolgsrate von ca. 20 %) korrelierte.

 

Nun ist eine Toleranz von 35 % für die praktischen zahnärztlichen Fähigkeiten des fünften Semesters zwar ausreichend, für einen angehenden Zahnarzt aber kein gutes Ergebnis. Darum wurde die Tabelle so programmiert, dass das Programm für ein und dieselbe Präparation, wenn sie von Studierenden unterschiedlichen Semesters durchgeführt wird, andere, nämlich immer geringere Toleranzen ansetzt. So sollte die Toleranz einer Präparation, wenn sie von einem Studierenden des älteren Semesters gemacht wird, idealerweise nur noch bei +/- 10 % liegen.

 

4. Vergleich der "Glance-and-Grade"-Beurteilung mit der prepCheck-basierten Beurteilung

 

Nachdem die Toleranzgrenzen von prepCheck definiert und kalibriert worden waren, wurden die Detailergebnisse aller formativen Prüfungen auf Basis der „Glance-and-Grade“-Methode mit den jeweiligen Ergebnissen des prepChecks verglichen.

 

Das Ergebnis zeigt, dass im Gegensatz zu der von starker Subjektivität geprägten menschlichen Beurteilungsfähigkeit das prepCheck-basierte Bewertungsverfahren eine hohe Präzision erreichte.

 

Im Detail enthüllt der direkte Vergleich beider Methoden, dass alle Assistenzärzte und Assistenzärztinnen Toleranzen akzeptiert haben, die bereits weit über der zulässigen Toleranzgrenze von 35 % lagen und andererseits einige Arbeiten von Studierenden nach der visuellen Beurteilungsart mit „nicht genügend“ beurteilt wurden, die in Wahrheit und durch prepCheck nachweislich mit ihrer Arbeit als innerhalb der Toleranzgrenze liegend anzusetzen waren.

 

5. Vergleich des didaktischen Nutzens von Self-Assessments durch prepCheck und formativem Feedback durch den Assistenzarzt

 

In einem nächsten Schritt wurde der didaktische Nutzen des prepCheck im Vergleich zum Feedback durch einen Assistenzarzt untersucht. Dafür wurde eine Gruppe (Stichprobe) von 47 Studierenden der Zahnmedizin des fünften Semesters ausgewählt, die an einem Phantomkursus in Zahnerhaltungskunde teilnahmen. Die Studierenden dieser Gruppe wurden dann nach dem Zufallsprinzip in zwei Untergruppen geteilt. Die Aufgabe des Phantomkurses war die Präparation einer dreiflächigen Kavität mit dem Ziel, diese mit einer Amalgamrestauration zu versorgen.

 

Die Studierenden der ersten Gruppe (n=24) durften während des gesamten Phantomkurses zu jedem selbst gewählten Zeitpunkt und so oft sie wollten ihre Präparation mithilfe von prepCheck analysieren und vermessen. Auf Basis des 3D-Bildes ihrer Arbeit, das im prepCheck mit der „Master-Präparation“ hinterlegt war, mussten die Studierenden selbst entscheiden, ob sie die Arbeit wiederholen oder korrigieren sollten. Ein persönliches Feedback oder eine Bewertung des Assistenzarztes/der Assitenzärztin bekamen die Studierenden dieser Selbsteinschätzungs-/Interventionsgruppe nicht.

 

Die zweite Untergruppe (n=23) durchlief den Phantomkurs konventionell, also mittels mehrmaligem formativem Feedback durch einen Assistenzarzt/eine Assistenzärztin, wodurch die Arbeit der Studierenden nach der visuellen „Glance-and-Grade“-Methode beurteilt und ihnen gesagt wurde, ob sie die Arbeit wiederholen sollten oder wo sie noch nacharbeiten müssten. Den prepCheck durfte diese Kontrollgruppe nicht verwenden.

 

Nach Abschluss des Kurses wurde von allen Kursteilnehmern gemeinsam (Teilnehmer beider Untergruppen) eine obligatorisch anonyme praktische Prüfung durchgeführt. Diese Prüfung beinhaltete die Präparation einer ähnlichen Amalgamkavität.

 

Nach der Prüfung wurden von allen studentischen Präparationen mit der CEREC-Omnicam optische 3D-Abdrücke angefertigt, in prepCheck vermessen und mittels Excel-Tabelle bewertet. Die statistische Analyse der digitalisierten Proben (Mann-Whitney-U-Test) ergab keine signifikanten Unterschiede zwischen Kavitätenabmessungen (p= 0,406) der beiden Untergruppen. Der Grad der Übereinstimmung der studentischen Präparationen mit der "Master-Präparation" war in beiden Gruppen vergleichbar (p = 0,259). Das digital-basierte Selbstbewertungs-Lernwerkzeug prepCheck ist damit der herkömmlichen Form der Betreuung durch Assistenzärzte/-ärztinnen gleichwertig.

 

6. Untersuchung der Entwicklung bzw. des langfristigen Erhalts der praktischen Kompetenz der Studierenden nach Self-Assessments. (Vorbereitungen laufen)

 

Nachdem die Gleichwertigkeit der Leistungen beider Untergruppen und damit die Leistungsfähigkeit des Self-Assessment mit prepCheck belegt ist, laufen an der DPU bereits die Vorbereitungen für den nächsten Schritt der Studie. Es geht darum, den langfristigen Erhalt der praktischen zahnärztlichen Fähigkeiten durch Self-Assessment mit dem konventionellen normativen Feedbackunterricht zu vergleichen. Das Setting der beiden Untergruppen wird gleich aufgesetzt wie zuvor im Schritt 5. Die eine, neu randomisierte Gruppe der Studierenden wird den Phantomkurs in ständiger Selbstkontrolle mittels prepCheck-Anwendung durchführen. Die zweite Gruppe wird wieder auf das formative Feedback von Kursassistenten/-assistentinnen angewiesen sein. Die Aufgabe einer Präparation einer dreiflächigen Kavität zur Aufnahme einer Amalgamfüllung wird wieder am Ende des Kurses durchgeführt. Anders als bei dem vorhergehenden Versuch wird die Prüfung allerdings zu mehreren, späteren Zeitpunkten wiederholt. Insgesamt werden vier Prüfungen über einen Zeitraum von ca. 1,5 Jahren absolviert, wo eine und dieselbe praktische Aufgabe neben 4 - 5 anderen Aufgaben, die in der Studie aber nicht erfasst werden, gestellt wird. Die Bewertung der Präparationen wird analog zum oben beschriebenen Vorgehen mittels des erarbeiteten Konzeptes mit justierbaren Toleranzkorridoren durchgeführt. Untersucht werden mögliche Unterschiede im Verlauf der Lernkurve bei den Studierenden beider Gruppen. Es soll damit herausgefunden werden, ob das Lernen mittels der Self-Assessment-Methode einen nachhaltigeren Kompetenzaufbau ermöglicht als wenn der Studierende immer den Empfehlungen des Assistenzarztes/der Assistenzärztin nacharbeitet.

 

7. Roll-out – Umsetzung des prepChecks für alle Präparationen (in Vorbereitung)

 

Die Analysemöglichkeit von prepCheck könnte nach positivem Ergebnis der Langzeitstudie zur Reduktion der notwendigen Betreuungskapazitäten während der Phantomkurse führen. Bereits jetzt kann prepCheck den beurteilenden Ärzten und Lehrern eine valide Beurteilungsbasis sein. Dazu muss das Programm, das im Moment nur eine von ungefähr 60 - 70 Master-Präparationen hinterlegt hat, die während des Studiums von den Studierenden geübt werden, auf alle Präparationen ausgeweitet werden. Die Arbeiten an diesem schrittweisen Roll-out sind an der DPU bereits im Gange.

Positionierung des Lehrangebots

Das Konzept richtet sich an alle Studierenden der DPU, die im fünften und sechsten Semester die Phantomkurse für Zahnerhaltungs- und Zahnersatzkunde absolvieren.

Weiterführende Information


Das Beispiel wurde für den Ars Docendi Staatspreis für exzellente Lehre 2018 nominiert.