Die Bereitschaft zur selbstständigen Berufsausübung wird anhand mehrerer beobachteter Leistungen beurteilt, nicht anhand einer einzelnen Punktzahl. Ein Assistenzarzt, der in einem simulierten Fall gut, in einem anderen jedoch uneinheitlich abschneidet, liefert zwar einen ersten Eindruck, aber nicht genügend Informationen. Dieser Leitfaden richtet sich an Leiter der medizinischen Ausbildung und Weiterbildungsprogramme. Er behandelt fünf Entscheidungen: die zu beurteilende Aufgabe, einen unbekannten und repräsentativen Fall, beobachtbare Kriterien mit Ankerpunkten, die Kalibrierung der Beurteiler und die Verwendung der Ergebnisse. Es geht um die Gestaltung der Beurteilung, nicht um klinische Leitlinien. Die Genehmigung zur selbstständigen Berufsausübung unterliegt den internen Prozessen Ihrer Einrichtung, und ein Spezialist Ihres Programms sollte den Fall und die Bewertungskriterien vor der Anwendung prüfen.
Was die Forschung aussagt und was nicht
Zwei veröffentlichte Methoden sind erwähnenswert. Im Jahr 2005 schlugen zehn Cate-Methoden vor anvertraubare berufliche TätigkeitenArbeitseinheiten, die ein Vorgesetzter einem Auszubildenden aufgrund beobachteter Kompetenzen als selbstständig ausführbar zuweist. 1997 beschrieben Martin und Kollegen die Objektive strukturierte Beurteilung technischer Fähigkeiten (OSATS), das eine aufgabenspezifische Checkliste mit einer globalen Bewertungsskala für chirurgische Assistenzärzte kombiniert.
Beide Ansätze beschreiben, wie Beurteilungen strukturiert werden können. Keiner von ihnen beweist die Eignung eines Kandidaten und keiner ersetzt die fachliche Aufsicht. Nutzen Sie sie, um Ihre Kriterien zu formulieren, und testen Sie diese anschließend mit Ihren eigenen Gutachtern.
Schnelle Fakten
| Frage | Kurze Antwort |
|---|---|
| Was beurteilst du? | Bereitschaft, basierend auf mehreren beobachteten Leistungen. |
| Was ist eine Punktzahl im Simulator? | Ein einzelner Datenpunkt. Dies berechtigt nicht zur selbstständigen Berufsausübung. |
| Was macht Kriterien nutzbar? | Beobachtbare Verhaltensweisen mit Beispielen für schwache, sich entwickelnde und kompetente Leistungen. |
| Was macht Testergebnisse vertrauenswürdig? | Die Gutachter bewerten unabhängig voneinander und vergleichen anschließend die Ergebnisse. |
| Was sollten Sie vermeiden zu punkten? | Nur Selbstvertrauen oder Geschwindigkeit. |
| Was kann es nicht entscheiden? | Die Autorisierung erfolgt gemäß den internen Verfahren Ihrer Institution. |
1. Definieren Sie die zu bewertende Leistung.
Beschreiben Sie die zu beurteilende Aufgabe: die Beurteilung der Bereitschaft anhand mehrerer beobachteter Leistungen. Legen Sie die Rolle, den Kontext und die Befugnisgrenzen fest, bevor Sie eine Punktzahl vergeben. „Selbstständige Kompetenz“ bedeutet für einen Assistenzarzt in einem bestimmten Verfahren, einer bestimmten Umgebung und unter einer bestimmten Aufsichtsstufe etwas anderes als in einem anderen. Dokumentieren Sie, was der Assistenzarzt leisten soll, mit wem und was geschieht, wenn er als bereit beurteilt wird. Unser Leitfaden dazu Zuordnung von Lernaktivitäten zu Blooms Taxonomie Hilft Ihnen dabei, Aufgaben, die einer Analyse bedürfen, von solchen zu unterscheiden, die eine Beurteilung erfordern.
2. Wählen Sie eine unbekannte, repräsentative Aufgabe.
Wählen Sie einen Fall, den der Kollege nicht geübt hat, beispielsweise einen zweiten simulierten Fall, der sich vom ersten in ähnlicher Weise wie bei realen Fällen unterscheidet. Erläutern Sie, wie dieser Fall die tatsächliche Arbeit abbildet und was er nicht belegen kann. Ein einzelner, unbekannter Fall kann zwar zeigen, ob Fähigkeiten übertragbar sind, er kann aber nicht jede Variation, jedes Team oder jede Komplikation abdecken. Deshalb basiert eine Entscheidung auf mehreren beobachteten Leistungen, die sich über verschiedene Fälle und Zeiträume erstrecken, und nicht auf einer einzigen.
3. Beobachtbare Kriterien und Ankerpunkte formulieren
Die Kriterien basieren auf zwei Aspekten: der Konsistenz der Leistung über verschiedene Fälle hinweg und der Übereinstimmung der Beurteiler. Beschreiben Sie, wie sich die einzelnen Bewertungen im Verhalten äußern. Für ein Kriterium könnten Sie beispielsweise Folgendes beschreiben:
- Schwach (0). Benötigt wiederholte Aufforderungen, überspringt einen Schritt oder kann eine Entscheidung nicht erklären.
- In Entwicklung (1). Die Aufgabe wird mit Auslassungen oder uneinheitlicher Qualität in den einzelnen Fällen erledigt.
- Kompetent (2). Erledigt die Aufgabe, erläutert die verschiedenen Möglichkeiten und geht auf Abweichungen im Fall ein.
Vermeiden Sie Bewertungen, die ausschließlich auf Selbstvertrauen oder Geschwindigkeit basieren. Auch ein selbstsicherer Kollege kann sich irren, und ein langsamer kann vorsichtig sein. Beide Eigenschaften können zwar in die Bewertung einfließen, sollten aber nicht den Nachweis der durchgeführten Arbeiten ersetzen. Nutzen Sie die von Martin und Kollegen beschriebene Struktur – eine aufgabenspezifische Checkliste neben einer Gesamtbewertung –, wenn dies Ihren Prüfern hilft, die Arbeitsschritte von der Gesamtqualität zu trennen.
4. Gutachter kalibrieren und Pilotprojekt durchführen
Die Kalibrierung ist der Punkt, an dem die Ergebnisse vergleichbar werden:
- Selbstständige Bewertung. Lassen Sie zwei oder mehr Gutachter dasselbe aufgezeichnete oder beobachtete Beispiel bewerten, ohne dabei zu sprechen.
- Vergleichen Sie die Beweise. Bitten Sie jeden, zu schildern, was seiner Meinung nach zu dieser Bewertung geführt hat. Meinungsverschiedenheiten beruhen meist auf einem unklaren Kriterium.
- Das Kriterium überarbeiten. Überarbeiten Sie den Wortlaut oder fügen Sie ein Beispiel hinzu und bewerten Sie anschließend ein neues Beispiel.
- Pilot in einer kleinen Gruppe. Führen Sie die Beurteilung zunächst mit einigen Kollegen durch, bevor Sie sie für Entscheidungen verwenden, und prüfen Sie, ob die Beurteiler dann immer noch unterschiedlicher Meinung sind.
Beschreiben Sie die fachliche Aufsicht: Wer überprüft Grenzfälle und wer trifft die endgültige Entscheidung?
Ein bearbeiteter Fall mit Feedback und einem Wiederholungsversuch
Zur Veranschaulichung. Der Leiter des Weiterbildungsprogramms und ein chirurgischer Facharzt sollten den Fall und die Antwortkriterien vor der Anwendung validieren.
Der Fall. Ein Kollege schneidet in einem simulierten Fall gut ab, in einem anderen jedoch unbeständig.
Die Aufgabe. Bereiten Sie sich auf Ihre Entscheidung vor. Begründen Sie Ihre Entscheidung, führen Sie die Beweise an und geben Sie an, welche weiteren Informationen Sie benötigen.
Ein erster Versuch. „Der Teilnehmer hat im ersten Fall sehr gut abgeschnitten, er ist also bereit.“ Ein Prüfer fragt nach dem Verlauf des zweiten Falls, auf wie vielen Darbietungen die Beurteilung beruht und ob die beiden Prüfer übereinstimmten. Der Teilnehmer hat auf keine dieser Fragen eine Antwort.
Feedback geben und es erneut versuchen. Der Gutachter merkt an, dass eine gute Bewertung als endgültiges Urteil gewertet und die Inkonsistenz ignoriert wurde. Der Lernende wird gebeten, seine Entscheidung zu überdenken.
Ein stärkerer Versuch. Der Lernende gibt an, dass zwei Fallstudien nicht ausreichen, weist auf die Inkonsistenz der zweiten Fallstudie hin und fragt nach den Unterschieden. Er schlägt eine weitere beobachtete Leistung in einer dritten, unbekannten Fallstudie, einen unabhängigen zweiten Gutachter und eine gezielte Vorbereitung auf den fehlerhaften Schritt vor. Er erklärt, dass er noch keine Entscheidung über die Studierfähigkeit empfehlen möchte und dass er noch Folgendes benötigt: die Nachweise der Gutachter, den Aufsichtsprozess und die Definition von selbstständiger Praxis im Programm.
Warum jede Antwort vertretbar oder unvollständig ist. Beurteilen Sie anhand genehmigter Kriterien, nicht nach der Präferenz des Gutachters. Der erste Versuch wertet eine einzelne Bewertung als Bestätigung, was einen schwerwiegenden Fehler darstellt. Der zweite Versuch bezieht mehrere Darbietungen ein, trennt Beweise von Schlussfolgerungen und legt die Grenzen der Entscheidung fest.
5. Nutzen Sie die Ergebnisse für die Nachbeobachtung.
Wählen Sie den nächsten Schritt anhand der beobachteten Lücke:
- Gezielte Vorbereitung wenn ein Konzept oder ein Schritt fehlte.
- Interaktive Praxis wenn das Können vorhanden, aber unbeständig ist.
- Betreutes Coaching wenn der Kollege im Arbeitsalltag Feedback benötigt.
Planen Sie eine Neubewertung und geben Sie an, was das Ergebnis nicht leisten kann: Eine Bereitschaftsbeurteilung beschreibt die Leistung in den beobachteten Fällen mit den beteiligten Gutachtern zu einem bestimmten Zeitpunkt.
| Kriterium | 0: nicht vorhanden oder nicht unterstützt | 1: teilweise, mit Auslassungen | 2: vollständig und begründet |
|---|---|---|---|
| Aufgabenausführung | Richterbereitschaft anhand einer einzigen Punktzahl. | Verwendet mehrere Bewertungen, ohne sie zu vergleichen. | Richter aus mehreren Gerichtssälen beobachteten die Aufführungen und protokollierten die Beweise. |
| Argumentation | Nennt keinen Grund. | Nennt einen Grund, ohne die Inkonsistenz zu benennen. | Erläutert Alternativen, Einschränkungen und Unsicherheiten. |
| Boundaries | Behandelt eine Punktzahl als Autorisierung. | Notieren Sie sich Grenzen ohne Plan. | Wendet das genehmigte Verfahren an und holt sich fachlichen Rat, wenn die Beweislage nicht ausreicht. |
Diese Bewertungsmatrix dient als Ausgangspunkt und ist kein validierter Bereitschaftsstandard. Kritische Fehler sollten separat definiert werden, beispielsweise indem ein Simulatorergebnis als Berechtigung für selbstständiges Üben angegeben wird. Ein Gesamtergebnis darf niemals einen kritischen Fehler verschleiern.
Um den Prozess zu überprüfen, vergleichen Sie die Ausgangswerte mit den Ergebnissen der nicht eingesehenen Folgeaufgaben. Messen Sie die Konsistenz der Leistung und die Übereinstimmung der Beurteiler. Definieren Sie vor Beginn die Zielgruppe, den Nenner und den Zeitpunkt und achten Sie auf gleichzeitige Änderungen, wie z. B. eine neue Fallzusammensetzung oder einen Wechsel der Beurteiler, bevor Sie die Schulung anrechnen.
Wo interaktive Bereitstellung hilft
Interaktive Formate unterstützen den Kalibrierungsschritt. In einer Live-Sitzung können Sie ein Beispiel zeigen und jeden Gutachter bitten, privat eine Bewertung abzugeben. Anschließend können Sie die Ergebnisse präsentieren, bevor Sie die Belege besprechen. Die flexible Bearbeitung eignet sich für die vorherige Überprüfung der Kriterien und Voraussetzungen. AhaSlides, eine umfassende Engagement-Plattform für Teams und Klassenzimmer, unterstützt interaktives Lernen sowie Live- und Selbstlernkurse. Prüfen Sie, wie Sie die Kalibrierung in Ihren eigenen Arbeitsablauf integrieren würden, bevor Sie sich darauf verlassen.
Was eine Kompetenzbewertung nicht beheben kann
- Eine vage Definition von Unabhängigkeit. Ohne einen solchen Vergleichsmaßstab haben die Ergebnisse nichts, womit sie verglichen werden könnten.
- Zu wenige Beobachtungen. Ein oder zwei Fälle können keine Konsistenz belegen.
- Gutachter, die nie kalibrieren. Ein Abkommen entsteht nicht von selbst.
- Beweisgrenzen. Die beiden oben genannten Quellen beschreiben Methoden, nicht Ergebnisse für Ihre Kollegen.
Häufig gestellte Fragen
Was ist eine Beurteilung der chirurgischen Kompetenz?
Beurteilung anhand der beobachteten Leistung im Vergleich zu festgelegten Kriterien, ob ein Auszubildender eine bestimmte chirurgische Aufgabe in der von Ihrem Programm geforderten Qualität ausführen kann.
Reicht ein einzelnes Simulatorergebnis aus, um die Einsatzbereitschaft zu beurteilen?
Nein. Es handelt sich lediglich um einen einzelnen Datenpunkt. Eine Entscheidung über die Einsatzbereitschaft basiert auf mehreren beobachteten Leistungen und dem genehmigten Verfahren Ihrer Institution.
Was ist OSATS?
Die Objective Structured Assessment of Technical Skill (OSTA) ist eine Methode, die eine aufgabenspezifische Checkliste mit einer globalen Bewertungsskala kombiniert.
Wie stellt man sicher, dass die Gutachter übereinstimmen?
Lassen Sie sie das gleiche Beispiel unabhängig voneinander bewerten, vergleichen Sie ihre Ergebnisse und überarbeiten Sie jedes Kriterium, bei dem sie voneinander abweichen.
Wer sollte den Fall und die Bewertungskriterien prüfen?
Ein chirurgischer Facharzt und der Leiter des Weiterbildungsprogramms, bevor irgendjemand bewertet wird.
Wo soll ich anfangen
Wählen Sie ein Verfahren aus und formulieren Sie die zu beobachtende Aufgabe. Wählen Sie zwei unbekannte Fälle, lassen Sie zwei Gutachter jeden Fall unabhängig voneinander bewerten und vergleichen Sie ihre Ergebnisse. Überarbeiten Sie die Kriterien bei Abweichungen und führen Sie eine Pilotstudie mit einigen Kollegen durch, bevor Sie die Bewertungen für Entscheidungen heranziehen.
Um zu sehen, wie eine Kalibrierungssitzung live oder im eigenen Tempo ablaufen kann, erkunden Sie AhaSlides.








