Leistungsbeurteilungsraster: Wie man Urteilsvermögen und Problemlösungsfähigkeiten in der Ausbildung beurteilt

Zwei Trainer sehen sich dieselbe Aufzeichnung an, in der eine neue Teamleiterin über die Eskalation einer Kundenbeschwerde entscheidet. Der erste Trainer gibt ihr Bestnoten: Sie blieb ruhig und wählte eine vernünftige Option. Der zweite Trainer gibt ihr eine mittelmäßige Note: Sie erklärte weder ihre Entscheidung noch ihre Wissenslücken. Beide Trainer sind erfahren und verwendeten dasselbe Formular. Beide haben im Prinzip Recht, und genau darin liegt das Problem. Das Formular gab ihnen keine Hinweise darauf, worauf sie achten sollten.

Dies ist ein beispielhaftes Szenario, kein dokumentierter Kundenfall. Es zeigt, warum Urteilsvermögen und Problemlösungskompetenz schwer zu beurteilen sind: Der Beweis liegt in der Argumentation, und diese kann leicht unterschiedlich bewertet werden.

Dieser Leitfaden richtet sich an Instructional Designer, Trainingsmanager und Leiter der Personalentwicklung, die eine nachvollziehbare Leistungsbeurteilungsmatrix benötigen. Er umfasst fünf Schritte: Definition der Nachweiskriterien, Formulierung beobachtbarer Kriterien, Beschreibung von Leistungsankern, Kalibrierung der Beurteiler und Pilotierung der Matrix. Abschließend werden ein Anwendungsbeispiel und die verbleibenden Grenzen erläutert.

Was ist ein Leistungsbeurteilungsraster?

Ein Beurteilungsraster dient als Bewertungsleitfaden für Aufgaben, bei denen Lernende aktiv handeln, anstatt Wissen wiederzugeben. Es listet die relevanten Kriterien auf, beschreibt die einzelnen Bewertungsstufen und bietet den Beurteilenden eine gemeinsame Entscheidungsgrundlage. Bei Aufgaben zu Urteilsvermögen und Problemlösung handelt es sich in der Regel um einen Fall: Die Lernenden entscheiden über das weitere Vorgehen, begründen ihre Entscheidung und erläutern, welche weiteren Informationen sie benötigen.

Eine Rubrik ist kein Wissenstest. Ein einfacher Quiz kann bestätigen, dass jemand die Regeln kennt. Eine Rubrik zeigt, ob jemand diese Regeln auch in unübersichtlichen Situationen anwenden kann.

Schnelle Fakten

1. Definieren Sie die Leistungsnachweise.

Beginnen Sie mit der Aufgabe, nicht mit dem Formular. Beschreiben Sie die Situation, mit der der Lernende konfrontiert wird, die Entscheidung, die er treffen muss, und was eine kompetente Leistung ausmacht. Gehen Sie dabei konkret auf Kontext und Grenzen ein: Welche Befugnisse hat der Lernende, welche Informationen stehen ihm zur Verfügung und was wird bewusst weggelassen?

Ein hilfreicher Test ist die Frage, worauf ein Beobachter hinweisen könnte. „Zeigt gutes Urteilsvermögen“ lässt sich nicht als Hinweis heranziehen. „Gibt an, welches Verfahren anzuwenden ist, nennt eine fehlende Tatsache und sagt, wen er fragen würde“ hingegen schon.

Wenn Sie die Beweise nicht in einfachen Sätzen beschreiben können, ist die Aufgabe noch nicht bewertungsreif. Überarbeiten Sie die Aufgabenstellung zuerst. Eine unklare Aufgabenstellung führt zu einem unklaren Bewertungsraster, egal wie ausgefeilt es auch aussehen mag.

2. Formulieren Sie beobachtbare Kriterien

Wählen Sie eine kleine Anzahl von Kriterien, die dem Lernziel entsprechen. Für Urteilsvermögen und Problemlösung eignen sich drei Kriterien in vielen Rollen gut:

• Aufgabenausführung. Der Lernende trifft eine Entscheidung im Rahmen seiner Befugnisse und dokumentiert die Wahl sowie die dafür zugrunde liegenden Beweise.
• Argumentation. Der Lernende erläutert die Einschränkungen, die Alternativen und was noch unklar ist.
• Grenzen. Der Lernende wendet genehmigte Verfahren an und bittet um Hilfe, wenn Informationen oder Befugnisse fehlen.

Beschreiben Sie jedes Kriterium so, als ob es in einer Entscheidung, einer Erklärung oder einem Ergebnis sichtbar wäre. Vermeiden Sie Wörter, die eine Eigenschaft benennen, wie z. B. „gut“, „ausgereift“ oder „gut“. Zwei Gutachter interpretieren solche Wörter unterschiedlich.

Halten Sie die Anzahl gering. Jedes zusätzliche Kriterium bietet Prüfern die Möglichkeit, unterschiedlicher Meinung zu sein, und verleitet Lernende dazu, Punkte zu jagen, anstatt nachzudenken. Wenn ein Kriterium Ihre Entscheidung bezüglich des Ergebnisses nicht beeinflusst, streichen Sie es.

3. Leistungsanker beschreiben

Ein Anker ist eine kurze Beschreibung dessen, wie eine Punktzahl aussieht. Ohne Anker hat eine Punktzahl von 1 oder 2 die Bedeutung, die der Beurteiler ihr zuschreiben möchte.

Für eine erste Version genügt oft eine einfache dreistufige Skala:

Fügen Sie für jedes Kriterium ein kurzes Beispiel hinzu, wie sich eine 0, 1 und 2 in Ihrer Aufgabe anhören. Verwenden Sie nach Möglichkeit Formulierungen aus Übungsaufgaben. Abstrakt formulierte Ankerpunkte neigen dazu, in vage Adjektive abzudriften.

Kritische Fehler werden gesondert behandelt. Manche Fehler sollten nicht verharmlost werden. Beispiele hierfür sind Überschreitung der eigenen Befugnisse, Missachtung von Sicherheitsvorkehrungen oder Überschreitung von Grenzwerten. Solche Fehler sollten separat von den Bewertungskriterien aufgeführt und die Konsequenz angegeben werden: Ein schwerwiegender Fehler wird erfasst und weiterverfolgt, unabhängig von der Gesamtpunktzahl. Andernfalls kann ein Lernender zwar in den Bereichen Argumentation und Grenzsetzung gut abschneiden, aber dennoch eine Handlung begehen, die im Arbeitsalltag inakzeptabel wäre.

4. Kalibrierung der Beurteiler anhand von Beispielen

Ein Beurteilungsraster erstellt keine Selbstbewertung. Die Beurteilenden interpretieren es weiterhin, daher sollte es vor der Bewertung einer Gruppe kalibriert werden.

1. Wählen Sie zwei oder drei Beispielantworten aus, die sich in ihrer Qualität unterscheiden. Am besten eignen sich reale Versuche eines Piloten.
2. Jeder Gutachter soll die Beurteilungen unabhängig voneinander vornehmen, bevor eine Diskussion stattfindet.
3. Vergleichen Sie die Punktzahlen und, noch wichtiger, die von jeder Person angeführten Belege.
4. Wenn die Ergebnisse voneinander abweichen, suchen Sie nach der Formulierung, die die Abweichung verursacht hat, und ändern Sie das Kriterium oder den Ankerpunkt.
5. Wiederholen Sie den Vorgang mit einem neuen Beispiel, bis die Gutachter aus denselben Gründen die gleiche Punktzahl vergeben.

Ziel ist eine gemeinsame Auslegung der Kriterien, nicht eine Übereinstimmung um ihrer selbst willen. Wenn zwei Gutachter aus unterschiedlichen Gründen dieselbe Punktzahl vergeben, bleibt die Bewertungsmatrix weiterhin mehrdeutig.

Was sagt die Forschung? Die Ergebnisse sind uneinheitlich, daher sollten Sie mit Meinungsverschiedenheiten rechnen und diese messen. In einer 2022 im Fujita Medical Journal veröffentlichten Studie zu videografierten klinischen Untersuchungen bewerteten zwei Gutachter vierzig Videos. Die ersten zehn Videos wurden ohne Moderation bewertet, die restlichen Videos wurden anschließend anhand der Bewertungskriterien diskutiert. Die Übereinstimmung, gemessen mit einem gewichteten Kappa-Koeffizienten, stieg von 0.49 bei den ersten zehn Videos auf 0.82 bei den letzten zehn.Watari und Kollegen, 2022Es handelte sich um eine kleine Studie zu einer einzelnen Prüfungsaufgabe; daher sollte man sie eher als Hinweis darauf verstehen, dass Mäßigung helfen kann, nicht als Versprechen.

Auch Schulungen allein bieten keine Garantie. Eine randomisierte Studie aus dem Jahr 2014, in der 21 Gutachter 242 Medizinstudenten beurteilten, ergab, dass eine kurze Schulung zur Festlegung eines Bezugsrahmens die Genauigkeit der einzelnen Gutachter nicht messbar verbesserte, obwohl geschulte Gutachter strengere und näher an den Bewertungen eines Referenzgremiums lagen. Die Autoren schlussfolgerten, dass die Leistungsbeurteilung sehr individuell ist.Weitz und Kollegen, 2014Die praktische Umsetzung besteht darin, die Kalibrierung anhand realer Beispiele fortzusetzen, die Übereinstimmung während der Bewertung zu überprüfen und nicht anzunehmen, dass eine einzige Einweisung ausreicht.

5. Pilotprojekt durchführen und Bewertungsraster überarbeiten

Bevor Sie die Bewertungskriterien für wichtige Entscheidungen anwenden, testen Sie sie zunächst.

• Führen Sie es mit einer kleinen Gruppe von Lernenden und zwei oder mehr Prüfern durch.
• Notieren Sie, wo die Gutachter unterschiedlicher Meinung sind, und bitten Sie jeden, seine Bewertung zu erläutern.
• Prüfen Sie, ob die Kriterien zwischen starken und schwachen Antworten unterscheiden. Wenn alle Lernenden 2 Punkte erzielen, sind die Aufgabe oder die Ankerpunkte zu einfach.
• Fragen Sie die Lernenden, was ihnen durch die Bewertungskriterien klar wurde und was sie verwirrte.
• Überarbeiten Sie den Testlauf und führen Sie ihn anschließend mit einem neuen Fall durch.

Seien Sie ehrlich hinsichtlich der Ergebnisse des Pilotprojekts. Ein nicht validiertes Beurteilungsschema ist ein Arbeitsentwurf. Es handelt sich nicht um einen allgemeingültigen Zertifizierungsstandard und sollte nicht für weitreichende Entscheidungen über Personen herangezogen werden, bis es von einer Fachkraft in der entsprechenden Funktion geprüft wurde und Sie Nachweise für seine Eignung für Ihre Zielgruppe haben.

Ein praktisches Beispiel: eine Eskalationsentscheidung

Zur Veranschaulichung. Ein Anwender dieser Tätigkeit sollte den Fall und die Antwortkriterien vor der Anwendung überprüfen.

Der Fall. Ein Kunde meldet eine verspätete Bestellung und bittet um vollständige Rückerstattung. Der Kundendienstmitarbeiter kann ohne Genehmigung eine Gutschrift bis zu einem festgelegten Betrag anbieten. Die Rückerstattung ist höher. Der zuständige Manager ist zwei Stunden lang nicht erreichbar. In den Notizen sind vier Bestellungen in diesem Jahr vermerkt.

Was der Lernende tut. Wählen Sie eine Antwort aus, begründen Sie Ihre Entscheidung, nennen Sie die entsprechenden Belege und geben Sie an, welche weiteren Informationen oder Unterstützung benötigt würden.

Eine Antwort erhielt 1 Punkt für ihre logische Argumentation. „Ich würde die Rückerstattung anbieten, weil der Kunde verärgert ist.“ Die Entscheidung wird zwar verkündet, aber es gibt keine Beweise, keine Erwähnung des Limits und keinen Hinweis darauf, was fehlt.

Eine Antwort erhielt 2 Punkt für ihre logische Argumentation. „Ohne Genehmigung würde ich keine Rückerstattung über mein Limit hinaus vornehmen. Laut den Notizen hat der Kunde dieses Jahr vier Bestellungen aufgegeben, daher ist er mir wichtig. Ich habe jedoch noch nicht bestätigt, wo sich das Paket befindet. Ich würde ihm jetzt eine Gutschrift innerhalb meines Limits anbieten, ihm mitteilen, wann der Manager antwortet, und beim Versanddienstleister eine Sendungsverfolgungsaktualisierung anfordern, damit die Genehmigung schnell erfolgen kann.“

Ein schwerwiegender Fehler. Die Auszahlung der Rückerstattung ohne Genehmigung wird unabhängig von den anderen Bewertungen als schwerwiegender Fehler gewertet, da dies die Befugnisse des Mitarbeiters überschreitet.

Beachten Sie, was die Anker bewirkten. Die beiden Gutachter aus der Eröffnungsphase würden nun nach denselben Dingen suchen: der Entscheidung, den angeführten Beweisen, der angegebenen Unsicherheit und der Abgrenzung.

Wo interaktive Bereitstellung hilft

Interaktive Formate erleichtern das Üben und die Kalibrierung, da sich jeder Teilnehmer auf eine Antwort festlegt, bevor die Gruppenantworten sichtbar sind. In einer Live-Sitzung kann ein Moderator eine Beispielantwort zeigen, jeden Teilnehmer bitten, diese privat zu bewerten, und anschließend die Ergebnisse vor der Diskussion präsentieren. Dieselben Fallstudien können zur Vorbereitung im Selbststudium genutzt werden. AhaSlides unterstützt interaktives Lernen und den Wechsel zwischen Live- und Selbststudium. Überprüfen Sie alle Funktionen zur Erstellung, zum Feedback und zur Berichterstellung, die Sie nutzen möchten, anhand Ihres eigenen Arbeitsablaufs und betrachten Sie KI-, Simulations- und Integrationsfunktionen als extern oder unbestätigt, bis Sie deren Funktionsfähigkeit getestet haben. Hinweise zur Auswahl des passenden Formats finden Sie hier: Wann sollte man adaptives, interaktives und Live-Lernen einsetzen?Um Aktivitäten dem gewünschten Denkniveau zuzuordnen, lesen Sie bitte unseren Leitfaden. Zuordnung von Lernaktivitäten zu Blooms Taxonomie.

Messen Sie, was sich verändert hat

Legen Sie im Voraus fest, welche Nachweise belegen, dass die Lernenden die Aufgabe bewältigen können. Vergleichen Sie die Leistung in einem neuen, unbekannten Fall mit einem Referenzwert und bewerten Sie sowohl die Qualität der Argumentation als auch der Entscheidung. Definieren Sie die Teilnehmer, den Nenner und den Zeitraum. Verbessern sich die Ergebnisse, prüfen Sie, welche anderen Faktoren sich im selben Zeitraum geändert haben, z. B. ein neues Werkzeug oder eine andere Aufgabenstruktur, bevor Sie die Schulung anrechnen.

Einschränkungen, die möglicherweise bestehen bleiben

Selbst ein gut ausgearbeiteter Bewertungsbogen löst nicht alle Probleme:

• Zeitaufwand für den Gutachter. Kalibrierung und Pilotierung benötigen Zeit, die eingeplant werden muss.
• Autorität im eigentlichen Beruf. Ein Lernender kann in der Übung gut argumentieren und dennoch nicht die Befugnis haben, im Berufsleben so zu handeln.
• Fallabdeckung. Ein einzelner Fall zeigt eine einzelne Entscheidung. Eine einzelne Punktzahl beschreibt nicht das Urteilsvermögen einer Person im Allgemeinen.
• Übertragung. Die Leistung in einer sicheren Umgebung ist nicht gleichzusetzen mit der Leistung am Arbeitsplatz. Überprüfen Sie die Übertragung nach angemessener Expositionszeit.

Planen Sie separate Korrekturen für diese Punkte und teilen Sie dies den Sponsoren mit. Ein Bewertungsraster macht die Beurteilung transparenter und fairer. Es stellt jedoch keine Garantie für eine bestimmte Punktzahl dar.

Häufig gestellte Fragen

Worin besteht der Unterschied zwischen einer Rubrik und einer Checkliste?

Eine Checkliste dokumentiert, ob eine Aufgabe erledigt wurde. Ein Beurteilungsraster beschreibt die Qualität der Ausführung auf verschiedenen Ebenen und eignet sich daher für Aufgaben, die eine Beurteilung und Erläuterung erfordern.

Wie viele Kriterien sollte eine Bewertungsmatrix enthalten?

Wenige, in der Regel drei bis fünf. Wählen Sie diejenigen aus, die zum Lernziel passen, und streichen Sie alle, die keinen Einfluss auf Ihre weitere Vorgehensweise mit dem Ergebnis haben würden.

Kann ein Beurteilungsraster Meinungsverschiedenheiten zwischen den Beurteilern beseitigen?

Nein. Es kann das Risiko verringern, insbesondere durch die Verwendung von Ankern und die Kalibrierung anhand realer Beispiele, aber Sie sollten trotzdem die Übereinstimmung während der Bewertung überprüfen und unklare Formulierungen überarbeiten.

Sollte ich für wichtige Entscheidungen einen Bewertungsbogen verwenden?

Erst nach einer Pilotphase und der Überprüfung durch eine erfahrene Fachkraft. Behandeln Sie eine neue Bewertungsmatrix als Entwurf, bis Sie nachgewiesen haben, dass sie für Ihre Lernenden und die jeweilige Aufgabe geeignet ist.

Wo soll ich anfangen

Wählen Sie eine Entscheidung aus, die Ihre Lernenden unbedingt gut treffen müssen. Beschreiben Sie, welche Anzeichen eine kompetente Leistung zeigen würde, wählen Sie drei Kriterien, legen Sie für jedes Kriterium eine Skala von 0 bis 2 fest und listen Sie die wichtigsten Fehler auf. Lassen Sie anschließend zwei Prüfer dasselbe Beispiel unabhängig voneinander bewerten, ihre Bewertungen vergleichen und die Formulierungen gegebenenfalls anpassen, bevor Sie die endgültige Bewertung abgeben.

Um zu sehen, wie ein Fallbeispiel live mit Ihrem eigenen Team durchgespielt und anschließend im eigenen Tempo wiederholt werden kann, erkunden Sie AhaSlides.