Ein Schulungsleiter öffnet am Montag das Lern-Dashboard. Der Abschluss liegt bei 96 Prozent. Die durchschnittliche Zufriedenheit beträgt 4.5 von 5 Punkten. Dann stellt ein Teamleiter die unangenehme Frage: „Gehen die Mitarbeiter jetzt anders mit diesen Kundeneskalationen um?“ Das Dashboard kann darauf keine Antwort geben. Es erfasst lediglich, dass der Kurs abgeschlossen wurde, nicht aber, dass sich im Arbeitsalltag etwas verändert hat.
Hier liegt die Lücke, die die meisten Kennzahlen für Weiterbildungen offenlassen. Die Abschlussquote zeigt lediglich, wer das Ziel erreicht hat. Sie sagt aber nichts darüber aus, wer die Kompetenz erlernt hat, wer sie angewendet hat oder ob sich das Unternehmen weiterentwickelt hat. Dieser Leitfaden bietet Ihnen eine Hierarchie der Nachweise und einen einseitigen Messplan, den Sie für jedes Programm ausfüllen können, ohne dass für jeden Kurs eine umfassende ROI-Studie erforderlich ist.
Das oben beschriebene Szenario dient lediglich der Veranschaulichung und stellt keinen dokumentierten Kundenfall dar.
Schnelle Fakten
| Frage | Kurze Antwort |
|---|---|
| Was läuft schief bei den Abschlussquoten? | Sie messen die Teilnahme, nicht das Lernen oder die Veränderung am Arbeitsplatz. |
| Was sollte man stattdessen messen? | Lernen anhand von Zielen, Transfer in die Arbeitspraxis und anschließend operative Ergebnisse im Kontext |
| Ist für jeden Kurs eine ROI-Analyse erforderlich? | Nein. Die Beweiskraft sollte der zu treffenden Entscheidung angemessen sein. |
| Was gehört in einen Messplan? | Ergebnis, Messgröße, Quelle, Nenner, Zeitpunkt und Eigentümer |
1. Definieren Sie die Entscheidung, die die Daten unterstützen sollen.
Bevor Sie eine Kennzahl auswählen, benennen Sie die Entscheidung, die ihr zugrunde liegen soll. Drei gängige Kennzahlen erfordern unterschiedliche Nachweise:
- Verbessern Sie das Programm. Sie müssen wissen, wo die Lernenden Schwierigkeiten hatten, daher sind die Ergebnisse auf Aufgaben- und Itemebene wichtiger als eine Bestehensnote.
- Bereitschaft bestätigen. Sie benötigen einen Nachweis dafür, dass eine Person eine bestimmte Aufgabe nach einem vereinbarten Standard ausführen kann, in der Regel durch Beobachtung oder eine bewertete Aufgabe.
- Eine Markteinführung bewerten. Sie müssen Gruppen oder Zeiträume vergleichen, daher sind einheitliche Messgrößen, Nenner und Zeitangaben von größter Bedeutung.
Wenn Sie nicht sagen können, welche Entscheidung die Daten stützen, sammeln Sie zwar alles, ziehen aber nur vage Schlüsse. Ein kurzer Test: Was würden Sie anders machen, wenn das Ergebnis schlecht ausfiele? Lautet die Antwort „nichts“, ist die Kennzahl überflüssig.
2. Den Lernerfolg anhand der Ziele messen
Beginnen Sie mit der Arbeitsaufgabe, nicht mit den Kursinhalten. Formulieren Sie das Ziel als eine Handlung (z. B. „eine eskalierte Beschwerde anhand der vereinbarten Kriterien priorisieren“) und gestalten Sie die Bewertung entsprechend. Das Carnegie Mellon Eberly Center bringt den zugrundeliegenden Punkt klar zum Ausdruck: Bewertungen, Ziele und Lernaktivitäten sollten sich gegenseitig verstärken, und das Vermitteln analytischer Fähigkeiten bei gleichzeitiger Bewertung von Faktenwissen führt dazu, dass Lernende das Falsche üben.Leitlinien des Eberly Centers zur Abstimmung von Beurteilungen, Zielen und Unterrichtsstrategien).
In der Praxis ergeben sich daraus drei Gestaltungsmöglichkeiten:
- Legen Sie eine Basislinie fest. Beurteilen Sie die Aufgabe vor dem Training oder verwenden Sie eine kurze Diagnose, um den Kenntnisstand jedes Teilnehmers zu ermitteln. Ohne eine Ausgangsbasis könnte ein gutes Ergebnis nach dem Training lediglich die bereits vorhandenen Fähigkeiten widerspiegeln.
- Verwenden Sie eine passende Folgeuntersuchung. Die spätere Prüfung sollte dieselbe Aufgabe und denselben Standard testen, jedoch anhand eines neuen Fallbeispiels anstelle des geübten. Die Wiederholung der identischen Aufgaben fördert das Einprägen der Antworten.
- Zufriedenheit sollte man getrennt betrachten. Die Reaktionen der Lernenden helfen Ihnen, das Lernerlebnis zu verbessern, aber die US-amerikanischen Zentren für Krankheitskontrolle und -prävention (CDC) stellen in ihren Richtlinien zur Schulungsbewertung ausdrücklich fest, dass die Zufriedenheit der Lernenden nicht darüber entscheidet, ob eine Schulung effektiv ist.CDC, Schulungen evaluieren: Effektivität messenMelden Sie es, aber niemals als Ersatz für Lernen.
Eine einfache Drei-Punkte-Bewertungsskala ist hier hilfreich. Bewerten Sie jedes Kriterium mit 0 (fehlend oder nicht belegt), 1 (teilweise erfüllt, mit relevanten Auslassungen) oder 2 (vollständig und begründet). Definieren Sie kritische Fehler separat, damit ein schwerwiegendes Versagen nicht durch die Gesamtpunktzahl verschleiert wird. Stimmen Sie die Kriterien mit einem Fachexperten ab; eine selbst erstellte Skala dient als Ausgangspunkt, nicht als validierter Standard.
3. Transfer nach arbeitsbedingter Exposition beurteilen
Etwas in einem Kurs zu lernen und es im Berufsalltag anzuwenden, sind zwei verschiedene Dinge. Die Richtlinien der CDC unterscheiden zwischen Lernerfolgskontrolle und der Bewertung des Lerntransfers. Letztere untersucht, wie erfolgreich ein Lernender das Gelernte im Arbeitsalltag anwendet.
Der Nachweis des Lerntransfers braucht Zeit. Vereinbaren Sie ein Folgetreffen, nachdem der Lernende ausreichend Gelegenheit hatte, die Fertigkeit anzuwenden. Dies kann bei einer alltäglichen Aufgabe zwei Wochen und bei einer seltenen Aufgabe mehrere Monate dauern. Sammeln Sie dann Nachweise auf eine oder mehrere der folgenden Arten:
- Beobachtung oder Überprüfung von Arbeitsproben gegen die gleichen Bewertungskriterien, die auch in der Ausbildung verwendet wurden.
- Input von Vorgesetzten oder Kollegen durch die Verwendung spezifischer, verhaltensbasierter Fragen anstatt „Hat sich etwas verbessert?“.
- Systemnachweis wenn die Aufgabe eine Spur hinterlässt, wie zum Beispiel ein ausgefülltes Formular oder ein protokollierter Fall.
Dokumentieren Sie Hindernisse genauso sorgfältig wie Ergebnisse. Einem Lernenden, der eine Aufgabe im Training bewältigen kann, im Arbeitsalltag aber nicht, fehlen möglicherweise die nötigen Werkzeuge, Befugnisse, Zeit oder die Unterstützung des Vorgesetzten. Diese Einschränkungen können auch dann bestehen bleiben, wenn sich die Aufgabenleistung im Training verbessert, und sie sind die Erkenntnisse, die Ihre nächste Entscheidung am ehesten beeinflussen werden. Fragen Sie sich: „Was hat Sie daran gehindert, dies anzuwenden?“ und kategorisieren Sie die Antworten.
4. Operative Ergebnisse im Kontext interpretieren
Operative Kennzahlen wie Fehlerraten, Bearbeitungszeiten oder Lösungsquoten sind wichtig, weil sie die Prioritäten des Unternehmens widerspiegeln. Sie werden aber auch am leichtesten falsch interpretiert.
Drei Gewohnheiten halten dich ehrlich:
- Verwenden Sie einen vergleichbaren Tarif. Zählungen können bei veränderten Fallzahlen irreführend sein. Vergleichen Sie die Raten anhand eines festgelegten Nenners: Fehler pro hundert Fälle, nicht Fehler insgesamt.
- Nennen Sie alternative Erklärungen. Saisonale Schwankungen, ein neues Tool, Personalveränderungen oder Richtlinienaktualisierungen können alle dieselbe Zahl im selben Quartal beeinflussen. Notieren Sie sich diese Faktoren, bevor Sie sich das Ergebnis ansehen.
- Geben Sie an, um welche Art von Anspruch es sich handelt. Wenn geschultes Personal bessere Ergebnisse erzielt als ungeschultes, handelt es sich um einen beobachteten Zusammenhang. Für einen Kausalzusammenhang ist ein Studiendesign erforderlich, das Alternativen ausschließt, wie beispielsweise eine Vergleichsgruppe oder eine gestaffelte Einführung. Die meisten Programme benötigen diese Strenge nicht, und es genügt, einfach zu sagen: „Die Ergebnisse haben sich wie erhofft entwickelt; hier sind die weiteren Veränderungen.“
Vermeiden Sie es, allein durch Schulungen einen Return on Investment zu versprechen. Berichten Sie über Ihre Beobachtungen, den Kontext und die Grenzen.
5. Erstellen Sie einen praktischen Messplan
Ordnen Sie die einzelnen Elemente in einer Tabelle pro Programm an. Jede Zeile stellt eine Frage dar, die die Daten beantworten müssen.
| Feld | Was zu schreiben | Warum es wichtig ist |
|---|---|---|
| Ergebnis | Die Veränderung, die Sie erwarten, in beobachtbaren Begriffen | Verhindert unklare Ziele |
| Messen | Die spezifische Kennzahl oder Rubrikbewertung | Macht es testbar |
| Quelle | Woher kommen die Daten? | Zeigt an, ob es existiert und vertrauenswürdig ist. |
| Nenner | Wer oder was ist die Grundlage dieser Maßnahme? | Verhindert irreführende Rohdaten |
| Timing | Wenn es gesammelt wird | Trennt Lernen von Transfer |
| Eigentümer | Die benannte verantwortliche Person | Sorgt dafür, dass es gelingt |
Durchgerechnetes Beispiel (illustrativ, keine Ergebnisse dargestellt)
Stellen Sie sich ein Programm vor, das Kundendienstmitarbeiter bei der Bearbeitung eskalierter Beschwerden unterstützt. Die Lösung: Vor der Bearbeitung von Eskalationen ohne Unterstützung durch einen Kollegen soll sichergestellt werden, dass die Mitarbeiter bereit sind.
| Ergebnis | Messen | Quelle | Nenner | Timing | Eigentümer |
|---|---|---|---|---|---|
| Die Agenten priorisieren eine Eskalation anhand der vereinbarten Kriterien. | Bewertung nach Rubrik (0 bis 2 pro Kriterium, keine kritischen Fehler) für einen neuen Fall | Fallstudienpraxis | Agenten, die das Programm abgeschlossen haben | Programmende im Vergleich zu einer Ausgangsbasis vor dem Training | Trainingsleitung |
| Die Agenten wenden die Triage-Schritte auf laufende Fälle an. | Bewertungsraster für stichprobenartige reale Eskalationen | Muster für eine Qualitätsprüfung | Beispielhafte Eskalationen pro Agent | Vier bis sechs Wochen nach der ersten Eskalation im Live-Betrieb | Teamleitung |
| Es gibt bekannte Hindernisse bei der Anwendung der Schritte. | Kategorisierte Gründe aus einer kurzen Nachbefragung | Agenten-Nachkontrolle | Agenten, die eine Eskalation bearbeitet haben | Gleiches Folgefenster | Trainingsleitung |
| Die Ergebnisse von Eskalationen werden im Kontext verfolgt. | Wiedereröffnungsquote der Fälle, bei gleichzeitigen Änderungen wurden festgestellt | Gehäusesystem | Die Eskalationen wurden im Berichtszeitraum abgeschlossen. | Quartalsweise im Vergleich zum Vorquartal | Operationsanalyst |
Beachten Sie, was fehlt: keine versprochene prozentuale Verbesserung und keine Behauptung, dass allein das Training zum Erfolg führt. Der Plan verpflichtet Sie dazu, ehrliche Beweise zu sammeln, nicht zu einer bestimmten Antwort.
Wo interaktive und adaptive Bereitstellung passen
Die Messung wird einfacher, wenn der Lernprozess selbst Ergebnisse liefert. Interaktive Aktivitäten wie bewertete Fallstudien, Szenario-Umfragen und kurze Wissensüberprüfungen liefern während des Trainings Daten pro Lernendem und pro Lerninhalt. Adaptives Lernen ermöglicht es, Lernende entsprechend ihrer Leistung individuell zu fördern. Blended-Learning-Konzepte, die Live-Sitzungen und selbstgesteuertes Lernen kombinieren, erlauben es, eine Selbsteinschätzung im eigenen Tempo durchzuführen, eine Fallstudie live mit Feedback zu üben und eine anschließende Überprüfung asynchron abzuschließen.
Diese Funktionen untermauern die in den ersten beiden Zeilen Ihres Plans dargelegten Erkenntnisse. Sie ersetzen jedoch nicht die Zeilen zu Transfer und Ergebnis, da diese von den tatsächlichen Arbeitsabläufen abhängen. Prüfen Sie anhand einer Demonstration, welche spezifischen Berichts- und Bearbeitungsfunktionen Sie benötigen, bevor Sie sich für ein Design entscheiden. Behandeln Sie externe Tools oder Integrationen so lange als vom Kernworkflow getrennt, bis Sie deren Funktionsfähigkeit getestet haben.
Probieren Sie es mit Ihrem eigenen Programm aus.
Füllen Sie den Sechs-Felder-Plan für ein Programm aus, das Sie aktuell durchführen, beginnend mit der Entscheidung, die es unterstützen soll.
Um zu sehen, wie die Lernergebnisse Ihres Plans in einer Live- oder Selbstlernsitzung erfasst werden können, erkunden Sie AhaSlides.
Häufig gestellte Fragen
Welche Kennzahlen gibt es zur Messung der Trainingseffektivität?
Sie dienen als Kriterien, um zu beurteilen, ob die Schulung ihren Zweck erfüllt hat. Ein sinnvolles Set umfasst das Erreichen der Lernziele, den Transfer in die Praxis und die operativen Ergebnisse im Kontext, und beschränkt sich nicht allein auf Abschluss und Zufriedenheit.
Ist die Abschlussrate eine sinnvolle Kennzahl?
Es eignet sich gut, um die Teilnahme zu erfassen und Zugangsprobleme zu erkennen. Es kann jedoch nicht belegen, dass jemand eine Fähigkeit erlernt oder angewendet hat; daher sollte es mit einer Bewertung und einer Nachbefragung kombiniert werden.
Wie lange nach dem Training sollte ich den Transfer messen?
Genügend Zeit, damit die Lernenden die erlernte Fähigkeit auch anwenden können. Eine alltägliche Aufgabe benötigt möglicherweise ein paar Wochen, während eine seltene Aufgabe länger dauern kann. Legen Sie den Zeitraum in Ihrem Plan fest, bevor das Training beginnt.
Muss ich für jeden Kurs den ROI nachweisen?
Nein. Die Evidenz muss der Entscheidung entsprechen. Viele Programme profitieren von Erkenntnissen aus Lern- und Transferprozessen sowie von operativen Ergebnissen, die im Kontext dargestellt werden. Kausalanalysen sollten Programmen mit hohem Einsatz oder hohen Kosten vorbehalten bleiben, sofern das Studiendesign dies zulässt.
