Ein Krankenhausteam optimiert seinen Abrechnungsprozess. Es schult die Verwaltungsmitarbeiter im neuen Verfahren, und sechs Monate später sind die Kosten pro Abrechnungsfall niedriger. Die Finanzabteilung ist zufrieden und fragt nach einer konkreten Zahl: Wie viel hat die Schulung eingespart?
Die ehrliche Antwort ist schwieriger als die Frage. Innerhalb von sechs Monaten veränderten sich die Personalstruktur, das Leistungsvolumen schwankte und ein Kostenträger passte seine Richtlinien an. Ein Teil der Einsparungen resultierte aus der Umstrukturierung, ein Teil aus den Schulungen und ein Teil aus keinem der genannten Faktoren. Die Rentabilität von Schulungen zur Qualitätsverbesserung hängt davon ab, diese einzelnen Faktoren zu analysieren und die verbleibenden Ergebnisse mit einem bestimmten Konfidenzniveau zu berichten.
Dies ist ein beispielhaftes Szenario, kein dokumentierter Fall. Dieser Leitfaden richtet sich an Leiter der Geburtshilfe und Entwicklungsabteilung von Krankenhäusern sowie an die mit ihnen zusammenarbeitenden Verantwortlichen für Informatik oder Compliance. Er beschreibt, wie man den Vergleich definiert, die tatsächliche Aufgabe misst, diese Erkenntnisse mit Betriebsdaten verknüpft, andere Erklärungen ausschließt und Ergebnisse ohne Übertreibung darstellt.
Was ist der ROI von Schulungen zur Qualitätsverbesserung?
Der ROI von Qualitätsverbesserungstrainings vergleicht den Nutzen eines trainingsbezogenen Verbesserungsprojekts mit seinen Kosten. Er untersucht, welchen zusätzlichen Nutzen das Unternehmen durch das Training erzielt hätte und ob dieser Nutzen die Kosten für Training und Projekt rechtfertigt. Die gängigste Methode ist einfach: Nettogewinn (Nutzen minus Kosten) geteilt durch Kosten, dargestellt als Prozentsatz.
Die Berechnung ist der einfache Teil. Die Schwierigkeit besteht darin, zu entscheiden, welche Vorteile dem Training zuzuordnen sind. Das ROI Institute, das einen fünfstufigen Bewertungsrahmen propagiert, führt die „Isolierung der Projekteffekte“ als eigenen Schritt bei der Datenanalyse auf (ROI-InstitutDie fünf Ebenen sind Reaktion, Lernen, Anwendung, Wirkung und ROI. Zufriedenheit und Abschluss befinden sich auf der ersten Ebene. Sie sind nützliche Indikatoren für die Leistungserbringung, aber kein Beweis für Einsparungen.
Schnelle Fakten
| Frage | Kurze Antwort |
|---|---|
| Was ist die Aufgabe? | Ermitteln Sie die Kosten und den Nutzen eines mit Schulungen verbundenen Verbesserungsprojekts. |
| Welche Punktzahl erreichst du? | Nettokostenschätzungen und das Vertrauen in die Zuordnung. |
| Reicht eine Zufriedenheitsumfrage aus? | Nein. Es zeigt, wie der Kurs aufgenommen wurde, nicht, was er eingespart hat. |
| Wer validiert die Methode? | Ein Finanzpartner und ein Leiter für Informatik oder Compliance. |
| Was kann Training nicht beheben? | Personalveränderungen, Volumenschwankungen und Regelungen der Kostenträger treten gleichzeitig auf. |
| Woran erkennt man, dass es funktioniert hat? | Ein Vergleich der Ausgangswerte und der Folgewerte sowie der Betriebsdaten, wobei andere Ursachen geprüft wurden. |
1. Definieren Sie das Ergebnis und den Vergleich.
Bevor Sie Daten erheben, notieren Sie drei Dinge: die Maßnahme, die betroffenen Rollen und die Entscheidung, die die Analyse stützen soll. „Hat die Schulung Kosten gespart?“ ist zu vage. „Sollen wir das Programm zur Optimierung des Abrechnungsprozesses auf den zweiten Standort ausweiten?“ ist eine Entscheidung und gibt an, welche Nachweise ausreichend wären.
Dann trennen Sie die beiden Kostenarten. Versandkosten Die Kosten umfassen Designzeit, Zeit für Moderatoren oder Coaches, Lernstunden, Materialien und jegliche Software. Betriebskosten Berücksichtigen Sie die Änderungen am Prozess selbst: neue Tools, überarbeitete Verfahren, vorübergehende Doppelbelastung, während die Mitarbeiter die neue Methode erlernen. Eine ROI-Analyse, die nur die Durchführungskosten berücksichtigt, schmeichelt dem Programm. Eine ROI-Analyse, die alle Faktoren einbezieht, mag zwar für das Verbesserungsprojekt die richtige Messgröße sein, wird der Schulung jedoch nicht gerecht. Entscheiden Sie, welche Frage Sie beantworten möchten, und geben Sie dies im Bericht an.
Die Arbeitszeit der Mitarbeiter verdient Wertschätzung. Auch wenn keine Rechnung gestellt wird, verursachen Schulungsstunden reale Kosten. Erfassen Sie diese daher zu einem mit Ihrem Finanzpartner vereinbarten Stundensatz.
2. Messen Sie die tatsächliche Aufgabe
Die Aufgabe besteht hier nicht in der bloßen Teilnahme am Programm. Vielmehr geht es darum, dass die Lernenden im Arbeitsalltag praktische Tätigkeiten ausführen, wie beispielsweise die Korrektur von Ansprüchen anhand der neuen Checkliste, die Kodierung von Ablehnungen nach Ursache oder die Erfassung von Ausnahmen. Dies sollte anhand beobachtbarer Daten gemessen werden.
- Legen Sie eine Basislinie fest Vor dem Training: eine Auswahl realer oder realistischer Aufgaben, die anhand vereinbarter Kriterien bewertet werden.
- Führen Sie eine vergleichbare Bewertung durch. Nach dem Training neue Aufgaben von ähnlichem Schwierigkeitsgrad anstelle derjenigen, mit denen die Lernenden geübt haben, verwenden.
- Fertigstellung und Zufriedenheit sicherstellen als Lieferindikatoren, die separat ausgewiesen werden.
Hier kommt die Aufgabenbeurteilung ins Spiel. Können die Mitarbeitenden die Aufgabe nun in unbekannten Fällen genauer lösen, wird der Zusammenhang zwischen Schulung und betrieblicher Veränderung plausibel. Gelingt ihnen dies nicht, ist eine Kostenersparnis wahrscheinlich nicht auf die Schulung zurückzuführen. Weitere Informationen zum Verfassen von Übungen und Feedback, die sich auf eine Aufgabe beziehen, finden Sie in unserem Leitfaden. Gestaltung interaktiver Übungen mit hilfreichem Feedback.
3. Aufgabennachweise mit operativen Daten verknüpfen
Ordnen Sie nun die Aufgabennachweise den operativen Daten zu. Erfassen Sie für jede Kennzahl vier Angaben: die Grundgesamtheit (wer wird einbezogen?), den Nenner (pro Leistungsfall, pro Mitarbeiter oder pro Monat), den Zeitraum und die Quelle.
Gängige Kennzahlen in Projekten zur Verwaltungsoptimierung sind die Nachbearbeitungsquote, der Anteil der aus vermeidbaren Gründen abgelehnten Anträge, die Bearbeitungszeit einer Aufgabe und die Kosten pro Transaktion. Rechnen Sie jede Änderung nur anhand der von Ihrem Finanzpartner genehmigten Stückkosten in Geldwerte um. Ermitteln Sie anschließend die relevante Kennzahl:
- Geschätzter Nutzen: die Änderung der Maßnahme multipliziert mit den vereinbarten Stückkosten.
- Anteil, der auf Schulungen zurückzuführen ist: eine begründete Prozentzahl, keine Schätzung, mit schriftlicher Begründung.
- Nettoschätzung: Der zurechenbare Nutzen abzüglich der Schulungs- und Projektkosten, die Sie einbezogen haben.
Behandeln Sie einen plausiblen Zusammenhang als solchen. Ein Rückgang der Nacharbeit nach einer Schulung spricht zwar dafür, dass die Schulung funktioniert hat, beweist dies aber nicht.
4. Alternative Erklärungen berücksichtigen
Überlegen Sie, was sich im Vergleichszeitraum sonst noch geändert hat. Eine kurze Checkliste ist dabei hilfreich:
- Arbeitsbelastung. Sind die Umsätze gestiegen oder gefallen? Ein ruhigeres Quartal bedeutet oft weniger Fehler.
- Personal. Haben erfahrene Mitarbeiter das Unternehmen verlassen oder sind neue, ungeschulte Mitarbeiter hinzugekommen?
- Kunden- bzw. Zahlermix. Haben sich die Schadensarten geändert?
- Prozess- oder Systemänderungen. Hat sich gleichzeitig sonst noch etwas am Arbeitsablauf geändert?
Nutzen Sie nach Möglichkeit einen Vergleich. übereinstimmender Vergleich betrachtet ein ähnliches Team, das noch keine entsprechende Ausbildung erhalten hat. schrittweiser Rollout Dieser Vergleich ist quasi kostenlos: Die später trainierten Teams dienen als Kontrollgruppe für die zuerst trainierten. In einem Krankenhaus ist beides nicht immer möglich, da dort möglicherweise alle Teams gleichzeitig die Umstellung benötigen. In diesem Fall gibt man ehrlicherweise ein niedrigeres Konfidenzniveau an.
Ein 2022 in BMC Health Services Research veröffentlichter Review zum Return on Investment (ROI) von groß angelegten Qualitätsverbesserungen im Gesundheitswesen ist hier hilfreich. Die Autoren definieren ROI weit gefasst als jeden monetären oder nicht-monetären Wert, der sich aus Qualitätsverbesserungen ergibt, und weisen darauf hin, dass die Ergebnisse miteinander verknüpft und schwer zu beobachten sind. Sie schlagen vor, den Beitrag zu den Ergebnissen zu bewerten, anstatt eine direkte Zuordnung zu beanspruchen, und bezeichnen den traditionellen ROI als „einen indirekten und unvollständigen Indikator für den Wert von Qualitätsverbesserungen“.Thusini et al., BMC Health Services Research, 2022Das gilt auch für administrative Projekte. Berichten Sie über die nachgewiesenen Beiträge und Ihr Vertrauen in diese, nicht über eine einzelne Zahl mit vermeintlicher Genauigkeit.
5. Ergebnisse melden und nächste Schritte auswählen
Ein Bericht, auf dessen Grundlage ein Finanzausschuss handeln kann, passt auf eine Seite. In diesem Beispiel-Layout sind die Ergebnisfelder absichtlich leer. Tragen Sie dort Ihre eigenen Daten ein, niemals übernommene Effektstärken.
| Feld | Was aufgezeichnet werden soll | Lösung |
|---|---|---|
| Intervention und Rollen | Programm, Projekt und Teilnehmer | |
| Bevölkerung und Zeitraum | Wer ist eingeschlossen, von wann bis wann | |
| Ausgangswerte und Ergebnisse der Folgeuntersuchung | Gleiche Kriterien, unterschiedliche Fälle | |
| Operationelles Maß und Nenner | Zum Beispiel die Nachbearbeitungsquote pro 100 Schadensfälle | |
| Geschätzter Nutzen | Änderung multipliziert mit den genehmigten Stückkosten | |
| Anteil, der auf Schulungen zurückzuführen ist, und warum | Argumentation, Vergleichsmethode | |
| Liefer- und Betriebskosten | Separat aufgeführt | |
| Nettoschätzung und Vertrauen | Hoch, mittel oder niedrig, mit Begründung | |
| Weitere Änderungen in diesem Zeitraum | Arbeitsbelastung, Personalbesetzung, Personalmix, Prozess | |
| Empfohlene Aktion | Skalieren, überarbeiten oder stoppen |
Legen Sie im Voraus fest, was jede Maßnahme rechtfertigt. Sie könnten das Programm ausweiten, wenn sich die Aufgabenbewertungen in unbekannten Fällen verbessern, die operativen Kennzahlen sich erwartungsgemäß entwickeln, andere Erklärungen geprüft wurden und die Nettoschätzung unter vorsichtigen Annahmen positiv bleibt. Sie könnten das Programm überarbeiten, wenn sich die Aufgabenbewertungen verbessern, die operativen Kennzahlen jedoch nicht, was auf Einschränkungen außerhalb des Trainings hindeutet. Sie könnten das Programm beenden, wenn sich keine der beiden Kennzahlen verbessert. Stimmen Sie diese Regeln mit Ihrem Auftraggeber ab, bevor Sie die Zahlen einsehen, damit die Ergebnisse nicht die Kriterien bestimmen.
Arbeiten Sie ein realistisches Beispiel durch.
Zur Veranschaulichung. Ein Finanzpartner und ein Verantwortlicher für Informatik oder Compliance sollten den Fall und die Antwortkriterien vor der Anwendung prüfen.
Der Fall. Ein Team überarbeitet den Workflow für Schadensfälle, während sich Personalbestand und Fallzahlen verändern. Der Nachbearbeitungsaufwand sank in den sechs Monaten nach der Schulung. Zwei erfahrene Kodierer verließen das Team im selben Zeitraum, und das Fallvolumen ging im zweiten Quartal leicht zurück.
Die Aufgabe. Der Lernende schätzt die Einsparungen, die durch die Schulung vernünftigerweise erzielt werden können, erläutert die Entscheidung, führt die Belege an und benennt die noch fehlenden Informationen.
Ein erster Versuch. „Die Nacharbeit ging zurück, daher hat die Schulung die gesamte Differenz kompensiert. Ich habe die Reduzierung mit unseren Kosten pro Nacharbeit multipliziert und das Ergebnis als ROI angegeben.“ Diese Aussage schreibt die gesamte Veränderung der Schulung zu und ignoriert die anderen Veränderungen.
Feedback geben und es erneut versuchen. Der Coach fragt nach weiteren Änderungen, ob es Unterschiede zwischen geschultem und ungeschultem Personal gibt und woher die Stückkosten stammen. Der Lernende wird gebeten, den Nutzen aufzuteilen.
Ein stärkerer Versuch. „Der Nachbearbeitungsaufwand sank, aber zwei erfahrene Programmierer haben das Unternehmen verlassen und das Auftragsvolumen ging zurück, daher kann ich den Rückgang nicht allein auf Schulungen zurückführen. Die Aufgabenbewertungen für unbekannte Fälle stiegen, was einen positiven Einfluss der Schulungen nahelegt. Ich würde die beobachteten Einsparungen, einen reduzierten Anteil, den ich begründen kann, und eine niedrige bis mittlere Konfidenzbewertung angeben. Um die Konfidenz zu erhöhen, benötige ich Nachbearbeitungen durch geschultes und ungeschultes Personal sowie die Stückkosten aus der Finanzabteilung.“ Dies trennt beobachtete von verursachten Einsparungen und zeigt auf, welche Belege fehlen.
Beurteilen Sie die Fähigkeiten anhand einer einfachen Bewertungsmatrix
Bewerten Sie jedes Kriterium mit 0 bis 2 Punkten:
| Kriterium | Sichtbare Beweise |
|---|---|
| Aufgabenausführung | Erfasst die Kosten und den Nutzen eines mit der Ausbildung verbundenen Projekts und dokumentiert die Belege, die jede Zahl stützen. |
| Argumentation | Erläutert Einschränkungen, Alternativen und Unsicherheiten und überprüft die Nettokostenabschätzungen sowie das Vertrauen in die Zuordnung. |
| Boundaries | Wendet genehmigte Verfahren an und sucht Hilfe, wenn Informationen oder Befugnisse nicht ausreichen. |
Bewertungskriterien: 0 bedeutet fehlend oder unbegründet, 1 bedeutet teilweise mit relevanten Auslassungen und 2 bedeutet vollständig und anhand der vereinbarten Kriterien begründet. Kritische Fehler sind separat zu definieren, z. B. die alleinige Zuschreibung der Veränderung zu einer Schulung ohne Prüfung anderer Ursachen, damit ein solcher Fehler nicht in der Gesamtbewertung verborgen bleibt. Diese Rubrik ist ein Vorschlag, kein validierter Bereitschaftsstandard: Passen Sie sie gemeinsam mit dem Anwender an und erproben Sie sie. Um jede Aktivität dem erforderlichen Denkprozess zuzuordnen, konsultieren Sie unseren Leitfaden. Zuordnung von Lernaktivitäten zu Blooms Taxonomie.
Wo interaktive Bereitstellung hilft
Interaktive Formate sind hilfreich, wenn Teilnehmende sich festlegen sollen, bevor sie die Antwort erhalten. In einer Live-Sitzung kann ein Moderator den Fall präsentieren, jede/n Teilnehmende/n bitten, ihren Anteil der Einsparungen anzugeben, den sie dem Training zuschreiben würden, und anschließend die Streuung aufzeigen, bevor die Unterschiede in den Schätzungen erläutert werden. Derselbe Fall kann zur Vorbereitung im Selbststudium bearbeitet werden. AhaSlides unterstützt interaktives Lernen und den Wechsel zwischen Live- und Selbststudium. Überprüfen Sie alle Funktionen zur Erstellung, zum Feedback oder zur Berichterstellung, die Sie nutzen möchten, anhand Ihres eigenen Workflows und betrachten Sie KI, Simulatoren und Systemintegrationen als extern oder unbestätigt, bis Sie deren Funktionsfähigkeit getestet haben. Hinweise zur Formatauswahl finden Sie in unserem Artikel zu diesem Thema. Wann sollte man adaptives, interaktives und Live-Lernen einsetzen?.
Einschränkungen, die möglicherweise bestehen bleiben
- Namensnennung. Ohne eine Vergleichsgruppe kann man einen Beitrag schätzen, aber keine Ursache beweisen.
- Zeitverzögerung. Manche Ersparnisse werden erst nach einigen Viertelstunden gutgeschrieben, und in einem kurzen Zeitfenster können sie verpasst werden.
- Datenqualität. Die Betriebsdaten können unvollständig sein oder ihre Definitionen können sich während des Berichtszeitraums ändern.
- Weitere Änderungen. Personalmangel, Arbeitsaufkommen und Kostenträgerbestimmungen können einen geringen Schulungseffekt zunichtemachen.
- Übertragung. Die Leistung in einer Trainingssimulation ist nicht dasselbe wie die Leistung unter dem Druck des Alltags.
Nennen Sie diese Punkte den Sponsoren frühzeitig. Schulungen verbessern die Fähigkeiten der Teilnehmer. Sie verändern jedoch nicht die Arbeitsbedingungen.
Häufig gestellte Fragen
Was ist der ROI von Schulungen zur Qualitätsverbesserung?
Dabei werden die Vorteile eines mit Schulungen verbundenen Verbesserungsprojekts seinen Kosten gegenübergestellt, üblicherweise als Nettogewinn geteilt durch Kosten. Der entscheidende Schritt besteht darin, zu ermitteln, welcher Anteil des Nutzens tatsächlich der Schulung zuzuschreiben ist.
Lässt sich nachweisen, dass die Schulungen die Einsparungen verursacht haben?
Selten. Ein direkter Vergleich oder eine schrittweise Einführung liefern stärkere Belege, aber in den meisten Krankenhäusern berichtet man über einen begründeten Beitrag und ein Konfidenzniveau anstatt über einen Beweis.
Sollen Lieferkosten und Betriebskosten zusammen gerechnet werden?
Weisen Sie die Kosten separat aus. Die Durchführungskosten beschreiben die Schulung selbst. Die Betriebskosten beschreiben das gesamte Verbesserungsprojekt. Geben Sie an, auf welcher Gesamtsumme Ihre ROI-Berechnung basiert.
Ist eine Zufriedenheitsumfrage ein Beleg für Einsparungen?
Nein. Zufriedenheit und Fertigstellung sind Leistungsindikatoren. Einsparungen erfordern Nachweise über die erbrachten Leistungen und operative Daten.
Wo soll ich anfangen
Wählen Sie ein Verbesserungsprojekt mit bereits vorhandener Ausgangsbasis. Formulieren Sie die Entscheidung, die die Analyse stützen soll, listen Sie die einzubeziehenden Kosten auf, wählen Sie eine operative Kennzahl mit ihrem Nenner und lassen Sie die Stückkosten von einem Finanzpartner genehmigen. Erstellen Sie einen einseitigen Bericht ohne Ergebnisfelder und legen Sie die Skalierungs-, Überarbeitungs- oder Abbruchregeln fest, bevor die Daten eintreffen.
Um zu sehen, wie ein solcher Fall live mit Ihrem eigenen Team durchgeführt und anschließend im eigenen Tempo wiederverwendet werden kann, erkunden Sie AhaSlides.
