Ein Pilotprojekt ist abgeschlossen. Zwölf Personen nahmen teil, fast alle gaben an, es sei hilfreich gewesen, und der Projektleiter zeigte sich zufrieden. Daraufhin stellte der Betriebsleiter eine berechtigte Frage: „Hat sich die Arbeitsweise der Teilnehmenden verändert?“ Niemand hatte die Arbeitsweise vor dem Pilotprojekt analysiert, niemand hatte Vergleiche angestellt, und das Team hatte seine Prozesse im selben Monat angepasst. Das Pilotprojekt hatte zwar Wohlwollen erzeugt, aber keine wissenschaftlichen Beweise geliefert.
Dies ist ein beispielhaftes Szenario, kein dokumentierter Kundenfall. Es zeigt einen häufigen Fehler bei der Evaluierung von Schulungsprogrammen: Das Pilotprojekt wird durchgeführt, war aber nie darauf ausgelegt, eine Frage zu beantworten.
Dieser Leitfaden richtet sich an Leiter der Personalentwicklung, Instructional Designer und Trainingsmanager. Er umfasst fünf Schritte: Definition der Pilotfrage, Auswahl der Teilnehmenden und der Ausgangswerte, Dokumentation des Lernprozesses, Bewertung der Leistung bei der neuen Aufgabe und des Transfers sowie Abstimmung darüber, wie die Ergebnisse die Implementierung beeinflussen. Abschließend finden Sie eine anpassbare Vorlage und die verbleibenden Einschränkungen.
Was ist ein Ausbildungspilot?
Ein Pilotprojekt ist eine kleine, zeitlich begrenzte Erprobung eines Lernkonzepts, bevor dieses flächendeckend eingeführt wird. Ziel ist es, die Machbarkeit des Konzepts und dessen Weiterverfolgungspotenzial zu prüfen, nicht dessen universelle Funktionsfähigkeit zu beweisen.
Diese Unterscheidung ist wichtig. Das US-amerikanische Nationale Zentrum für Komplementäre und Integrative Gesundheit beschreibt eine Pilotstudie als einen Test der Methoden und Verfahren im kleinen Maßstab, die in größerem Umfang angewendet werden sollen, und warnt davor, dass eine Pilotstudie nicht darauf ausgelegt ist, Fragen zur Wirksamkeit zu beantworten, sodass jeder Effekt, der sich darin zu zeigen scheint, instabil ist (NCCIH, Pilotstudien: Häufige Verwendungen und FehlverwendungenDiese Leitlinien sind zwar für die Gesundheitsforschung verfasst, die zugrundeliegende Logik lässt sich aber übertragen. Eine Pilotstudie mit zwölf Teilnehmenden kann Aufschluss darüber geben, ob Rekrutierung, Durchführung, Messung und Nachbeobachtung möglich sind. Sie kann jedoch nicht mit Sicherheit sagen, wie groß der Effekt in einer gesamten Organisation sein wird.
Schnelle Fakten
| Frage | Kurze Antwort |
|---|---|
| Wozu braucht man einen Piloten? | Prüfung der Lern- und Vermittlungsannahmen vor der Skalierung. |
| Was benötigen Sie, bevor es losgeht? | Eine überprüfbare Frage, eine Aufgabe, eine Ausgangsbasis und Entscheidungskriterien. |
| Was gilt als Transfernachweis? | Leistung bei einer neuen Aufgabe nach Einarbeitungszeit, nicht Zufriedenheit. |
| Benötigen Sie eine Kontrollgruppe? | Nicht immer. Eine Vergleichsgruppe oder eine schrittweise Einführung sind hilfreich, wenn dies machbar und fair ist. |
| Wann legen Sie die Entscheidungskriterien fest? | Bevor Sie sich die Ergebnisse ansehen. |
| Was kann Ihnen der Pilot verschweigen? | Wie groß der Effekt im größeren Maßstab sein wird. |
1. Definieren Sie die Pilotfrage
Beginnen Sie mit einer Frage, die mit Ja oder Nein oder mit einer Zahl beantwortet werden kann, und benennen Sie die Entscheidung, die auf ihrer Grundlage getroffen wird.
Eine schwache Frage: „Funktioniert das neue Einarbeitungsprogramm?“ Eine überprüfbare Frage: „Können neue Mitarbeiter nach der überarbeiteten Einarbeitung eine Standard-Kundeneskalation ohne Hilfe bewältigen, und ist das Pilotprojekt mit der uns zur Verfügung stehenden Schulungszeit praktikabel umsetzbar?“
Schreibe drei Dinge auf:
- Die Aufgabe. Was werden die Menschen tun können, was sie vorher nicht oder nicht gut konnten?
- Die Entscheidung. Werden Sie das Design überarbeiten, einen weiteren Pilotversuch durchführen oder das Projekt breiter einführen?
- Die Annahmen zum Lernen und zur Wissensvermittlung. Welche Annahmen treffen Sie hinsichtlich der Voraussetzungen, des Zeitaufwands, der Coaching-Kapazitäten und der Instrumente, die im Rahmen des Pilotprojekts getestet werden sollen?
Wenn Sie die Entscheidung nicht benennen können, sind Sie noch nicht bereit, das Pilotprojekt zu starten. Das Ergebnis wird eintreten, ohne dass jemand darauf wartet, darauf zu reagieren.
2. Teilnehmer auswählen und Ausgangsmessungen durchführen
Eine Ausgangsbasis liefert Daten darüber, wie die Teilnehmer die Aufgabe vor dem Training bewältigen. Ohne diese Basisbasis gibt es keinen Vergleichspunkt für die „Verbesserung“.
Die Teilnehmer sollten bewusst ausgewählt werden. Wählen Sie Personen aus, die die eigentliche Aufgabe übernehmen und der Zielgruppe ähneln, für die Sie das Projekt planen. Ein Pilotprojekt mit ausschließlich Ihren engagiertesten Freiwilligen wird dem Konzept schmeicheln.
Erfassen Sie die Ausgangswerte. Verwenden Sie dieselbe Messmethode, die Sie später anwenden werden, um die beiden Ergebnisse vergleichen zu können. Mögliche Optionen sind beispielsweise eine kurze Arbeitsprobe, eine strukturierte Beobachtung, eine Überprüfung der letzten Arbeitsergebnisse oder ein bewerteter Fall. Dokumentieren Sie, wer teilgenommen hat, wie viele Personen teilnahmeberechtigt waren und wann die Messung durchgeführt wurde.
Denken Sie an einen Vergleich. Das aussagekräftigste Studiendesign vergleicht Teilnehmende des Pilotprojekts mit ähnlichen Personen, die nicht teilgenommen haben. Dies ist jedoch nicht immer möglich oder fair, insbesondere wenn die Schulung aus Sicherheitsgründen oder zur Einhaltung gesetzlicher Bestimmungen erforderlich ist. Eine schrittweise Einführung stellt eine praktikable Alternative dar: Eine Gruppe beginnt jetzt, eine ähnliche Gruppe folgt später, und die spätere Gruppe dient als Vergleichsgruppe für die erste. Unabhängig von Ihrer Wahl sollten Sie im Plan begründen, warum dieser für alle Beteiligten fair ist.
3. Den Lernprozess durchführen und dokumentieren
Beweise sind nur dann nützlich, wenn Sie wissen, was geliefert wurde. Führen Sie ein einfaches Protokoll über den Ablauf, denn Kosten und Aufwand der Lieferung sind Teil dessen, was im Rahmen des Pilotprojekts getestet wird.
Aufzeichnung:
- Vorbereitung. Was haben die Teilnehmer vor den Sitzungen gemacht, und wie lange hat das gedauert?
- Praxis. Welche Fallstudien oder Übungen haben sie bearbeitet und welches Feedback haben sie erhalten?
- Coaching. Wer hat das Coaching geleitet, wie lange und fand es live oder asynchron statt?
- Betriebliche Änderungen. Alles andere, was sich während der Pilotphase geändert hat, wie zum Beispiel ein neues Tool, eine geänderte Unternehmenspolitik, ein saisonaler Ansturm oder ein Wechsel des Managers.
- Produktkonfiguration und Kosten. Die konkrete Konfiguration, die Sie verwendet haben, sowie der Zeit- und Kostenaufwand für die Umsetzung.
Die letzten beiden Punkte sind für die Entscheidung über die Einführung am wichtigsten. Ein Design, das nur mit einem Coaching-Niveau funktioniert, das Sie sich in großem Umfang nicht leisten können, hat Ihnen etwas Wertvolles gelehrt, und das Protokoll zeigt es.
4. Beurteilung der Leistung bei der neuen Aufgabe und des Transfers
Die Evaluation von Trainingsmaßnahmen wird häufig anhand der vier Ebenen des Kirkpatrick-Modells beschrieben: Reaktion, Lernen, Verhalten und Ergebnisse (Kirkpatrick PartnersEin Pilotprojekt sollte über die erste Ebene hinausgehen. Reaktionen, also ob die Teilnehmer es als nützlich empfanden, lassen sich zwar schnell erfassen, sagen aber wenig darüber aus, ob sie ihr Verhalten ändern werden.
Testen Sie das Gelernte anhand einer neuen Aufgabe. Geben Sie den Teilnehmenden einen Fall, den sie noch nicht geübt haben, und bewerten Sie ihn anhand derselben Kriterien wie zu Beginn der Studie. Eine neue Aufgabe zeigt, ob die Teilnehmenden das Gelernte anwenden können, nicht ob sie sich an ein Beispiel erinnern.
Nachuntersuchung nach Exposition am Arbeitsplatz. Transfer bedeutet, das Gelernte im Berufsalltag anzuwenden und langfristig zu erhalten. Baldwin und Ford definieren in ihrer vielzitierten Studie von 1988 Transfer als sowohl die Generalisierung des Gelernten auf die berufliche Tätigkeit als auch dessen langfristige Aufrechterhaltung und untersuchen, wie sich Trainingsgestaltung, Merkmale der Auszubildenden und das Arbeitsumfeld darauf auswirken.Baldwin und Ford, 1988Planen Sie also eine Nachkontrolle, nachdem die Mitarbeiter tatsächlich gearbeitet haben, beispielsweise einige Wochen später, und messen Sie dieselbe Aufgabe erneut.
Rekordbarrieren. Wenn jemand den neuen Ansatz im Arbeitsalltag nicht anwendet, sollte man nach den Gründen fragen. Möglicherweise fehlt ein Hilfsmittel, eine Führungskraft erwartet die alte Vorgehensweise oder es fehlt einfach die Zeit. Solche Erkenntnisse geben Aufschluss über das Arbeitsumfeld und sind kein Versagen des Lernenden.
Aus Zufriedenheit darf kein Transfer abgeleitet werden. Eine gute Feedback-Bewertung ist es wert, festgehalten zu werden. Sie zeigt nicht an, dass sich das Verhalten geändert hat.
5. Entscheiden Sie, wie sich die Ergebnisse auf die Einführung auswirken.
Formulieren Sie die Entscheidungskriterien, bevor Sie sich die Ergebnisse ansehen. Andernfalls findet man leicht einen Grund, mit dem Gesehenen fortzufahren.
Eine einfache Struktur:
| Wenn der Pilot zeigt | Dann |
|---|---|
| Die Aufgabenleistung wurde verbessert, der Transfer gelang, die Lieferung war möglich | Planen Sie eine breitere Einführung und messen Sie weiter. |
| Die Aufgabenleistung verbesserte sich, der Transfer wurde jedoch durch das Arbeitsumfeld behindert. | Repariere die Barriere und starte dann einen zweiten Piloten. |
| Bei der neuen Aufgabe hat sich wenig geändert. | Überarbeiten Sie das Design vor jeder weiteren Produktionsphase. |
| Lieferkosten oder Coachingzeit waren nicht realisierbar | Überarbeiten Sie die Art der Durchführung und führen Sie dann einen neuen Pilotversuch durch. |
Seien Sie ehrlich hinsichtlich der Leistungsfähigkeit einer kleinen Gruppe. Betrachten Sie die Zahlen als Richtwerte, geben Sie die Gruppengröße und den Nenner an und vermeiden Sie Effektstärken oder Garantien. Erläutern Sie, welche anderen Veränderungen gleichzeitig stattgefunden haben, bevor Sie die Schulung als Erfolg würdigen.
Eine Pilotmessvorlage
Zur Veranschaulichung. Ein Anwender dieser Arbeitsweise sollte die Anleitung vor der Anwendung prüfen.
| Abschnitt | Was man aufschreiben sollte |
|---|---|
| Pilotenfrage | Die zu prüfende Frage und die daraus resultierende Entscheidung. |
| Aufgabe | Die neue Aufgabe, die die Teilnehmer erfüllen sollen, und wie diese bewertet wird. |
| Teilnehmer | Wer ist eingeschlossen, wie viele waren teilnahmeberechtigt und gibt es eine Vergleichsgruppe? |
| Baseline | Die Maßnahme, das Datum und die Ergebnisse vor dem Training. |
| Lernreise | Vorbereitung, Übung, Coaching, Zeitaufwand und Kosten. |
| Gleichzeitige Änderungen | Gibt es sonst noch etwas, das sich während der Pilotphase geändert hat? |
| Ergebnis der neuen Aufgabe | Ergebnisse bei einer Aufgabe, die während der Pilotphase nicht geübt wurde. |
| Begleitung | Zeitpunkt, erreichte Personen und Ergebnisse nach der Exposition am Arbeitsplatz. |
| Barriers | Was hat die Menschen davon abgehalten, das Gelernte anzuwenden? |
| Entscheidungskriterien | Die Schwellenwerte, die Sie vor der Ergebnisprüfung festlegen. |
| Ergebnis | Überarbeiten, erneut testen oder einführen – und warum? |
Wo interaktive Bereitstellung hilft
Interaktive Formate eignen sich für die Übungsphase eines Pilotprojekts, da sich jede Person auf eine Antwort festlegt, bevor sie die der Gruppe sieht. So erhalten Sie eine Dokumentation der Argumentationswege und nicht nur der Anwesenheit. Ein Moderator kann einen Fall live leiten, und derselbe Fall kann im Selbststudium zur Vorbereitung oder Nachbereitung genutzt werden. AhaSlides unterstützt interaktives Lernen und den Wechsel zwischen Live- und Selbstlernphasen. Überprüfen Sie alle Funktionen zur Erstellung von Inhalten, Feedback oder Berichten, die Sie nutzen möchten, anhand Ihres eigenen Arbeitsablaufs und betrachten Sie KI-, Simulations- und Integrationsfunktionen als extern oder unbestätigt, bis Sie deren Funktionsfähigkeit getestet haben. Informationen zur Auswahl des Formats finden Sie hier: Wann sollte man adaptives, interaktives und Live-Lernen einsetzen?Um Aktivitäten den Denkprozessen zuzuordnen, die Sie messen möchten, sehen Sie sich unseren Leitfaden an. Zuordnung von Lernaktivitäten zu Blooms Taxonomie.
Einschränkungen, die möglicherweise bestehen bleiben
Selbst eine gut konzipierte Pilotfolge lässt einige Fragen offen:
- Kleine Zahlen. Ein Pilotprojekt zeigt Machbarkeit und Richtung auf, nicht aber, wie groß der Effekt im großen Maßstab sein wird.
- Arbeitsumgebung. Menschen können bei einer neuen Aufgabe gute Leistungen erbringen und sie trotzdem nicht im Arbeitsalltag einsetzen, wenn ihr Vorgesetzter, die bereitgestellten Tools oder die Anreize in eine andere Richtung weisen.
- Timing. Eine Nachuntersuchung nach einigen Wochen zeigt nicht, was nach sechs Monaten noch vorhanden ist.
- Gleichzeitige Änderung. Andere Veränderungen im gleichen Zeitraum können einen Teil der Verbesserung erklären.
- Auswahl. Die Freiwilligen können sich von denjenigen unterscheiden, denen Sie das Angebot unterbreiten.
Planen Sie separate Korrekturen für diese Punkte und teilen Sie den Sponsoren mit, welche Fragen im Rahmen der Pilotfolge nicht geklärt wurden.
Häufig gestellte Fragen
Wie groß sollte ein Ausbildungspilot sein?
Groß genug, um die praktische Umsetzbarkeit und Messbarkeit des Designs zu testen, und klein genug, um kostengünstige Änderungen zu ermöglichen. Es gibt keine allgemeingültige optimale Gruppengröße. Geben Sie die Gruppengröße an und betrachten Sie jedes Ergebnis als Richtwert.
Benötige ich eine Kontrollgruppe, um ein Trainingsprogramm zu evaluieren?
Eine Vergleichsgruppe stärkt zwar die Aussagekraft der Ergebnisse, ist aber nicht immer praktikabel oder fair. Eine Basislinie mit anschließender schrittweiser Einführung, bei der eine ähnliche Gruppe später hinzukommt, stellt eine sinnvolle Alternative dar.
Wann sollte ich den Transfer messen?
Nachdem die Mitarbeiter Zeit und Gelegenheit hatten, das Gelernte im Arbeitsalltag anzuwenden, sollte man ihnen mindestens ein paar Wochen Zeit geben. Anschließend sollte man dieselbe Aufgabe erneut bewerten und nach den Hindernissen fragen, die jemanden von der Anwendung abgehalten haben.
Ist Zufriedenheit ein sinnvolles Messkriterium?
Es ist zwar hilfreich, um die Benutzererfahrung zu verbessern, aber kein Beweis für einen Lernerfolg. Kombinieren Sie es mit der Leistung bei einer neuen Aufgabe.
Wo soll ich anfangen
Wählen Sie eine wichtige Aufgabe aus und formulieren Sie die Entscheidung, die auf den Ergebnissen des Pilotprojekts basieren soll. Beobachten Sie anhand einer kurzen Arbeitsprobe oder eines bewerteten Fallbeispiels, wie einige wenige Personen diese Aufgabe aktuell ausführen. Legen Sie anschließend Ihre Entscheidungskriterien fest, bevor das Pilotprojekt beginnt, und tragen Sie den Folgetermin in Ihren Kalender ein.
Um zu sehen, wie ein Übungsfall live mit Ihrem eigenen Team durchgeführt und anschließend im eigenen Tempo wiederverwendet werden kann, erkunden Sie AhaSlides.
