Pilotaż dobiega końca. Wzięło w nim udział dwanaście osób, prawie wszystkie uznały go za przydatny, a koordynator jest zadowolony. Następnie kierownik operacyjny zadaje uczciwe pytanie: „Czy ktoś wykonywał swoją pracę inaczej?”. Nikt nie oceniał, jak ludzie pracowali przed pilotażem, nikt ich z nikim nie porównywał, a zespół zmienił swój proces w tym samym miesiącu. Pilotaż przyniósł dobrą wolę, a nie dowody.
To przykładowy scenariusz, a nie udokumentowany przypadek klienta. Pokazuje on częsty błąd w ocenie programów szkoleniowych: program pilotażowy jest uruchamiany, ale nigdy nie został zaprojektowany w celu udzielenia odpowiedzi na pytanie.
Ten przewodnik jest przeznaczony dla kierowników ds. szkoleń i rozwoju (L&D), projektantów materiałów dydaktycznych i menedżerów ds. szkoleń. Obejmuje pięć kroków: zdefiniowanie pytania pilotażowego, wybór uczestników i mierników bazowych, udokumentowanie ścieżki edukacyjnej, ocenę realizacji nowych zadań i transferu oraz ustalenie, jak wyniki wpłyną na wdrożenie. Na końcu znajduje się szablon, który można dostosować, oraz opis ewentualnych ograniczeń.
Czym jest pilot szkoleniowy?
Pilotaż szkoleniowy to krótki, ograniczony czasowo test projektu szkoleniowego, który jest przeprowadzany przed wdrożeniem go na dużą skalę. Jego zadaniem jest sprawdzenie, czy projekt jest wykonalny i co warto w nim rozwijać, a nie udowodnienie, że sprawdza się wszędzie.
To rozróżnienie ma znaczenie. Amerykańskie Narodowe Centrum Zdrowia Komplementarnego i Integracyjnego opisuje badanie pilotażowe jako test na małą skalę metod i procedur, które mają być stosowane na większą skalę, i ostrzega, że badanie pilotażowe nie jest w stanie odpowiedzieć na pytania dotyczące skuteczności, więc każdy efekt, który wydaje się wskazywać, jest niestabilny (NCCIH, Badania pilotażowe: Typowe zastosowania i niewłaściwe zastosowania). Te wytyczne zostały napisane z myślą o badaniach nad zdrowiem, ale logika jest tu zachowana. Program pilotażowy z udziałem dwunastu osób może powiedzieć, czy można rekrutować, dostarczać, mierzyć i monitorować wyniki. Nie da się jednak z całą pewnością określić, jak duży będzie wpływ na całą organizację.
Szybkie fakty
| Question | Krótka odpowiedź |
|---|---|
| Do czego służy pilot? | Testowanie założeń dotyczących uczenia się i dostarczania treści przed skalowaniem. |
| Czego potrzebujesz zanim zaczniesz? | Pytanie sprawdzające, zadanie, punkt wyjścia i kryteria decyzyjne. |
| Co uznaje się za dowód przeniesienia? | Wydajność w nowym zadaniu po zapoznaniu się z pracą, a nie satysfakcja. |
| Czy potrzebujesz grupy kontrolnej? | Nie zawsze. Grupa porównawcza lub stopniowe wdrażanie pomagają, gdy jest to wykonalne i sprawiedliwe. |
| Kiedy ustalasz kryteria decyzyjne? | Zanim spojrzysz na jakiekolwiek wyniki. |
| Czego pilot nie może ci powiedzieć? | Jak duży będzie efekt na dużą skalę. |
1. Zdefiniuj pytanie pilotażowe
Zacznij od pytania, na które można odpowiedzieć tak lub nie, ewentualnie podając liczbę, a następnie podaj decyzję, którą ono wywoła.
Słabe pytanie: „Czy nowy program wdrażania działa?”. Można je jednak przetestować: „Czy po przeprojektowaniu programu wdrażania nowi pracownicy poradzą sobie ze standardową eskalacją klienta bez pomocy i czy program pilotażowy jest praktyczny w kontekście czasu, jaki mamy na coaching?”.
Zapisz trzy rzeczy:
- Zadanie. Co ludzie będą w stanie zrobić, czego nie potrafili zrobić lub nie robili dobrze wcześniej?
- Decyzja. Czy zrewidujecie projekt, przeprowadzicie kolejny projekt pilotażowy czy wdrożycie go na szerszą skalę?
- Założenia dotyczące uczenia się i przekazywania treści. Jakie są Twoje założenia co do wymagań wstępnych, czasu, możliwości szkoleniowych i narzędzi, które pilot powinien przetestować?
Jeśli nie potrafisz podjąć decyzji, nie jesteś gotowy do uruchomienia pilotażu. Wynik nadejdzie, gdy nikt nie będzie czekał na jego realizację.
2. Wybierz uczestników i pomiary bazowe
Poziom bazowy to dowód na to, jak ludzie wykonują zadanie przed szkoleniem. Bez niego „poprawa” nie ma sensu.
Dokonuj świadomego wyboru uczestników. Wybierz osoby, które wykonają konkretne zadanie i będą przypominać grupę, której chcesz je przekazać. Pilotaż z udziałem tylko najbardziej entuzjastycznych wolontariuszy będzie bardziej atrakcyjny dla projektu.
Zarejestruj punkt odniesienia. Użyj tego samego rodzaju pomiaru, którego będziesz używać później, aby móc je porównać. Dostępne opcje to krótka próbka pracy, obserwacja strukturalna, przegląd ostatnich wyników lub punktowany przypadek. Zapisz, kto został uwzględniony, ile osób kwalifikowało się do pomiaru i kiedy go przeprowadziłeś.
Pomyśl o porównaniu. Najsilniejszy projekt porównuje osoby, które wzięły udział w pilotażu, z podobnymi osobami, które tego nie zrobiły. Nie zawsze jest to możliwe lub sprawiedliwe, zwłaszcza gdy szkolenie jest potrzebne ze względów bezpieczeństwa lub przestrzegania przepisów. Praktyczną alternatywą jest stopniowe wdrażanie: jedna grupa zaczyna teraz, podobna grupa później, a ta druga służy jako punkt odniesienia dla pierwszej. Cokolwiek wybierzesz, uzasadnij w planie, dlaczego jest to sprawiedliwe dla wszystkich zaangażowanych.
3. Przeprowadź i udokumentuj ścieżkę edukacyjną
Dowody są przydatne tylko wtedy, gdy wiesz, co zostało dostarczone. Prowadź przejrzysty dziennik tego, co się wydarzyło, ponieważ koszt i nakład pracy związany z dostarczeniem są częścią testów pilotażowych.
Rekord:
- Przygotowanie. Co ludzie robili przed sesjami i ile to trwało?
- Ćwiczyć. Nad jakimi przypadkami lub ćwiczeniami pracowali i jaką otrzymali informację zwrotną?
- Trening. Kto prowadził zajęcia, jak długo i czy były one prowadzone na żywo czy asynchronicznie?
- Zmiany operacyjne. Wszelkie inne zmiany zachodzące w trakcie pilotażu, na przykład nowe narzędzie, zmiana polityki, sezonowy wzrost zapotrzebowania lub zmiana menedżera.
- Konfiguracja i koszty produktu. Faktyczna konfiguracja, której użyłeś, oraz czas i pieniądze, jakie pochłonęło jej dostarczenie.
Dwa ostatnie czynniki mają największe znaczenie przy podejmowaniu decyzji o wdrożeniu. Projekt, który działa tylko z poziomem coachingu, na który nie możesz sobie pozwolić na dużą skalę, nauczył Cię czegoś cennego, a log jest tego dowodem.
4. Oceń wykonanie nowego zadania i przeniesienie
Ocenę szkolenia często opisuje się za pomocą czterech poziomów modelu Kirkpatricka: reakcji, uczenia się, zachowania i wyników (Kirkpatrick PartnersPilot powinien wyjść poza pierwszy poziom. Reakcja, czy ludzie uznali to za przydatne, jest szybko zbierana, ale niewiele mówi o tym, czy będą postępować inaczej.
Sprawdź swoją wiedzę na nowym zadaniu. Daj uczestnikom przypadek, którego jeszcze nie przećwiczyli, i oceń go według tych samych kryteriów, których użyłeś na początku. Nowe zadanie pokazuje, czy uczestnicy potrafią zastosować zdobytą wiedzę, a nie czy pamiętają przykład.
Dalsze działania po narażeniu na kontakt z pracą. Transfer oznacza zastosowanie zdobytej wiedzy w pracy i jej utrzymanie w czasie. Często cytowany przegląd Baldwina i Forda z 1988 roku definiuje transfer jako zarówno uogólnienie zdobytej wiedzy na dane stanowisko, jak i jej utrzymanie w czasie, a także analizuje wpływ projektu szkolenia, cech uczestników szkolenia i środowiska pracy na ten proces (Baldwin i Ford, 1988). Dlatego zaplanuj kontynuację, gdy ludzie wykonają już jakąś pracę, np. kilka tygodni później, i ponownie zmierz to samo zadanie.
Bariery rekordowe. Jeśli ktoś nie stosuje nowego podejścia w pracy, zapytaj dlaczego. Odpowiedzią może być brak narzędzia, menedżer, który oczekuje starego podejścia, lub zbyt mało czasu. To wnioski dotyczące środowiska pracy, a nie błędy osoby uczącej się.
Nie należy wnioskować o transferze na podstawie satysfakcji. Warto zapisać dobrą ocenę zwrotną. Nie świadczy ona o zmianie zachowania.
5. Zdecyduj, jak wyniki wpłyną na wdrożenie
Zapisz kryteria decyzyjne, zanim spojrzysz na wyniki. W przeciwnym razie łatwo znajdziesz powód, by kontynuować to, co zobaczysz.
Prosta struktura:
| Jeśli pilot pokaże | Następnie |
|---|---|
| Poprawiła się wydajność zadania, transfer został utrzymany, dostawa była możliwa | Zaplanuj szersze wdrożenie i kontynuuj pomiary. |
| Wydajność zadania uległa poprawie, ale transfer został zablokowany przez środowisko pracy | Napraw barierę, a następnie uruchom drugiego pilota. |
| Mała zmiana w nowym zadaniu | Przed dalszym drukiem należy dokonać przeglądu projektu. |
| Koszt dostawy lub czas szkolenia nie były wykonalne | Zaprojektuj na nowo sposób dostarczania usługi, a następnie ponownie przeprowadź pilotaż. |
Bądź szczery co do tego, co może osiągnąć mała grupa. Potraktuj liczby jako orientacyjne, podaj liczebność grupy i mianownik oraz unikaj określania wielkości efektu lub gwarancji. Przed zaliczeniem szkolenia określ, jakie inne zmiany zaszły w tym samym czasie.
Szablon pomiaru pilotażowego
Przykładowe. Osoba wykonująca tę pracę powinna zapoznać się z nią przed jej użyciem.
| Sekcja | Co zapisać |
|---|---|
| Pytanie pilota | Pytanie sprawdzalne i decyzja, którą ono podejmuje. |
| Zadanie | Nowe zadanie, które ludzie powinni wykonać i sposób jego oceniania. |
| Zarejestrowanych | Kto został uwzględniony, ile osób było uprawnionych i jaka jest grupa kontrolna. |
| Baseline | Pomiar, data i wyniki przed treningiem. |
| Podróż edukacyjna | Przygotowanie, praktyka, coaching, czas i koszt. |
| Zmiany współbieżne | Czy coś jeszcze uległo zmianie podczas odcinka pilotażowego? |
| Wynik nowego zadania | Punkty za zadanie niećwiczone w trakcie pilotażu. |
| Uzupełnienie | Czas, osoby, do których dotarto, i wyniki po ekspozycji na pracę. |
| Bariery | Co powstrzymało ludzi przed zastosowaniem zdobytej wiedzy. |
| kryteria decyzyjne | Progi, które ustawiasz przed przeglądaniem wyników. |
| Wynik | Przeprowadź przegląd, ponownie przeprowadź pilotaż lub wdróż, i dlaczego. |
Gdzie interaktywna dostawa pomaga
Formaty interaktywne są odpowiednie na etapie praktycznym pilotażu, ponieważ każda osoba udziela odpowiedzi przed zapoznaniem się z odpowiedziami grupy, co daje zapis argumentacji, a nie tylko obecności. Facylitator może przeprowadzić analizę przypadku na żywo, a ten sam przypadek można wykorzystać w indywidualnym tempie do przygotowania lub kontynuacji. AhaSlides wspiera interaktywną naukę i przełączanie się między trybem rzeczywistym a indywidualnym tempem prowadzenia zajęć. Sprawdź każdą konkretną funkcję tworzenia, przekazywania informacji zwrotnych lub raportowania, na której planujesz polegać, w kontekście własnego procesu pracy, i traktuj funkcje sztucznej inteligencji, symulacji i integracji jako zewnętrzne lub niepotwierdzone, dopóki nie przekonasz się, że działają. Aby wybrać format, zobacz kiedy stosować naukę adaptacyjną, interaktywną i na żywoAby dopasować działania do sposobu myślenia, który chcesz zmierzyć, zapoznaj się z naszym przewodnikiem dopasowywanie działań edukacyjnych do taksonomii Blooma.
Ograniczenia, które mogą pozostać
Nawet dobrze zaprojektowany pilot pozostawia pewne kwestie nierozwiązane:
- Małe liczby. Pilot pokazuje wykonalność i kierunek, ale nie skalę efektu na dużą skalę.
- Środowisko pracy. Ludzie mogą dobrze wykonywać nowe zadanie, a mimo to nie wykorzystywać go w pracy, jeśli ich menedżer, narzędzia lub zachęty wskazują na coś innego.
- Wyczucie czasu. Badanie kontrolne przeprowadzone po kilku tygodniach nie pokaże, co pozostało po sześciu miesiącach.
- Zmiana jednoczesna. Inne zmiany, które zaszły w tym samym okresie, mogą częściowo tłumaczyć poprawę.
- Wybór. Wolontariusze mogą różnić się od osób, którym przydzielisz zadanie.
Zaplanuj osobne rozwiązania dla tych problemów i poinformuj sponsorów, których kwestii program pilotażowy nie rozstrzygnął.
PYTANIA I ODPOWIEDZI
Jak duży powinien być pilot szkoleniowy?
Wystarczająco duża, aby sprawdzić, czy projekt jest praktyczny w realizacji i pomiarze, i wystarczająco mała, aby można ją było tanio modyfikować. Nie ma jednej, prawidłowej liczby. Podaj liczebność grupy i traktuj każdy wynik jako orientacyjny.
Czy potrzebuję grupy kontrolnej do oceny programu szkoleniowego?
Grupa porównawcza wzmacnia dowody, ale nie zawsze jest wykonalna lub sprawiedliwa. Praktyczną alternatywą jest połączenie poziomu bazowego z etapowym wdrażaniem, gdzie podobna grupa rozpoczyna się później.
Kiedy należy mierzyć transfer?
Gdy ludzie będą mieli czas i możliwość zastosowania wiedzy w pracy, daj im co najmniej kilka tygodni. Ponownie przeprowadź pomiar tego samego zadania i zapytaj o bariery, które uniemożliwiały komuś jego wykonanie.
Czy satysfakcja jest użyteczną miarą?
Jest to przydatne dla poprawy doświadczenia, ale nie stanowi dowodu na transfer. Połącz to z wynikami w nowym zadaniu.
Gdzie zacząć
Wybierz jedno ważne zadanie i zapisz decyzję, którą pilot przedstawi. Zapisz, jak garstka osób wykonała je dzisiaj, korzystając z krótkiej próbki pracy lub punktowanego przypadku. Następnie zapisz kryteria decyzyjne przed rozpoczęciem pilotażu i zarezerwuj termin kolejnego spotkania w kalendarzu.
Aby zobaczyć, jak można przeprowadzić ćwiczenie na żywo z udziałem własnego zespołu, a następnie wykorzystać je ponownie w indywidualnym tempie, zapoznaj się z AhaSlides.
