Pilot uygulama sona erdi. On iki kişi katıldı, neredeyse hepsi faydalı olduğunu söyledi ve kolaylaştırıcı da memnun kaldı. Ardından operasyon müdürü haklı bir soru sordu: "Acaba birileri işini farklı mı yaptı?" Pilot uygulamadan önce kimse insanların nasıl çalıştığını ölçmedi, kimse onları başkalarıyla karşılaştırmadı ve ekip aynı ay içinde sürecini değiştirdi. Pilot uygulama kanıt değil, iyi niyet üretti.
Bu, belgelenmiş bir müşteri vakası değil, örnek bir senaryodur. Eğitim programlarının değerlendirilmesinde sıkça karşılaşılan bir hatayı göstermektedir: pilot uygulama yapılır, ancak bu uygulama hiçbir zaman bir soruyu yanıtlamak üzere tasarlanmamıştır.
Bu kılavuz, Eğitim ve Gelişim yöneticileri, eğitim tasarımcıları ve eğitim müdürleri içindir. Beş adımı kapsar: pilot soruyu tanımlama, katılımcıları ve temel ölçütleri seçme, öğrenme yolculuğunu kaydetme, yeni görev performansını ve aktarımını değerlendirme ve sonuçların yaygınlaştırmayı nasıl etkileyeceği konusunda anlaşmaya varma. Uyarlayabileceğiniz bir şablon ve kalan kısıtlamalarla sona erer.
Eğitim pilotu nedir?
Eğitim pilot uygulaması, bir öğrenme tasarımını geniş ölçekte uygulamaya geçmeden önce, sınırlı süreli ve küçük ölçekli bir deneme uygulamasıdır. Amacı, tasarımın uygulanabilir olup olmadığını ve üzerinde çalışmaya değer olup olmadığını belirlemektir; her yerde işe yaradığını kanıtlamak değildir.
Bu ayrım önemlidir. ABD Ulusal Tamamlayıcı ve Bütünleyici Sağlık Merkezi, pilot çalışmayı, daha büyük ölçekte kullanılacak yöntem ve prosedürlerin küçük ölçekli bir testi olarak tanımlar ve bir pilot çalışmanın etkinliğe ilişkin soruları yanıtlayacak güce sahip olmadığını, bu nedenle gösterdiği herhangi bir etkinin istikrarsız olduğunu belirtir.NCCIH, Pilot Çalışmalar: Yaygın Kullanımlar ve Yanlış KullanımlarBu kılavuz sağlık araştırmaları için yazılmış olsa da, mantık genel olarak geçerlidir. On iki kişilik bir pilot çalışma, katılımcı bulup bulamayacağınızı, uygulamayı gerçekleştirip gerçekleştiremeyeceğinizi, ölçüm yapıp yapamayacağınızı ve takip edip edemeyeceğinizi size söyleyebilir. Ancak, bir kuruluşun tamamında etkinin ne kadar büyük olacağını güvenle söyleyemez.
Hızlı gerçekler
| Soru | Kısa cevap |
|---|---|
| Pilot bölümü ne işe yarar? | Ölçeklendirme öncesinde öğrenme ve sunum varsayımlarını test etmek. |
| Başlamadan önce neye ihtiyacınız var? | Test edilebilir bir soru, bir görev, bir temel değer ve karar kriterleri. |
| Transfer kanıtı olarak ne sayılır? | İş deneyiminden sonra yeni bir görevdeki performans, memnuniyetten ziyade performans göstergesidir. |
| Kontrol grubuna ihtiyacınız var mı? | Her zaman değil. Mümkün ve adil olduğunda karşılaştırma grubu veya aşamalı uygulama yardımcı olur. |
| Karar kriterlerini ne zaman belirliyorsunuz? | Sonuçlara bakmadan önce. |
| Pilot size neleri söyleyemez? | Etkinin geniş ölçekte ne kadar büyük olacağı. |
1. Pilot soruyu tanımlayın.
Evet, hayır veya bir sayı ile yanıtlanabilecek bir soruyla başlayın ve bu sorunun etkileyeceği kararı belirtin.
Zayıf bir soru: "Yeni işe alım programı işe yarıyor mu?" Test edilebilir bir soru: "Yeniden tasarlanan işe alım programından sonra, yeni başlayanlar standart bir müşteri şikayetini yardım almadan halledebilir mi ve sahip olduğumuz koçluk süresiyle pilot uygulama gerçekleştirilebilir mi?"
Üç şeyi yazın:
- Görev. İnsanlar daha önce yapamadıkları veya iyi yapamadıkları hangi şeyleri yapabilecekler?
- Karar. Tasarımı yeniden gözden geçirecek misiniz, başka bir pilot uygulama mı yapacaksınız yoksa daha geniş çaplı bir kullanıma mı sunacaksınız?
- Öğrenme ve sunum varsayımları. Pilot uygulamanın test etmesi gereken ön koşullar, süre, koçluk kapasitesi ve araçlar hakkında ne gibi varsayımlarda bulunuyorsunuz?
Kararı adlandıramıyorsanız, pilot uygulamayı yürütmeye hazır değilsiniz demektir. Sonuç, üzerinde harekete geçmeyi bekleyen kimse olmadan gelecektir.
2. Katılımcıları ve başlangıç ölçümlerini seçin.
Temel performans göstergesi, insanların eğitimden önce görevi nasıl yerine getirdiklerine dair kanıttır. Bu olmadan, "gelişme"nin karşılaştırılacak bir noktası olmaz.
Katılımcıları bilinçli bir şekilde seçin. Gerçek görevi yapan ve uygulamayı hayata geçirmeyi planladığınız gruba benzeyen kişileri seçin. Sadece en hevesli gönüllülerinizle yapılacak bir pilot uygulama, tasarımın kalitesini düşürecektir.
Başlangıç değerini kaydedin. Daha sonra kullanacağınız ölçütle aynı ölçütü kullanın, böylece ikisi karşılaştırılabilir. Seçenekler arasında kısa bir iş örneği, yapılandırılmış bir gözlem, son çıktıların incelenmesi veya puanlandırılmış bir vaka yer alır. Kimlerin dahil edildiğini, kaç kişinin uygun olduğunu ve ölçümü ne zaman yaptığınızı kaydedin.
Bir karşılaştırma düşünün. En güçlü tasarım, pilot uygulamaya katılan kişileri, katılmayan benzer kişilerle karşılaştırır. Bu her zaman mümkün veya adil değildir, özellikle de eğitim güvenlik veya uyumluluk için gerekli olduğunda. Aşamalı bir uygulama pratik bir alternatiftir: bir grup şimdi başlar, benzer bir grup daha sonra başlar ve daha sonraki grup ilk grup için bir karşılaştırma görevi görür. Ne seçerseniz seçin, planınızda bunun ilgili kişiler için neden adil olduğunu belirtin.
3. Öğrenme yolculuğunu sunun ve kaydedin.
Kanıtlar ancak neyin teslim edildiğini biliyorsanız işe yarar. Olan biteni açık ve net bir şekilde kaydedin, çünkü teslimatın maliyeti ve çabası pilot testlerin bir parçasıdır.
Kayıt:
- Hazırlık. Seanslardan önce insanlar neler yaptı ve bu ne kadar sürdü?
- Uygulama. Hangi vakaları veya alıştırmaları incelediler ve ne tür geri bildirimler aldılar?
- Antrenörlük. Koçluk görevini kim üstlendi, ne kadar süreyle ve canlı mıydı yoksa eş zamanlı olmayan (anenkron) mıydı?
- Operasyonel değişiklikler. Pilot uygulama sırasında meydana gelen diğer değişiklikler, örneğin yeni bir araç, politika değişikliği, mevsimsel yoğunluk veya yönetici değişikliği gibi durumlar.
- Ürün konfigürasyonu ve maliyetleri. Kullandığınız gerçek kurulum ve bunun teslimatı için harcanan zaman ve para.
Son iki madde, yaygınlaştırma kararı için en önemli olanlardır. Ölçekli üretimde karşılayamayacağınız bir koçluk seviyesiyle ancak işe yarayan bir tasarım size değerli bir şey öğretmiştir ve kayıtlar bunu gösterir.
4. Yeni görev performansını değerlendirin ve aktarın.
Eğitim değerlendirmesi genellikle Kirkpatrick modelinin dört seviyesiyle açıklanır: tepki, öğrenme, davranış ve sonuçlar (Kirkpatrick OrtaklarıBir pilot uygulama ilk seviyenin ötesine geçmelidir. İnsanların bunu faydalı bulup bulmadığına dair tepkiler hızlıca toplanır, ancak bu, farklı davranıp davranmayacakları konusunda çok az şey söyler.
Yeni bir görev üzerinde öğrenmeyi test edin. Katılımcılara daha önce pratik yapmadıkları bir vaka verin ve temel değerlendirmede kullandığınız aynı kriterlerle puanlayın. Yeni görev, insanların bir örneği hatırlayıp hatırlamadıklarını değil, öğrendiklerini uygulayıp uygulayamadıklarını gösterir.
İş yerinde maruz kalma sonrasında takip yapılmalıdır. Aktarım, öğrenilenlerin işte uygulanması ve zaman içinde sürdürülmesi anlamına gelir. Baldwin ve Ford'un sıklıkla alıntılanan 1988 tarihli incelemesi, aktarımı hem öğrenilen materyalin işe genelleştirilmesi hem de zaman içinde korunması olarak tanımlar ve eğitim tasarımının, stajyer özelliklerinin ve çalışma ortamının bunu nasıl etkilediğine bakar.Baldwin ve Ford, 1988Dolayısıyla, örneğin birkaç hafta sonra, insanların gerçek anlamda iş yaptıktan sonra bir takip çalışması planlayın ve aynı görevi tekrar ölçün.
Rekor engelleri. Eğer birisi iş yerinde yeni yaklaşımı kullanmıyorsa, nedenini sorun. Cevap, eksik bir araç, eski yöntemi bekleyen bir yönetici veya yetersiz zaman olabilir. Bunlar, öğrenenin başarısızlığı değil, çalışma ortamıyla ilgili bulgulardır.
Memnuniyetten transfer çıkarımı yapmayın. İyi bir geri bildirim puanı kaydetmeye değer. Ancak bu, davranışın değiştiğini göstermez.
5. Sonuçların uygulama sürecini nasıl etkileyeceğine karar verin.
Sonuçlara bakmadan önce karar kriterlerini yazın. Aksi takdirde, gördüğünüz her şeye devam etmek için bir neden bulmanız kolay olur.
Basit bir yapı:
| Eğer pilot bölüm gösterirse | Sonra |
|---|---|
| Görev performansı iyileşti, transfer gerçekleştirildi, teslimat mümkün oldu. | Daha geniş çaplı bir uygulama planlayın ve ölçümlere devam edin. |
| Görev performansı iyileşti, ancak iş ortamı bilgi aktarımını engelledi. | Engeli düzeltin, ardından ikinci bir pilot uygulama gerçekleştirin. |
| Yeni görevde pek bir değişiklik yok. | Sonraki çalıştırmalardan önce tasarımı gözden geçirin. |
| Teslimat maliyeti veya koçluk süresi uygun değildi. | Sunum şeklini yeniden tasarlayın, ardından tekrar pilot uygulama yapın. |
Küçük bir grubun neleri destekleyebileceği konusunda dürüst olun. Sayıları gösterge niteliğinde kabul edin, grup boyutunu ve paydayı bildirin ve etki büyüklüklerinden veya garantilerden kaçının. Eğitimin başarısını belirtmeden önce aynı anda hangi diğer değişikliklerin gerçekleştiğini açıklayın.
Bir pilot ölçüm şablonu
Örnek niteliğindedir. Bu çalışmayı yapan bir uzmanın kullanmadan önce incelemesi gerekir.
| Bölüm | Neleri yazmalısınız? |
|---|---|
| Pilot sorusu | Test edilebilir soru ve bu sorunun yol açtığı karar. |
| Görev | Yeni görevin nasıl yerine getirileceği ve nasıl değerlendirileceği. |
| Katılımcılar | Kimler dahil edildi, kaç kişi uygunluk kriterlerini karşıladı ve herhangi bir karşılaştırma grubu var mı? |
| Temel | Ölçüm, tarih ve antrenman öncesi puanlar. |
| Öğrenme yolculuğu | Hazırlık, uygulama, koçluk, zaman ve maliyet. |
| Eş zamanlı değişiklikler | Pilot bölüm sırasında değişen başka bir şey var mı? |
| Yeni görev sonucu | Pilot uygulama sırasında denenmeyen bir göreve ilişkin puanlar. |
| Takip | Zamanlama, ulaşılan kişiler ve iş yerinde maruz kalındıktan sonraki puanlar. |
| Bariyerler | İnsanların öğrendiklerini uygulamalarını engelleyen neydi? |
| karar kriterleri | Sonuçları incelemeden önce belirlediğiniz eşik değerler. |
| Sonuç | Gözden geçirme, yeniden pilot uygulama veya doğrudan kullanıma sunma ve nedenleri. |
Etkileşimli sunumun yardımcı olduğu yerler
Etkileşimli formatlar, pilot uygulamanın pratik aşamasına uygundur çünkü her katılımcı grubun cevabını görmeden önce bir cevaba karar verir; bu da size yalnızca katılımın değil, akıl yürütmenin de kaydını verir. Bir kolaylaştırıcı, bir vakayı canlı olarak yürütebilir ve aynı vaka, hazırlık veya takip için kendi hızınızda kullanılabilir. AhaSlides, etkileşimli öğrenmeyi ve canlı ile kendi hızınızda sunum arasında geçişi destekler. Kullanmayı planladığınız herhangi bir özel yazma, geri bildirim veya raporlama işlevini kendi iş akışınıza göre kontrol edin ve yapay zeka, simülasyon ve entegrasyon özelliklerini, çalıştıklarını görene kadar harici veya onaylanmamış olarak değerlendirin. Formatlar arasında seçim yapmak için bkz. Uyarlanabilir, etkileşimli ve canlı öğrenmeyi ne zaman kullanmalı?Ölçmek istediğiniz düşünme becerisine uygun etkinlikleri belirlemek için kılavuzumuza bakın. Öğrenme etkinliklerini Bloom Taksonomisi ile eşleştirmek.
Kalabilecek kısıtlamalar
İyi tasarlanmış bir pilot bölüm bile bazı şeyleri çözümsüz bırakır:
- Az sayıda. Bir pilot proje, uygulanabilirliği ve yönü gösterir, ancak büyük ölçekte etkisinin ne kadar büyük olacağını göstermez.
- Çalışma ortamı. İnsanlar yeni görevi iyi bir şekilde yerine getirebilirler, ancak yöneticileri, araçları veya teşvikleri aksini gösteriyorsa, bu görevi iş yerinde kullanmayabilirler.
- Zamanlama. Birkaç hafta sonra yapılan takip muayenesi, altı ay sonra ne durumda olduğunu göstermez.
- Eş zamanlı değişim. Aynı dönemdeki diğer değişiklikler de iyileşmenin bir kısmını açıklayabilir.
- Seçim. Gönüllü olan kişiler, dağıtım yapacağınız kişilerden farklı olabilir.
Bunlar için ayrı ayrı düzeltmeler planlayın ve pilot uygulamanın hangi sorunları çözmediğini sponsorlara bildirin.
Sık Sorulan Sorular
Eğitim amaçlı kullanılan bir pilotun boyu ne kadar olmalı?
Tasarımın uygulanabilirliğini ve ölçümünün pratik olup olmadığını test etmek için yeterince büyük, ancak ucuz bir şekilde değiştirilebilecek kadar küçük. Tek bir doğru sayı yok. Grup boyutunu bildirin ve herhangi bir sonucu gösterge olarak değerlendirin.
Bir eğitim programını değerlendirmek için kontrol grubuna ihtiyacım var mı?
Karşılaştırma grubu kanıtları güçlendirir, ancak her zaman mümkün veya adil değildir. Benzer bir grubun daha sonra başladığı aşamalı bir uygulama, pratik bir alternatiftir.
Transfer oranını ne zaman ölçmeliyim?
İnsanlar öğrendiklerini iş yerinde uygulama fırsatı bulduktan sonra, yani en az birkaç hafta bekleyin. Aynı görevi tekrar ölçün ve kimsenin kullanmasını engelleyen engelleri sorun.
Memnuniyet yararlı bir ölçüt müdür?
Deneyimi iyileştirmek için faydalıdır, ancak aktarımın kanıtı değildir. Bunu yeni bir görevdeki performansla birlikte değerlendirin.
Nerede başlar
Önemli olan bir görevi seçin ve pilot çalışmanın temel alacağı kararı yazın. Kısa bir iş örneği veya puanlandırılmış bir vaka kullanarak, birkaç kişinin bu görevi bugün nasıl yerine getirdiğini kaydedin. Ardından, pilot çalışma başlamadan önce karar kriterlerinizi yazın ve takip tarihini ajandanıza kaydedin.
Bir uygulama örneğinin kendi ekibinizle nasıl canlı olarak uygulanabileceğini ve sonrasında kendi hızınızda nasıl yeniden kullanılabileceğini görmek için AhaSlides'ı inceleyin.
