Bir eğitim yöneticisi Pazartesi günü öğrenme panosunu açıyor. Tamamlama oranı %96. Ortalama memnuniyet 5 üzerinden 4.5. Ardından bir ekip lideri rahatsız edici bir soru soruyor: "İnsanlar bu müşteri şikayetlerini farklı şekilde mi ele alıyor?" Panonun cevabı yok. Kursun tamamlandığını kaydediyor, iş yerinde herhangi bir değişiklik olduğunu değil.
Eğitim ölçümlerinin çoğunun açık bıraktığı boşluk işte budur. Tamamlama oranı size kimin sona ulaştığını söyler. Ancak kimin beceriyi öğrendiğini, kimin kullandığını veya işletmenin ilerleyip ilerlemediğini söylemez. Bu kılavuz, her kursun tam bir nedensel yatırım getirisi (ROI) çalışmasına ihtiyaç duyduğunu varsaymadan, herhangi bir program için doldurabileceğiniz bir kanıt hiyerarşisi ve tek sayfalık bir ölçüm planı sunar.
Yukarıdaki açılış senaryosu örnek niteliğindedir, belgelenmiş bir müşteri vakası değildir.
Hızlı gerçekler
| Soru | Kısa cevap |
|---|---|
| Tamamlama oranlarında ne sorun var? | Katılımı ölçüyorlar, öğrenmeyi veya iş başındaki değişimi değil. |
| Bunun yerine neyi ölçmelisiniz? | Hedeflere yönelik öğrenme, işe aktarma, ardından bağlam içinde operasyonel sonuçlar. |
| Her kursun yatırım getirisi analizine ihtiyacı var mı? | Hayır. Kanıtların derinliği, verilecek kararla orantılı olmalıdır. |
| Ölçüm planında neler yer alır? | Sonuç, ölçü, kaynak, payda, zamanlama ve sahip |
1. Verilerin desteklemesi gereken kararı tanımlayın.
Bir ölçüt seçmeden önce, bu ölçütün hangi kararı etkileyeceğini belirleyin. Yaygın olarak kullanılan üç ölçüt farklı kanıtlar gerektirir:
- Programı iyileştirin. Öğrencilerin nerede zorlandığını bilmeniz gerekiyor; bu nedenle, geçme notundan ziyade madde düzeyindeki ve görev düzeyindeki sonuçlar daha önemlidir.
- Hazırlık durumunu teyit edin. Bir kişinin belirli bir görevi önceden belirlenmiş bir standarda göre yerine getirebildiğine dair kanıta ihtiyacınız vardır; bu genellikle gözlem veya puanlandırılmış bir görev yoluyla yapılır.
- Bir uygulamanın hayata geçirilmesini değerlendirin. Grupları veya dönemleri karşılaştırmanız gerektiğinden, tutarlı ölçümler, paydalar ve zamanlama son derece önemlidir.
Verilerin hangi kararı desteklediğini söyleyemiyorsanız, her şeyi toplarsınız ama çok az sonuca varırsınız. Kısa bir test: Sonuç kötü çıksaydı, neyi farklı yapardınız? Cevap "hiçbir şey" ise, bu ölçüt amacına ulaşamamıştır.
2. Öğrenmeyi hedeflere göre ölçün.
Ders içeriğinden değil, iş görevinden başlayın. Hedefi, bir kişinin yapacağı bir şey olarak yazın ("anlaşılan kriterleri kullanarak üst düzey bir şikayeti önceliklendirmek"), ardından değerlendirmeyi buna uygun şekilde tasarlayın. Carnegie Mellon Eberly Merkezi, temel noktayı açıkça ortaya koyuyor: değerlendirmeler, hedefler ve öğretim faaliyetleri birbirini desteklemeli ve yalnızca olgusal hatırlamayı değerlendirirken analitik becerileri öğretmek, öğrencilerin yanlış şeyi uygulamalarına yol açar.Eberly Merkezi'nin değerlendirmeleri, hedefleri ve öğretim stratejilerini uyumlu hale getirme konusundaki rehberliği).
Pratikte bu size üç tasarım seçeneği sunar:
- Bir başlangıç noktası belirleyin. Eğitime başlamadan önce görevi değerlendirin veya kısa bir teşhis testi yapın, böylece her öğrencinin nereden başladığını bilirsiniz. Bir başlangıç noktası olmadan, eğitim sonrası iyi bir puan, yalnızca önceki beceriyi yansıtabilir.
- Uygun bir takip tedavisi kullanın. Sonraki değerlendirmede, alıştırma yapılan örnek yerine yeni bir örnek kullanılarak aynı görev ve standart test edilmelidir. Aynı maddelerin tekrar edilmesi, cevapların hatırlanmasını ödüllendirir.
- Memnuniyeti ayrı tutun. Öğrenci tepkileri deneyimi geliştirmenize yardımcı olur, ancak ABD Hastalık Kontrol ve Önleme Merkezleri (CDC), eğitim değerlendirme kılavuzunda öğrenci memnuniyetinin bir eğitimin etkili olup olmadığını belirlemediğini açıkça belirtmektedir.CDC, eğitim değerlendirmesi: Etkinliğin ölçülmesiBunu bildirin, ancak asla öğrenmenin yerine geçecek bir şey olarak kullanmayın.
Burada basit üç maddelik bir değerlendirme ölçeği yardımcı olur. Her kriteri 0 (eksik veya desteklenmemiş), 1 (kısmi, ilgili eksikliklerle) veya 2 (eksiksiz ve gerekçeli) olarak puanlayın ve kritik hataları ayrı olarak tanımlayın, böylece genel bir puan ciddi bir başarısızlığı gizleyemez. Kriterleri bir konu uzmanıyla birlikte uyarlayın; kendi yazdığınız bir değerlendirme ölçeği bir başlangıç noktasıdır, onaylanmış bir standart değildir.
3. İş yerinde maruz kalınan etkenlerin transferini değerlendirin.
Bir kursta bir şey öğrenmek ve bunu iş yerinde uygulamak farklı olaylardır. CDC kılavuzu, öğrenme değerlendirmesini, bir öğrencinin öğrendiklerini iş yerine döndükten sonra ne kadar başarılı bir şekilde uyguladığını sorgulayan öğrenme transferi değerlendirmesinden ayırır.
Beceri aktarımına dair kanıt toplamak zaman alır. Öğrencinin beceriyi gerçekten kullanma fırsatı bulduktan sonra bir takip görüşmesi planlayın; bu, günlük bir görev için iki hafta, nadir bir görev için ise birkaç ay olabilir. Ardından, aşağıdaki yöntemlerden bir veya daha fazlasını kullanarak kanıt toplayın:
- Gözlem veya iş örneği incelemesi Eğitimde kullanılan aynı ölçütlere göre.
- Yönetici veya meslektaşlardan gelen geri bildirimler "Gelişme gösterdiler mi?" gibi basit sorular yerine, davranışa dayalı, spesifik sorular kullanmak.
- Sistem kanıtı İşlem, tamamlanmış bir form veya kaydedilmiş bir vaka gibi bir iz bıraktığı durumlarda.
Engelleri de sonuçlar kadar dikkatlice kaydedin. Eğitimde görevi yapabilen ancak iş yerinde yapamayan bir öğrenci, araçlardan, yetkiden, zamandan veya yönetici desteğinden yoksun olabilir. Bu kısıtlamalar, sınıfta görev performansı iyileştikten sonra bile devam edebilir ve bir sonraki kararınızı değiştirme olasılığı en yüksek olan bulgulardır. "Bunu uygulamanızı engelleyen neydi?" diye sorun ve cevapları kategorize edin.
4. Operasyonel sonuçları bağlam içinde yorumlayın.
Hata oranları, işlem süreleri veya çözüm oranları gibi operasyonel ölçütler önemlidir çünkü bunlar kuruluşun önemsediği konulardır. Ayrıca, gözden kaçırılması en kolay olan ölçütlerdir.
Dürüst kalmanızı sağlayan üç alışkanlık:
- Benzer bir oran kullanın. Hacimler değiştiğinde sayılar yanıltıcı olabilir. Oranları belirtilen bir payda ile karşılaştırın: toplam hata sayısı değil, yüz vaka başına hata sayısı.
- Alternatif açıklamaları listeleyin. Mevsimsel etkiler, yeni bir araç, personel değişikliği veya politika güncellemesi, aynı çeyrekte aynı sayıyı etkileyebilir. Sonuca bakmadan önce bunları not edin.
- İddianın ne tür bir iddia olduğunu belirtin. Eğer eğitimli personel, eğitimsiz personele göre daha iyi bir performans gösteriyorsa, bu gözlemlenen bir ilişkidir. Nedensel bir iddia, karşılaştırma grubu veya kademeli uygulama gibi alternatifleri dışlayan bir tasarıma ihtiyaç duyar. Çoğu program bu düzeyde bir titizliğe ihtiyaç duymaz ve bunu açıkça söylemekte sakınca yoktur: "Sonuçlar umduğumuz yönde ilerledi; işte başka neler değişti."
Yalnızca eğitimden yatırım getirisi elde edileceğine dair söz vermekten kaçının. Gözlemlerinizi, bağlamı ve sınırları rapor edin.
5. Pratik bir ölçüm planı oluşturun.
Parçaları her program için ayrı bir tabloya yerleştirin. Her satır, verilerin cevaplaması gereken bir soruyu temsil eder.
| Alan | Ne yazmalı? | Neden önemli |
|---|---|---|
| Sonuç | Beklediğiniz değişim, gözlemlenebilir terimlerle. | Belirsiz hedefleri durduruyor |
| Tedbir | Belirli ölçüt veya değerlendirme puanı | Test edilebilir hale getiriyor. |
| Kaynak | Veriler nereden geliyor? | Var olup olmadığını ve güvenilir olup olmadığını gösterir. |
| Payda | Ölçüt kimin veya neyin kapsamına giriyor? | Yanlış yönlendiren ham sayımları önler. |
| Zamanlama | Toplandığında | Öğrenmeyi bilgi aktarımından ayırır. |
| Mal sahibi | Sorumlu kişi olarak adı geçen kişi | Bunu mümkün kılar |
Örnek uygulama (açıklayıcıdır, sonuçlar gösterilmemiştir)
Müşteri destek personelinin karmaşık şikayetleri ele almasına yardımcı olacak bir program hayal edin. Karar: Temsilciler, bir yardımcı olmadan karmaşık şikayetleri ele almadan önce hazır olduklarını teyit etmek.
| Sonuç | Tedbir | Kaynak | Payda | Zamanlama | Mal sahibi |
|---|---|---|---|---|---|
| Görevliler, üzerinde anlaşılan kriterleri kullanarak bir sorunun önceliklendirilmesini sağlarlar. | Yeni bir vaka için değerlendirme puanı (kriter başına 0 ila 2, kritik hata yok). | Puanlandırılmış vaka uygulaması | Programı tamamlayan temsilciler | Programın sonu, eğitim öncesi temel değerlere göre | Eğitim sorumlusu |
| Görevliler, mevcut vakalar üzerinde önceliklendirme adımlarını uygular. | Örneklenen gerçek olaylara ilişkin değerlendirme puanı | Kalite değerlendirme örneği | Ajan başına örneklenen artışlar | İlk canlı tırmanışlardan dört ila altı hafta sonra | Takım lideri |
| Adımların uygulanmasına yönelik engeller bilinmektedir. | Kısa bir takip görüşmesinden elde edilen kategorize edilmiş nedenler | Temsilci takip kontrolü | Olayı tırmandıran görevliler | Aynı takip penceresi | Eğitim sorumlusu |
| Gerilimin tırmanmasının sonuçları bağlam içinde izlenir. | Yeniden açılan vaka oranı ve eş zamanlı değişiklikler kaydedildi. | Vaka sistemi | Bu dönemde gerilimler sona erdi. | Çeyreklik bazda, önceki döneme kıyasla | Operasyon analisti |
Dikkat edin, planın içeriğinde eksik olan bir şey var: vaat edilen bir yüzde artışı yok ve sadece antrenmanın son sırayı belirleyeceği iddiası da bulunmuyor. Plan sizi belirli bir cevaba değil, dürüst kanıtlar toplamaya yönlendiriyor.
Etkileşimli ve uyarlanabilir teslimatın uygun olduğu yerler
Öğrenmenin kendisi kanıt ürettiğinde ölçüm daha kolaydır. Puanlandırılmış vaka soruları, senaryo anketleri ve kısa bilgi testleri gibi etkileşimli etkinlikler, eğitim sırasında öğrenci başına ve madde başına veri sağlar ve uyarlanabilir öğrenme, kişileri performanslarına göre yönlendirebilir. Canlı oturumlar ve kendi hızınızda çalışma arasında geçiş yapan karma tasarımlar, kendi zamanınızda bir teşhis testi yapmanıza, geri bildirimle canlı olarak bir vakayı uygulamanıza ve eş zamanlı olmayan bir şekilde takip incelemesi tamamlamanıza olanak tanır.
Bu özellikler, planınızın birinci ve ikinci satırlarındaki kanıtları destekler. Bunlar, iş yerinde neler olduğuna bağlı olan aktarım ve sonuç satırlarının yerini almaz. Bir tasarıma karar vermeden önce, hangi özel raporlama ve yazma özelliklerine ihtiyacınız olduğunu bir gösterimle karşılaştırın ve herhangi bir harici aracı veya entegrasyonu, çalışır durumda görene kadar temel iş akışından ayrı olarak değerlendirin.
Kendi programınızla deneyin.
Şu anda yürüttüğünüz bir program için altı maddelik planı, desteklemesi gereken karardan başlayarak doldurun.
Planınızdaki öğrenme kanıtlarının canlı veya kendi hızınızda ilerleyebileceğiniz bir oturumda nasıl kaydedilebileceğini görmek için AhaSlides'ı inceleyin.
Sık Sorulan Sorular
Eğitim etkinliği ölçütleri nelerdir?
Bunlar, eğitimin amacına ulaşıp ulaşmadığını değerlendirmek için kullandığınız ölçütlerdir. Faydalı bir ölçüt seti, yalnızca tamamlanma ve memnuniyetten ziyade, hedeflere karşı öğrenmeyi, işe aktarımı ve bağlam içinde değerlendirilen operasyonel sonuçları kapsar.
Tamamlama oranı faydalı bir ölçüt müdür?
Katılımı izlemek ve erişim sorunlarını tespit etmek için faydalıdır. Ancak, birinin bir beceri öğrendiğini veya uyguladığını gösteremez; bu nedenle, bir değerlendirme ve takip çalışmasıyla birlikte kullanılmalıdır.
Eğitimden ne kadar süre sonra transfer ölçümünü yapmalıyım?
Öğrencilerin beceriyi gerçekten kullanma şansına sahip olmaları için yeterince uzun bir süre. Günlük bir görev birkaç hafta sürebilirken, nadir bir görev daha uzun sürebilir. Eğitime başlamadan önce planınızda bu süreyi belirleyin.
Her kurs için yatırım getirisini kanıtlamam gerekiyor mu?
Hayır. Kanıtları kararla eşleştirin. Birçok program, bağlamıyla birlikte raporlanan öğrenme ve aktarım kanıtları ile operasyonel sonuçlardan fayda görür. Nedensel analizi, tasarımın izin verdiği yüksek riskli veya yüksek maliyetli programlar için saklayın.
