Bir tatbikat veya gerçek bir olaydan hemen sonra yapılan, yapılandırılmış bir görüşme olan tatbikat sonrası değerlendirme (AAR), neyin olması gerektiği, neyin olduğu, neden olduğu ve bundan sonra ne yapılması gerektiği konularını ele almayı amaçlar. Basit gibi görünüyor. Uygulamada, birçok AAR aynı iki şekilde yanlış gider: insanlar kararlarını savunur ve olayın kaydı yetersiz kalır. Her ikisi de bir şey öğrenmeyi zorlaştırır.
Bu kılavuz, olay sonrası değerlendirmeleri (AAR) kolaylaştıran kamu güvenliği eğitim direktörleri ve eğitim görevlileri için yazılmıştır. Kılavuz, her zaman personelinize devredilen yetkiler çerçevesinde, gerginliği azaltma ve olay koordinasyonuna odaklanmaktadır. Beceri eksikliğini iklim sorunundan nasıl ayıracağınızı, dürüst bir tartışma için koşulları nasıl oluşturacağınızı, örnek bir senaryoyu nasıl uygulayacağınızı ve değerlendirmenin bir şeyi değiştirip değiştirmediğini nasıl anlayacağınızı göstermektedir.
Önce davranıştan başlayın, ders vermekten değil.
Şöyle bir örnek senaryo düşünün (gerçek bir olay değil). Bir ekip, gergin, birden fazla kurumun dahil olduğu bir olayla ilgili masa başı tatbikatını tamamlıyor. Değerlendirmede, bir memur telsiz devrinin "iyi gittiğini" söylüyor. Bir diğeri ise zaman çizelgesinin "kabaca" planlandığı gibi olduğunu belirtiyor. Kimse, bir sonraki kararı kimin vereceği konusunda iki kişinin anlaşmazlığa düştüğünden bahsetmiyor. Yazılı olay kaydında boşluklar var ve konuşma, tatbikat tasarımcılarının nerede hata yaptığına kayıyor.
Bir yanıt planlamadan önce, bu sessizliğin ardında aslında ne olduğunu sorun. En az dört farklı açıklama var ve bunların farklı çözümleri gerekiyor:
- Eksik bir beceri. İnsanlar bir kararı nasıl açıklayacaklarını, o sırada ne bildiklerini ve neyin belirsiz olduğunu nasıl ifade edeceklerini bilmiyorlar. Bu, öğrenilmesi gereken bir konudur.
- Bir otorite hiyerarşisi. Genç çalışanlar, kıdemli bir meslektaşlarının anlattıklarına toplantı salonunda itiraz etmeyeceklerdir. Eğilim değişene kadar bu beceriyi uygulamak fayda sağlamayacaktır.
- Teşvikler. İnceleme bulguları performans değerlendirmesine veya disiplin cezasına katkıda bulunuyorsa, ne kadar iyi kolaylaştırılırsa kolaylaştırılsın, dürüst öz eleştiri bir risk oluşturur.
- Tarihçe. Eğer son söz alan kişi görmezden gelindiyse veya kenara itildiyse, salondakiler bir şeyler öğrenmiştir ve yeni bir format bunu ortadan kaldırmayacaktır.
Araştırmacılar bu ortam için "psikolojik güvenlik" terimini kullanıyorlar. Amy Edmondson'ın bir üretim şirketindeki 51 çalışma ekibi üzerinde yaptığı çalışma, bunu ekip içinde kişilerarası risk alma konusunda güvenli bir ortam olduğuna dair ortak bir inanç olarak tanımladı ve bunun ekip öğrenme davranışı ile ilişkili olduğunu buldu.Edmondson, 1999, İdari Bilimler DergisiBu, bir ortamdaki bir ilişki olup, belirli bir AAR formatının sizin ortamınızda güvenlik yaratacağının kanıtı değildir. Bunu bir vaat olarak değil, ortamı incelemek için bir neden olarak değerlendirin.
Pratik sonuç şu: bir kolaylaştırma tekniği ancak belirli bir yere kadar etkili olabilir. Psikolojik güvenlik, liderlerin oturum dışında nasıl davrandıklarına da bağlıdır; bu nedenle her ikisini de göz önünde bulundurmayı planlayın.
Konuşmadan önce şartları belirleyin.
ABD Ordusunun AAR'lar hakkındaki eğitim genelgesi (TC 25-20, Liderler İçin Faaliyet Sonrası Değerlendirme Kılavuzu, 1993Bir olay sonrası değerlendirmesini (AAR), performans standartlarına odaklanan, katılımcıların ne olduğunu, neden olduğunu ve güçlü yönleri nasıl sürdüreceklerini ve zayıf yönleri nasıl geliştireceklerini kendileri keşfetmelerini sağlayan, profesyonel bir tartışma olarak tanımlar. "Kendileri keşfetmeleri" ifadesine dikkat edin. Odadaki en kıdemli kişi tarafından verilen bir karara dönüşen bir değerlendirme, farklı bir tür bilgilendirme toplantısıdır.
Bu koşulları katılımcıların danışmanlarıyla önceden, yazılı olarak kararlaştırın:
- Amaç ve sınır. Bu değerlendirmenin yalnızca öğrenme amaçlı mı yoksa söylenenlerin ayrı bir resmi sürece katkıda bulunup bulunamayacağını belirtin. Dürüst cevap "duruma bağlı" ise, bunu açıkça söyleyin. İnsanlar belirsiz bir güvenceye dayanarak açık sözlü olmayacaklardır.
- Onaylanmış sorumluluklar. Tatbikat veya etkinlik sırasında her rolün hangi konularda karar verme yetkisine sahip olduğu konusunda net olun. Personel, ancak kararın kendilerine ait olup olmadığını bildikleri takdirde dürüstçe değerlendirme yapabilirler. Bilgi veya yetkinin yetersiz olduğu durumlarda, doğru davranış bunu belirtmek ve üst mercilere bildirmektir ve değerlendirme bunu iyi uygulama olarak ele almalıdır.
- Liderler nasıl tepki verecek? Personelle konuşma provası yapmak işin sadece yarısıdır. Yöneticilerin buna karşılık gelen bir yanıtı olması gerekir: kişiye teşekkür etmek, takip sorusu sormak ve birey hakkında yorum yapmamak. Önce onlara kısa bir bilgilendirme yapın ve en son konuşmalarını isteyin.
- Önce kanıt. Oturumdan önce olay kaydını, zaman çizelgesini, radyo veya kayıt özetlerini ve varsa tatbikat materyallerini toplayın. Savunma mekanizması, eksik kanıtların bıraktığı boşluğu genellikle doldurur.
Davranış temelli bir öğrenme yolculuğu tasarlayın.
Personel, dürüst değerlendirme toplantılarına katılarak bu konuda uzmanlaşmaz. İyi tasarım, istediğiniz davranıştan başlar, ardından hazırlık, uygulama ve geri bildirimi buna göre şekillendirir. Carnegie Mellon Eberly Merkezi'nin bu konudaki rehberliği şu şekildedir: Değerlendirmeleri, hedefleri ve öğretim stratejilerini uyumlu hale getirmek Şu noktayı çok iyi özetliyor: İnsanların analiz yapmasını istiyorsanız, sadece hatırlamak değil, analiz pratiği yapmaları ve değerlendirmeleri gerekir. Bu, öğrenme etkinliklerini uyumlu hale getirmek için bir tasarım kılavuzudur, herhangi bir sektör sonucu veya platform hakkında bir kanıt değildir.
Bu görev için davranış şu şekildedir: Yaşananları analiz edin ve bir öğrenme eylemi üzerinde anlaşın. Bloom'un terminolojisine göre bu, uygulama ve değerlendirme aşamalarına denk gelir. Bu etiketler, bir sunum biçimini değil, talep edilen düşünme biçimini tanımlar ve motivasyonu açıklamaz. Eğer biri konuşmak istemiyorsa, Bloom size nedenini söylemez.
Başarılı bir yolculuğun üç aşaması vardır:
| Aşama | Öğrenci eylemi | Kanıt ve sunum |
|---|---|---|
| Hazırlık | Vaka incelemesinde dayanak teşkil eden politika, prosedürler ve kavramları gözden geçirin. Ön koşulları doğrulamak için kısa bir teşhis testi yapın. | Hedefe yönelik, kendi hızınızda ilerleyebileceğiniz çalışma. Hatırlama kontrolü yalnızca ön koşulları doğrular, tekrar yapma yeteneğini doğrulamaz. |
| uygulama | Bir vakayı analiz edin: Neler olduğunu anlatın, kanıtları sıralayın, belirsiz olan noktaları belirtin ve öğrenilecek bir eylem önerin. | Etkileşimli veya kolaylaştırılmış vaka uygulaması, yansıtmanın kalitesi ve takip eylemi hakkında geri bildirim içerir. |
| Gözden geçirme ve aktarma | Belirsiz bir seçeneği canlı olarak tartışın, ardından yeni bir vakayı tamamlayın veya gözetim altında bir iş görevini yerine getirin. | Uygun olduğu durumlarda canlı koçluk veya eş zamanlı olmayan değerlendirme yapılacaktır. İş yerinde uygun bir süre geçirdikten sonra transferi kontrol edin. |
Kendi hızınızda hazırlık yapmak, canlı oturumu, katılımcıların bulunması gereken kısma, yani belirsizliğe ayırır. Gerçekler tek başına öğrenilebilir. Kısmi bilgilerle verilen bir kararın makul olup olmadığı ise bir tartışma konusudur.
Uygulamalı senaryo ve değerlendirme
İşte uygulama aşamasını oluşturmak için kullanabileceğiniz örnek olay. Bu örnek niteliğindedir ve kullanmadan önce yetkili bir kamu güvenliği uzmanı tarafından doğrulanmalıdır.
Dosya. Gerginliği azaltma tatbikatı kapsamında, bir müdahale ekibi gergin ve kalabalık bir kamusal alana gönderildi. Ekip lideri, ekibin geri kalanı telsizle ikinci bir kurumla koordinasyon sağlarken, kıdemli olmayan bir üyeden gergin bir kişiyle sözlü iletişim kurmasını istedi. Daha sonra, yazılı kayıtlarda 6 dakikalık bir boşluk olduğu ve devir teslimi kimin onayladığına dair bir not bulunmadığı görülüyor. İncelemede, ekip bu sıralamayı savunuyor ve kayıt tartışılmıyor.
Eğitmen tarafından katılımcıdan istenen şey. Kararı açıklayın, ilgili kanıtları gösterin ve hangi ek bilgi veya desteğe ihtiyaç duyulduğunu belirtin.
Güçlü bir yanıt şöyle duyulur.
- Ne yaptı: "Kişiyle sözlü olarak iletişim kuran tek kişi ben olduğum için konuşmaya devam ettim. Devir teslimi kaydetmek için durmadım."
- Elimdeki kanıtlar şunlardı: "Radyoyu duyabiliyordum ama onay sesini duyamıyordum. Zaman çizelgesi, aradaki boşluktan önceki son notumu gösteriyor."
- Bilmediğim ve ihtiyacım olan şeyler: "Diğer kurumdan devir teslimi tekrarlamalarını isteme yetkimin olup olmadığından emin değildim. Bu konuda daha net bir talimat yardımcı olurdu."
Alıcının nasıl tepki verdiği. Kolaylaştırıcı düzeltme yapmaz veya yargılamaz. "O sırada bunu yapmayı zorlaştıran neydi?" ve "Bir dahaki sefere ne kolaylaştırır?" diye sorar. Ardından ekip lideri, daha net hale getirebileceği noktaları da içeren kendi açıklamasını ekler. Kıdemli bir kişinin bir eksikliği kabul etmesi, genellikle ikinci ve üçüncü katkıları mümkün kılan şeydir.
Transfer sorunu. İleriye dönük bir soruyla bitirin: "Bu davranışı iş yerinde tekrarlamayı kolaylaştıracak ne olurdu?" Cevaplar genellikle bireysel eksikliklerden ziyade süreç noktalarıdır (kayıt defterinde devir teslim onay satırı, tekrarlama talebinde bulunabilecek kişilerin daha net bir şekilde belirtilmesi). Bunlar sizin temel nedenlerinizdir.
Dürüstlüğü koruyan kolaylaştırma hamleleri
Bazı alışkanlıklar, bir değerlendirme ile bir sorgulama arasındaki farkı yaratır:
- "Ne" ve "nasıl" sorularını açık uçlu bir şekilde sorun. "Neden" sorusundan önce, "Bunu neden yaptın?" sorusu bir savunmaya davet eder. "O sırada ne görüyordun?" sorusu ise bir açıklamaya davet eder.
- Öncelikle moderatörden ve en kıdemli kişiden en zayıf noktaları sorun. Öz eleştiriyi modellemek, öz eleştiri istemekten daha hızlıdır.
- Kovalamaca ilk cevabın ötesine geçiyor. Açıklama "birisi hata yaptı" ile sınırlı kalıyorsa, süreçte bu hatanın neden önemli hale geldiğini sormaya devam edin. Bireysel hata nadiren asıl nedendir.
- İşlem adları, sorumluları ve tarihleriyle birlikte kapatın. Öğrenme eylemi olmadan sona eren bir eleştiri, insanlara eleştirilerin tiyatro olduğunu öğretir.
Davranışı ölçün ve takip edin.
Öğrencilerin artık olanları analiz edebildiklerini ve bir öğrenme eylemi üzerinde anlaşabildiklerini nasıl anlayacaksınız? Katılım veya keyif alma düzeyine değil, kanıtlara bakın:
- Yansıma kalitesi. Bir değerlendirme ölçütü kullanarak, katılımcıların kararı belirtme, kanıt gösterme, belirsizliği dile getirme ve belirli bir eylem önerme konularında yeterlilik gösterip göstermediklerini değerlendirerek, daha önce görmediğiniz vakaları veya gerçek incelemeleri puanlayın.
- Takip eyleminin kalitesi. Kararlaştırılan eylemler somut, sahiplenilmiş ve tamamlanmış mı? Bunları takip edin.
- İş yerinde transfer. İş başında yeterli süre pratik yaptıktan sonra, başlangıç değerlendirmesini daha sonraki, daha önce görülmemiş bir vakayla karşılaştırın.
İşte örnek bir değerlendirme formu. Her bir kriteri 0 ile 2 arasında puanlayın ve kriterleri nitelikli bir uzmanla birlikte uyarlayın. Bu, önerilen bir değerlendirme formudur, onaylanmış bir hazırlık standardı değildir.
| Kriter | Gözlemlenebilir kanıtlar |
|---|---|
| Görev yürütme | Olan biteni analiz eder ve bir öğrenme eylemi üzerinde anlaşır. Eylem ve onu destekleyen kanıtlar kaydedilir. |
| muhakeme | İlgili kısıtlamaları, alternatifleri ve belirsizlikleri açıklar. Değerlendirme, kayıtlara dayanmaktadır. |
| Sınırları | Onaylanmış prosedürleri kullanır ve bilgi veya yetki yetersiz olduğunda yardım arar. |
Değerlendirme Kriterleri: 0 = eksik veya desteksiz; 1 = kısmi, ilgili eksikliklerle; 2 = eksiksiz ve kabul edilen kriterlere göre gerekçelendirilmiş. Kritik hataları ayrı olarak tanımlayın, böylece genel bir puan asla kritik bir başarısızlığı gizlemesin.
Özellikle bir sayıya dikkat edin: raporlama hacmi. Değerlendirmelerinizi değiştirdikten sonra daha fazla endişe dile getirilirse, bu insanların kendilerini daha güvende hissettikleri, daha fazla şeyin yanlış gittiği veya yeni bir formun doldurulmasının daha kolay olduğu anlamına gelebilir. Raporlamadaki artış kutlanacak bir şey değil, yorumlanacak bir şeydir. Değerlendirme oturumlarının gözlemlenmesini süreç değişiklikleri ve takip eylemleriyle birleştirin, başlamadan önce popülasyonu, paydayı ve zamanlamayı tanımlayın ve herhangi bir şeyi eğitime bağlamadan önce aynı anda diğer operasyonel değişiklikleri kontrol edin. CDC'nin eğitim değerlendirme kaynakları gibi ölçüm kılavuzları, öğrenmeyi ve aktarımı çerçevelemek için yararlıdır, ancak operasyonel iyileştirmeyi öngörmez.
Kalabilecek kısıtlamalar
Planlamanıza dahil etmeniz gereken iki soru var.
Görev performansı iyileştikten sonra bile hangi kısıtlamalar devam edebilir? Otorite hiyerarşileri, değerlendirme bağlantıları, iş yükü ve liderlerin sonrasında koridorda sergiledikleri tepkiler devam edebilir. Daha iyi bir kolaylaştırma, teşviki değiştirmeyecektir. Eğer insanlar hâlâ açık sözlü olamıyorsa, değerlendirme kriterleriniz eğitim odasında iyi bir yansıma, sahada ise sessizlik gösterecektir.
Bu durum nereye oturuyor ve bundan sonra ne yapılmalı?
Bir görev değerlendirme ölçütü veya yolculuk şablonuyla başlayın: tekrarlayan bir egzersiz seçin, istediğiniz değerlendirme davranışını yazın ve tasarım uygulamalarınızın her aşamasının bu davranışı uyguladığından ve değerlendirdiğinden emin olun. Ardından, uygulamadan önce bir eğitim sorumlusu ve bir operasyon uzmanıyla test edin.
AhaSlides Etkileşimli öğrenmeyi, uyarlanabilir öğrenmeyi ve canlı eğitim ile kendi hızınızda ilerleme arasında geçişi destekler. İhtiyaç duyduğunuz belirli yazma, geri bildirim ve raporlama işlevlerini kendi durumunuza göre doğrulayın ve yapay zeka, sanal gerçeklik, simülatörler ve entegrasyonları, çalıştıklarını görene kadar harici veya doğrulanmamış olarak değerlendirin.
Bu yeteneklerin yukarıdaki gibi bir incelemeyi nasıl ele alabileceğini görmek için inceleyin. AhaSlides.
