Saat 02:10'da bir uyarı tetikleniyor. Bir mühendis bir yapılandırma değişikliği yapıyor, kontrol servisi hatalar vermeye başlıyor ve nöbetçi ekip lideri 40 dakika sonra değişikliği geri alıyor. Gözden geçirme toplantısında ilk soru "Değişikliği kim yaptı?" oluyor. Dakikalar içinde konuşma, bir kişinin gece 2'deki kararına odaklanıyor ve kimse değişikliğin neden bir uyarı sinyali olmadan üretime ulaşabildiğini, uyarının neden bu kadar geç iletildiğini veya çalışma kılavuzunun neden güncel olmadığını sormuyor.
Bu, bir müşteri vakası değil, örnek bir senaryodur. Tanıdık geliyor çünkü yaşanıyor: Olay incelemesinde son müdahale eden kişiye odaklanılması, derli toplu bir hikaye ortaya çıkarır ancak çok az öğrenme sağlar.
Bu kılavuz, olay kanıtlarını analiz etme ve test edilebilir iyileştirmeler üzerinde anlaşma konusunda daha iyi olmak isteyen mühendislik yöneticileri ve eğitim liderleri içindir. Beceri eksikliklerini çevreleyen koşullardan nasıl ayıracağınızı, uygulamayı nasıl tasarlayacağınızı, değerlendirmeyi nasıl yapacağınızı ve incelemelerin işe yarayıp yaramadığını nasıl ölçeceğinizi kapsar.
"Suçsuz" kelimesinin ne anlama geldiği ve ne anlama gelmediği
Google'ın Site Güvenilirliği Mühendisliği kitabı bunu açıkça belirtiyor: Gerçekten kusursuz bir olay sonrası analizi, herhangi bir bireyi veya ekibi kötü veya uygunsuz davranıştan dolayı suçlamadan, olayın nedenlerini belirlemeye odaklanmalıdır. Ayrıca, altta yatan varsayımı da açıklıyor: Olayda yer alan herkes iyi niyetle hareket etti ve sahip oldukları bilgilerle doğru olanı yaptı.Google SRE kitabı, "Postmortem Culture: Learning from Failure" (Başarısızlık Sonrası Kültür: Başarısızlıktan Öğrenmek).)
Suçsuzluk, sonuçsuzluk anlamına gelmez. Aynı bölüm, olay sonrası değerlendirmelerin önceliği ve sorumlusu olan eylem maddeleriyle sonuçlanmasını bekler. Suçsuzluk soruşturması yine de hesap verebilirliği gerektirir, ancak hesap verebilirlik "buna kim sebep oldu"dan "sistemi kim daha güvenli hale getirecek ve ne zamana kadar"ye kayar. Değerlendirmeleriniz ikinci yarıyı atlarsa, keyifli bir sohbet gerçekleştirmiş olursunuz, öğrenme süreci değil.
1. Davranışı ve bağlamını belirleyin.
Değiştirmek istediğiniz belirli davranışla başlayın. "Olay incelemelerimiz en son harekete geçen kişiye odaklanıyor" gözlemlenebilir bir durumdur. "Kültürümüz suçlamaya çok yatkın" ise gözlemlenemez.
O halde bunun gerçekten bir beceri sorunu olup olmadığını sorgulayın. Eğitim, düşük performansın yalnızca bazı nedenlerini düzeltebilir. Herhangi bir şey inşa etmeden önce, üç olasılığı birbirinden ayırın:
- Eksik bir beceri. Değerlendirme yapanlar bir zaman çizelgesi oluşturmayı, tetikleyici faktörü katkıda bulunan faktörden ayırt etmeyi veya "bu eylemi o zaman neden makul gösterdi?" sorusunu sormayı bilmiyorlar.
- Teşvikler. Yorumlar performans görüşmelerini besler, bu nedenle insanlar kendilerini korumak için hesaplarını şekillendirirler.
- Otorite düzeyleri ve geçmiş tepkiler. Geçen dönem bir endişesini dile getiren ve olumsuz düşünmeyi bırakması söylenen genç bir mühendis, ne kadar iyi eğitimli olursa olsun, bu toplantıda aynı endişeyi dile getirmeyecektir.
Sadece ilki bir eğitim problemidir. Diğer ikisi koşullardır. Eğer beceriyi eğitirseniz ve koşulları kendi haline bırakırsanız, insanlar iş yerinin cezalandırdığı bir şeyi tekrar tekrar yapacaklardır. Mevcut neden görüşünüzü bir hipotez olarak ele alın ve bir programa başlamadan önce mühendislerle birkaç görüşme yaparak ve son inceleme belgelerine bakarak test edin.
2. Uygulama için operasyonel koşulları belirleyin.
Uygulama ancak iş yeri bunu olumlu karşılarsa geçerli olur. Herhangi bir prova yapılmadan önce, değerlendirmeleri yürüten kişilerle şu konularda anlaşmaya varın:
- Onaylanmış sorumluluklar. Kim kolaylaştırıcı rol üstleniyor, zaman çizelgesini kim yazıyor, takip eylemlerinden kim sorumlu? Rolleri açıkça belirtin ki kolaylaştırıcı, yetkisini doğaçlama yoluyla kullanmasın.
- Liderler endişeleri nasıl karşılıyor? Bir mühendis "dağıtım aracı bana canary aşamasını atlamama izin verdi" derse, yönetici bundan sonra ne yapar? Cevabı önceden belirleyin, örneğin: teşekkür edin, bunu katkıda bulunan bir faktör olarak kaydedin ve bir işlem atayın.
- Yönetici yanıtı. Personel provasına uygun bir amir yanıtı gerekir. Mühendisleri değerlendirmelerde seslerini yükseltmeleri için eğitirseniz ancak yöneticileri hala "kimin hatasıydı?" diye sorarsa, eğitim işe yaramaz.
Yöneticiler için değerlendirme süreci hakkında kısa bir bilgilendirme, katılımcılar için verilen eğitim kadar önemlidir. Değerlendirme belgelerinin performans yönetiminde nasıl kullanıldığı ve nasıl kullanılmadığına dair açık bir açıklama ekleyin.
3. Davranış temelli bir öğrenme yolculuğu tasarlayın.
Carnegie Mellon Eberly Merkezi'nin öğrenme hedeflerine ilişkin kılavuzu, hedeflerin, değerlendirmelerin ve öğretim stratejilerinin birbiriyle uyumlu olması gerektiği yönünde faydalı bir noktaya değinmektedir (Eberly Merkezi, Öğrenme HedefleriBu, belirli bir araç veya sonuç hakkında kanıt değil, tasarım kılavuzudur; ancak bu program için iyi bir testtir: amaç kanıtları analiz etmek ve test edilebilir iyileştirmeler üzerinde anlaşmaksa, yalnızca hatırlama soruları değerlendirme aracı olamaz.
Bloom taksonomisi, görevin bilişsel gereksinimlerini tanımlamanın bir yolu olarak burada yardımcı olur: analiz et, değerlendir, yarat. Görevin kişiden ne istediğini açıklar. Ancak neden yapıp yapmadıklarını açıklamaz, bu nedenle motivasyonu teşhis etmek için kullanmayın.
Başarılı bir yolculuğun üç aşaması vardır.
| Aşama | Öğrenci eylemi | Teslim Şekli |
|---|---|---|
| Hazırlık | Olay inceleme politikanızı ve kısa bir sözlüğü (tetikleyici, katkıda bulunan faktör, hafifletme, eylem maddesi) okuyun. Kısa bir teşhis ön koşulları kontrol eder. | Kendi hızınızda çalışma. Hatırlama testi yalnızca ön koşulları doğrular, gözden geçirme becerilerini doğrulamaz. |
| uygulama | Hazırlanmış bir olay örneğini analiz edin ve test edilebilir iyileştirmeler üzerinde anlaşın. Çoktan seçmeli bir cevap değil, gerekçeli bir yanıt gereklidir. | Etkileşimli veya kolaylaştırılmış vaka uygulaması, katkıda bulunan faktör analizinin kalitesi ve takibi konusunda geri bildirim içerir. |
| Gözden geçirme ve aktarma | Belirsiz bir seçeneği tartışın, ardından yeni bir vakayı tamamlayın veya gözetim altında gerçek bir inceleme yapın. | Canlı koçluk veya eş zamanlı olmayan değerlendirme. Kişilerin beceriyi iş yerinde kullanmaları için yeterli zaman geçtikten sonra aktarımı kontrol edin. |
Örnek olayı gerçekçi tutun ve deneyimli bir mühendise onaylatın. Teknik olarak yanlış bir örnek olay, değerlendiricilerin alıştırmaya güvenmemesine neden olur.
4. Senaryoyu gözden geçirin ve değerlendirme yapın.
İşte 02:10 senaryosuyla bir uygulama oturumunun nasıl yürütülebileceğine dair bir örnek. Kanıt paketi, dağıtım günlüğünü, uyarı zaman çizelgesini, sayfalama politikasını, çekme isteğini ve çalışma kılavuzunu içerir; bunların hepsi kurgusaldır.
Katılımcıya yönelik yönlendirme. "Mühendisin değişikliği neden o zaman yaptığını açıklayın. Kullandığınız kanıtları belirtin. Emin olabilmeniz için hangi ek bilgi veya desteğe ihtiyacınız olduğunu bize söyleyin."
Zayıf bir yanıt şöyle olabilir: "Mühendis, hazırlık aşamasını kontrol etmeliydi." Bir kişiden bahseder, hiçbir şeyden bahsetmez ve hiçbir değişiklik önermez.
Daha güçlü bir yanıt şöyle olabilir: "Dağıtım günlüğü, araçta canary adımının isteğe bağlı olması nedeniyle değişikliğin doğrudan gönderildiğini gösteriyor. Çekme isteğinin 20 dakikalık bir pencereden sonra onaylayan tek bir inceleyicisi vardı. Sayfa, hatalar başladıktan 18 dakika sonra tetiklendi çünkü uyarı eşiği beş dakikalık bir ortalama için ayarlanmıştı. Bu ay kaç başka değişikliğin canary adımını atladığını ve nöbetçi mühendislere bu adımın atlanabilir olduğunun hiç söylenip söylenmediğini bilmek isterim. Önerilen eylemler: Bu hizmet katmanı için canary adımını zorunlu hale getirin, sorumlu: platform ekibi, kontrol: hazırlık ortamında atlanmış bir canary dağıtımını deneyin ve engellendiğini doğrulayın; uyarı penceresini kısaltın, sorumlu: nöbetçi lider, kontrol: geçen haftanın hatalarını yeni eşiğe göre yeniden oynatın."
Daha iyi olmasını sağlayan şeylere dikkat edin. Kanıt kullanıyor, kısıtlamaları ve belirsizlikleri belirtiyor ve test edilebilir eylemlerle sonuçlanıyor.
Şimdi değerlendirme zamanı. Sadece puanlamayın. Şunları sorun:
- Kanıtlar neyi destekledi ve siz ne varsaydınız?
- Takımın sizin eylemlerinizden hangisini yapma yetkisi olurdu?
- Bir sonraki gerçek değerlendirmenizde bu davranışı tekrarlamanızı kolaylaştıracak ne olurdu? Zorlaştıracak ne olurdu?
Üçüncü soru en önemlisidir. İkinci bölümdeki koşulları ortaya çıkarır. Eğer üç katılımcı da "yöneticim bunu kimin yaptığını soracak" derse, eğitimle ortadan kaldırılamayacak bir kısıtlama bulmuşsunuz demektir.
5. Davranışı ölçün ve takibini yapın.
Asıl soru, öğrencilerin olay kanıtlarını analiz edebileceklerini ve test edilebilir iyileştirmeler üzerinde anlaşabileceklerini gösteren hangi kanıtların olacağıdır. İşte başlangıç için bir değerlendirme ölçütü. Bu, deneyimli bir mühendisle birlikte uyarlanacak bir öneridir, onaylanmış bir hazırlık standardı değildir.
| Kriter | Gözlemlenebilir kanıtlar | 0 | 1 | 2 |
|---|---|---|---|---|
| Görev yürütme | Kanıtları analiz eder ve iyileştirmeler konusunda mutabık kalır; yapılan işlemi ve bunun ardındaki kanıtları kaydeder. | Yok veya desteksiz | Kısmi, ilgili eksikliklerle birlikte | Mutabakat sağlanan kriterlere göre eksiksiz ve gerekçelendirilmiştir. |
| muhakeme | Kısıtlamaları, alternatifleri ve belirsizliği açıklar; katkıda bulunan faktörler son eylemin ötesine geçer. | Yok veya desteksiz | Kısmi, ilgili eksikliklerle birlikte | Eksiksiz ve gerekçeli |
| Sınırları | Onaylanmış prosedürleri kullanır; bilgi veya yetki eksikliği olduğunda yardım ister. | Yok veya desteksiz | Kısmi, ilgili eksikliklerle birlikte | Eksiksiz ve gerekçeli |
Kritik hataları ayrı olarak tanımlayın; örneğin, bir kişiyi neden olarak göstermek veya sahibi olmayan bir eylem önermek gibi. Yüksek bir toplam puan asla kritik bir hatayı gizlememeli.
Ölçümün kendisi için:
- Katkıda bulunan faktör analizinin kalitesi. Programdan önce yazılan yorumları, programdan sonra yazılan yorumlarla karşılaştırın ve hangisinin hangisi olduğunu bilmeyen biri tarafından aynı değerlendirme ölçütüne göre puanlandırın. Gerçek vakaların yanı sıra daha önce görülmemiş takip vakalarını da kullanın.
- Takip etmek. Oluşturulan tüm eylem maddeleri arasından, sahibi olan, testi yapılmış ve tamamlanmış olan eylem maddelerinin payını hesaplayın. Paydayı ve zaman aralığını belirtin.
- Gözlemi süreç değişiklikleriyle eşleştirin. Gerçek bir değerlendirme toplantısına katılın. Sonrasında eylem maddelerinin nasıl geliştiğini kontrol edin.
Raporlama hacmine dikkat edin. Programdan sonra daha fazla endişe ve ramak kala olay kaydedilirse, bu güvenliğin arttığı, güvenin arttığı veya yeni bir aracın kayıt tutmayı kolaylaştırdığı anlamına gelebilir. Bir düşme, daha az sorun veya konuşma isteğinin azalması anlamına da gelebilir. Herhangi bir değişikliği eğitime bağlamadan önce aynı dönemde nelerin değiştiğine bakın ve ölçmediğiniz bir etki büyüklüğü iddiasında bulunmaktan kaçının.
Yukarıdaki Eberly kılavuzu, uyum çerçevesini belirler; bu yaklaşımın olayları azalttığının kanıtı değildir. Kendi temel ve takip verilerinizi tutun ve bunları yerel kanıt olarak değerlendirin.
Beceriler geliştikten sonra bile hangi kısıtlamalar devam edebilir?
Sponsorlarınıza bu konularda dürüst olun:
- İnceleme belgeleri performans kararlarına katkıda bulunmaya devam edebilir.
- Teslimat baskısı altında olan ekipler, maliyetli ancak mantıklı olan eylemleri atlayabilirler.
- Takımlar arası iş birliği, sınır çizgisinin kimseye ait olmaması nedeniyle sekteye uğrayabilir.
- Kıdemli mühendisler tartışmaya hâlâ hakim olabilirler.
Daha iyi analizler bunları ortadan kaldırmaz. Bunlar için ayrı süreç değişiklikleri planlayın.
Bunu uygulamaya geçirmek AhaSlides
AhaSlides Uyarlanabilir öğrenmeyi, etkileşimli öğrenmeyi ve canlı ile kendi hızınızda ilerleyebileceğiniz sunum arasında geçişi destekler. Bu yolculukta, kendi hızınızda ilerleyebileceğiniz bir hazırlık adımı, herkesin grup tartışmasından önce bir analize katılmasını sağlayacak açık uçlu sorular içeren canlı veya kolaylaştırılmış bir vaka oturumu ve oturumdan sonra bir takip görevi anlamına gelebilir. Belirli yazma, puanlama ve raporlama işlevleri, bunlara güvenmeden önce kendi vakanıza karşı bir gösterimle kontrol edilmelidir ve yapay zeka, simülatörler veya olay araçlarınızla entegrasyon içeren her şey, gösterilene kadar harici olarak ele alınmalıdır.
Sonraki adım: Yukarıdaki değerlendirme kriterlerini alın ve kıdemli mühendislerinizden biriyle birlikte uyarlayın, ardından kullanacağınız vakayı oluşturun.
Vaka ve değerlendirme kriterlerini taslak haline getirdikten sonra, bu yolculuğun canlı ve kendi hızınızda ilerleyebileceğiniz bir versiyonunun nasıl işleyebileceğini araştırın. AhaSlides.
