Sebuah peringatan muncul pada pukul 02:10. Seorang insinyur melakukan perubahan konfigurasi, layanan checkout mulai menampilkan kesalahan, dan pemimpin yang bertugas membatalkannya 40 menit kemudian. Dalam rapat tinjauan, pertanyaan pertama adalah "Siapa yang melakukan perubahan tersebut?" Dalam beberapa menit, percakapan beralih ke penilaian satu orang pada pukul 2 pagi, dan tidak ada yang bertanya mengapa perubahan tersebut dapat mencapai produksi tanpa peringatan tambahan, mengapa peringatan tersebut membutuhkan waktu lama untuk dikirim, atau mengapa buku panduan operasional sudah usang.
Ini adalah skenario ilustratif, bukan kasus pelanggan. Hal ini mudah dikenali karena memang terjadi: tinjauan insiden yang terpaku pada orang terakhir yang bertindak menghasilkan cerita yang rapi tetapi sedikit sekali pembelajaran.
Panduan ini ditujukan untuk manajer teknik dan pemimpin pemberdayaan yang ingin meningkatkan kemampuan orang dalam menganalisis bukti insiden dan menyepakati perbaikan yang dapat diuji. Panduan ini mencakup cara memisahkan kesenjangan keterampilan dari kondisi di sekitarnya, cara merancang praktik, cara melakukan debriefing, dan cara mengukur apakah tinjauan tersebut efektif.
Apa arti dan bukan arti dari "tanpa cela"
Buku Site Reliability Engineering karya Google menjelaskan dengan gamblang: agar postmortem benar-benar tidak menyalahkan siapa pun, postmortem tersebut harus fokus pada identifikasi penyebab insiden tanpa menuduh individu atau tim mana pun atas perilaku buruk atau tidak pantas. Buku tersebut juga menjelaskan asumsi yang mendasarinya: semua orang yang terlibat bertindak dengan niat baik dan melakukan hal yang benar dengan informasi yang mereka miliki.Buku Google SRE, "Budaya Pasca-Kegagalan: Belajar dari Kegagalan".)
Tidak menyalahkan bukan berarti tanpa konsekuensi. Bab yang sama mengharapkan postmortem diakhiri dengan poin-poin tindakan dengan prioritas dan penanggung jawab. Penyelidikan tanpa menyalahkan tetap membutuhkan akuntabilitas, tetapi akuntabilitas bergeser dari "siapa yang menyebabkan ini" ke "siapa yang akan membuat sistem lebih aman, dan kapan". Jika tinjauan Anda melewatkan bagian kedua, Anda hanya akan melakukan percakapan yang menyenangkan, bukan proses pembelajaran.
1. Identifikasi perilaku dan konteksnya
Mulailah dengan perilaku spesifik yang ingin Anda ubah. "Tinjauan insiden kami berfokus pada orang terakhir yang bertindak" adalah perilaku yang dapat diamati. "Budaya kami terlalu banyak menyalahkan" bukanlah perilaku yang dapat diamati.
Kemudian tanyakan apakah ini memang masalah keterampilan. Pelatihan hanya dapat memperbaiki beberapa penyebab kinerja yang buruk. Sebelum Anda membangun apa pun, pisahkan tiga kemungkinan:
- Sebuah keterampilan yang hilang. Para penilai tidak tahu bagaimana menyusun garis waktu, membedakan pemicu dari faktor yang berkontribusi, atau bertanya "apa yang membuat tindakan ini tampak masuk akal pada saat itu?"
- Insentif. Ulasan menjadi bagian dari percakapan tentang kinerja, sehingga orang-orang membentuk akun mereka untuk melindungi diri mereka sendiri.
- Gradien otoritas dan respons masa lalu. Seorang insinyur junior yang menyampaikan kekhawatiran pada kuartal lalu dan diminta untuk berhenti bersikap negatif tidak akan menyampaikan kekhawatiran serupa dalam pertemuan ini, betapapun terlatihnya mereka.
Hanya yang pertama yang merupakan masalah pelatihan. Dua lainnya adalah kondisi. Jika Anda melatih keterampilan dan membiarkan kondisinya apa adanya, orang akan mengulangi sesuatu yang akan dihukum di tempat kerja. Perlakukan pandangan Anda saat ini tentang penyebabnya sebagai hipotesis, dan ujilah dengan beberapa percakapan dengan para insinyur dan lihat dokumen tinjauan terbaru sebelum Anda berkomitmen pada suatu program.
2. Tetapkan kondisi operasional untuk praktik
Praktik hanya akan berhasil jika tempat kerja meresponsnya. Sebelum siapa pun berlatih, sepakati hal-hal berikut dengan orang-orang yang menjalankan evaluasi:
- Tanggung jawab yang disetujui. Siapa yang memfasilitasi, siapa yang membuat garis waktu, siapa yang bertanggung jawab atas tindakan tindak lanjut? Jelaskan peran-peran tersebut secara eksplisit agar fasilitator tidak bertindak secara improvisasi.
- Bagaimana para pemimpin menerima keluhan. Jika seorang insinyur mengatakan "alat penyebaran memungkinkan saya melewati canary", apa yang dilakukan direktur selanjutnya? Tentukan jawabannya terlebih dahulu, misalnya: ucapkan terima kasih, catat sebagai faktor penyebab, dan tetapkan tindakan.
- Tanggapan dari supervisor. Latihan bagi staf membutuhkan respons yang sesuai dari supervisor. Jika Anda melatih para insinyur untuk berbicara dalam evaluasi kinerja tetapi manajer mereka masih bertanya "siapa yang salah?", pelatihan tersebut akan sia-sia.
Pengarahan singkat bagi para manajer mengenai proses evaluasi sama pentingnya dengan pelatihan bagi para peserta. Sertakan pernyataan yang jelas tentang bagaimana dokumen evaluasi digunakan dan tidak digunakan dalam manajemen kinerja.
3. Merancang perjalanan pembelajaran berbasis perilaku
Pedoman dari Carnegie Mellon Eberly Center mengenai tujuan pembelajaran menekankan poin penting bahwa tujuan, penilaian, dan strategi pengajaran harus selaras satu sama lain.Pusat Eberly, Tujuan PembelajaranItu adalah panduan desain, bukan bukti tentang alat atau hasil tertentu, tetapi ini adalah uji coba yang baik untuk program ini: jika tujuannya adalah untuk menganalisis bukti dan menyepakati perbaikan yang dapat diuji, maka pertanyaan pengingat saja tidak dapat menjadi penilaian.
Taksonomi Bloom membantu di sini sebagai cara untuk menggambarkan tuntutan kognitif dari tugas tersebut: menganalisis, mengevaluasi, menciptakan. Taksonomi ini menjelaskan apa yang dituntut tugas tersebut dari seseorang. Taksonomi ini tidak menjelaskan mengapa mereka melakukan atau tidak melakukan tugas tersebut, jadi jangan menggunakannya untuk mendiagnosis motivasi.
Perjalanan yang berhasil memiliki tiga tahapan.
| Tahap | Tindakan pembelajar | Sampel |
|---|---|---|
| Persiapan | Bacalah kebijakan peninjauan insiden Anda dan glosarium singkat (pemicu, faktor penyebab, mitigasi, tindakan yang perlu diambil). Pemeriksaan diagnostik singkat akan memeriksa prasyarat. | Pembelajaran mandiri. Pemeriksaan ingatan hanya mengkonfirmasi prasyarat, bukan mengulas keterampilan. |
| Praktek | Analisis kasus insiden yang telah disiapkan dan sepakati perbaikan yang dapat diuji. Diperlukan respons yang beralasan, bukan pilihan ganda. | Latihan studi kasus interaktif atau yang difasilitasi, dengan umpan balik mengenai kualitas analisis faktor penyebab dan tindak lanjut. |
| Tinjau dan transfer | Diskusikan satu pilihan yang ambigu, kemudian selesaikan kasus baru atau tinjauan nyata yang diawasi. | Pelatihan langsung atau tinjauan asinkron. Periksa penerapan setelah orang-orang memiliki waktu untuk menggunakan keterampilan tersebut di tempat kerja. |
Buatlah kasus yang realistis dan mintalah seorang insinyur berpengalaman untuk memvalidasinya. Kasus yang secara teknis salah akan membuat para penilai tidak mempercayai latihan tersebut.
4. Kerjakan skenario dan lakukan debriefing.
Berikut adalah contoh bagaimana sesi latihan dapat dijalankan dengan skenario 02:10. Paket bukti berisi log penyebaran, garis waktu peringatan, kebijakan paging, permintaan pull, dan buku panduan, semuanya fiktif.
Arahkan pertanyaan kepada peserta. "Jelaskan mengapa insinyur tersebut mendorong perubahan pada saat itu. Sebutkan bukti yang Anda gunakan. Beri tahu kami informasi atau dukungan tambahan apa yang Anda perlukan sebelum Anda dapat yakin."
Respons yang lemah terdengar seperti ini: "Teknisi seharusnya memeriksa tahapan pengerjaan." Respons ini menyebutkan nama seseorang, tidak memberikan kutipan apa pun, dan tidak mengusulkan perubahan apa pun.
Respons yang lebih kuat terdengar seperti ini: "Log penyebaran menunjukkan perubahan langsung diterapkan karena langkah canary bersifat opsional dalam alat tersebut. Permintaan pull request memiliki satu peninjau yang menyetujuinya setelah jangka waktu 20 menit. Halaman tersebut dimuat 18 menit setelah kesalahan mulai terjadi karena ambang batas peringatan ditetapkan untuk rata-rata lima menit. Saya ingin mengetahui berapa banyak perubahan lain bulan ini yang melewati langkah canary, dan apakah insinyur yang bertugas pernah diberi tahu bahwa langkah tersebut dapat dilewati. Tindakan yang diusulkan: jadikan langkah canary wajib untuk tingkatan layanan ini, pemilik: tim platform, periksa: coba terapkan langkah canary yang dilewati di lingkungan staging dan konfirmasikan bahwa langkah tersebut diblokir; turunkan jendela peringatan, pemilik: pemimpin yang bertugas, periksa: putar ulang kesalahan minggu lalu terhadap ambang batas baru."
Perhatikan apa yang membuatnya lebih baik. Ia menggunakan bukti, menyebutkan batasan dan ketidakpastian, dan diakhiri dengan tindakan yang dapat diuji.
Sekarang saatnya sesi evaluasi. Jangan hanya memberi nilai. Tanyakan:
- Apa yang didukung oleh bukti, dan apa yang Anda asumsikan?
- Tindakan mana dari Anda yang sebenarnya berada di bawah wewenang tim untuk dilakukan?
- Apa yang akan mempermudah Anda untuk mengulangi perilaku ini dalam tinjauan nyata Anda berikutnya? Apa yang akan mempersulitnya?
Pertanyaan ketiga adalah yang terpenting. Pertanyaan ini mengungkap kondisi dari bagian 2. Jika tiga peserta mengatakan "manajer saya akan bertanya siapa yang melakukannya", Anda telah menemukan kendala yang tidak dapat dihilangkan melalui pelatihan.
5. Mengukur perilaku dan tindak lanjut
Pertanyaan kuncinya adalah bukti apa yang akan menunjukkan bahwa peserta didik dapat menganalisis bukti insiden dan menyepakati perbaikan yang dapat diuji. Berikut adalah rubrik untuk memulai. Ini adalah proposal untuk disesuaikan dengan insinyur berpengalaman, bukan standar kesiapan yang telah divalidasi.
| Kriterium | Bukti yang dapat diamati | 0 | 1 | 2 |
|---|---|---|---|---|
| Eksekusi tugas | Menganalisis bukti dan menyepakati perbaikan; mencatat tindakan dan bukti di baliknya. | Tidak ada atau tidak didukung | Sebagian, dengan beberapa bagian yang dihilangkan. | Lengkap dan dapat dibenarkan berdasarkan kriteria yang disepakati. |
| Pemikiran | Menjelaskan kendala, alternatif, dan ketidakpastian; faktor-faktor yang berkontribusi melampaui tindakan terakhir. | Tidak ada atau tidak didukung | Sebagian, dengan beberapa bagian yang dihilangkan. | Lengkap dan dapat dibenarkan |
| Batas | Menggunakan prosedur yang telah disetujui; meminta bantuan jika informasi atau wewenang tidak tersedia. | Tidak ada atau tidak didukung | Sebagian, dengan beberapa bagian yang dihilangkan. | Lengkap dan dapat dibenarkan |
Definisikan kesalahan kritis secara terpisah, misalnya dengan menyebutkan individu sebagai penyebabnya atau mengusulkan tindakan tanpa pemilik. Skor total yang tinggi tidak boleh menutupi kegagalan kritis.
Untuk pengukuran itu sendiri:
- Kualitas analisis faktor kontribusi. Bandingkan ulasan yang ditulis sebelum program dengan ulasan yang ditulis setelahnya, yang dinilai berdasarkan kriteria yang sama oleh seseorang yang tidak mengetahui mana yang mana. Gunakan studi kasus tindak lanjut yang belum pernah dilihat sebelumnya serta studi kasus nyata.
- Tindak lanjut. Hitung persentase item tindakan yang memiliki pemilik, pengujian, dan telah diselesaikan, dari semua item tindakan yang diajukan. Nyatakan penyebut dan rentang waktunya.
- Padukan observasi dengan perubahan proses. Ikuti evaluasi yang sebenarnya. Periksa apa yang terjadi pada poin-poin tindakan setelahnya.
Berhati-hatilah dengan volume pelaporan. Jika lebih banyak kekhawatiran dan kejadian nyaris celaka dicatat setelah program, itu bisa berarti keselamatan telah meningkat, kepercayaan telah meningkat, atau alat baru telah mempermudah pencatatan. Jatuh bisa berarti lebih sedikit masalah atau kurangnya kemauan untuk berbicara. Perhatikan apa yang berubah dalam periode yang sama sebelum mengaitkan perubahan apa pun dengan pelatihan, dan hindari mengklaim ukuran efek yang belum Anda ukur.
Panduan Eberly di atas membahas tentang keselarasan; ini bukan bukti bahwa pendekatan ini mengurangi insiden. Simpan data dasar dan data tindak lanjut Anda sendiri dan perlakukan data tersebut sebagai bukti lokal.
Kendala apa saja yang mungkin tetap ada bahkan setelah keterampilan meningkat?
Bersikap jujurlah tentang hal-hal ini kepada sponsor:
- Dokumen tinjauan masih dapat menjadi masukan dalam pengambilan keputusan terkait kinerja.
- Tim yang berada di bawah tekanan pengiriman mungkin melewatkan tindakan yang mahal tetapi masuk akal.
- Aksi antar tim mungkin terhenti karena tidak ada yang menguasai batas wilayah tersebut.
- Para insinyur senior mungkin masih mendominasi diskusi.
Analisis yang lebih baik tidak menghilangkan hal-hal ini. Rencanakan perubahan proses terpisah untuk hal-hal tersebut.
Menerapkannya dalam praktik dengan AhaSlides
AhaSlides Mendukung pembelajaran adaptif, pembelajaran interaktif, dan perpindahan antara penyampaian langsung dan mandiri. Dalam perjalanan ini, hal itu dapat berarti langkah persiapan mandiri, sesi studi kasus langsung atau yang difasilitasi dengan pertanyaan terbuka sehingga setiap orang berkomitmen pada analisis sebelum kelompok berdiskusi, dan tugas tindak lanjut setelah sesi. Fungsi pembuatan, penilaian, dan pelaporan tertentu harus diperiksa dalam demonstrasi terhadap kasus Anda sendiri sebelum Anda mengandalkannya, dan apa pun yang melibatkan AI, simulator, atau integrasi dengan perangkat penanganan insiden Anda harus diperlakukan sebagai eksternal sampai ditunjukkan.
Langkah berikutnya: Ambil rubrik di atas dan sesuaikan dengan salah satu insinyur senior Anda, lalu buatlah kasus yang akan Anda gunakan.
Setelah Anda menyusun kasus dan rubriknya, jelajahi bagaimana versi langsung dan mandiri dari perjalanan ini dapat diterapkan. AhaSlides.
