Isang alerto ang gumana nang 02:10. Isang inhinyero ang nagtulak ng pagbabago sa configuration, ang serbisyo ng checkout ay nagsimulang magbalik ng mga error, at ang on-call lead ay nagbabalik nito pagkalipas ng 40 minuto. Sa pulong ng pagsusuri, ang unang tanong ay "Sino ang nagtulak ng pagbabago?" Sa loob ng ilang minuto, ang pag-uusap ay tungkol sa paghatol ng isang tao nang 2am, at walang nagtatanong kung bakit nakarating ang pagbabago sa produksyon nang walang kanaryo, kung bakit natagalan ang pahina ng alerto, o kung bakit luma na ang runbook.
Ito ay isang naglalarawang senaryo, hindi isang kaso ng kostumer. Makikilala ito dahil nangyayari ito: ang isang pagsusuri ng insidente na nakatuon sa huling taong kumilos ay lumilikha ng isang maayos na kuwento at napakakaunting aral.
Ang gabay na ito ay para sa mga engineering manager at enablement lead na nagnanais na ang mga tao ay maging mas mahusay sa pagsusuri ng ebidensya ng insidente at pagsang-ayon sa mga pagpapabuti na maaaring masubukan. Saklaw nito kung paano paghiwalayin ang mga kakulangan sa kasanayan mula sa mga kondisyon sa kanilang paligid, kung paano magdisenyo ng kasanayan, kung paano mag-debrief, at kung paano sukatin kung epektibo ang mga pagsusuri.
Ano ang ibig sabihin at hindi ibig sabihin ng "walang kapintasan"
Malinaw na sinasabi ng aklat ng Google na Site Reliability Engineering: para maging tunay na walang kapintasan ang isang postmortem, dapat itong tumuon sa pagtukoy sa mga nag-ambag na sanhi ng insidente nang hindi isinasakdal ang sinumang indibidwal o pangkat para sa masama o hindi naaangkop na pag-uugali. Inilalarawan din nito ang palagay sa ibaba: lahat ng kasangkot ay kumilos nang may mabuting intensyon at ginawa ang tama gamit ang impormasyong mayroon sila.Aklat ng Google SRE, "Kultura ng Postmortem: Pagkatuto mula sa Pagkabigo".)
Ang "walang kapintasan" ay hindi nangangahulugang walang kahihinatnan. Inaasahan din sa kabanatang ito na ang mga postmortem ay magtatapos sa mga aksyon na may prayoridad at may-ari. Ang "walang kapintasang pagsisiyasat" ay nangangailangan pa rin ng pananagutan, ngunit ang pananagutan ay lumilipat mula sa "sino ang nagdulot nito" patungo sa "sino ang gagawing mas ligtas ang sistema, at kailan". Kung hindi matatapos ang iyong mga pagsusuri sa ikalawang bahagi, magkakaroon kayo ng kaaya-ayang pag-uusap, hindi isang proseso ng pagkatuto.
1. Tukuyin ang kilos at ang konteksto nito
Magsimula sa partikular na pag-uugali na gusto mong baguhin. Mapapansin na "Ang aming mga pagsusuri sa insidente ay nakatuon sa huling taong kikilos". Hindi "Ang aming kultura ay maraming sisi."
Pagkatapos ay itanong kung ito ba ay isang problema sa kasanayan. Ang pagsasanay ay maaari lamang ayusin ang ilang mga sanhi ng mahinang pagganap. Bago ka bumuo ng anumang bagay, paghiwalayin ang tatlong posibilidad:
- Isang nawawalang kasanayan. Hindi alam ng mga tagasuri kung paano bumuo ng timeline, pag-iba-ibahin ang isang nag-uudyok mula sa isang nag-aambag na salik, o pagtatanong ng "ano ang nagpamukhang makatwiran sa aksyong ito noong panahong iyon?"
- Mga Insentibo. Ang mga review ay nakakaapekto sa mga usapang pang-performance, kaya hinuhubog ng mga tao ang kanilang mga account para protektahan ang kanilang sarili.
- Mga gradient ng awtoridad at mga nakaraang tugon. Isang junior engineer na nagtaas ng alalahanin noong nakaraang quarter at sinabihang tumigil sa pagiging negatibo ay hindi na magtataas nito sa pulong na ito, gaano man sila kahusay magsanay.
Ang una lamang ay problema sa pagsasanay. Ang dalawa pa ay mga kondisyon. Kung sasanayin mo ang kasanayan at hahayaan mo na lang ang mga kondisyon, magsasanay ang mga tao ng isang bagay na pinaparusahan ng lugar ng trabaho. Ituring ang iyong kasalukuyang pananaw sa sanhi bilang isang hipotesis, at subukan ito sa pamamagitan ng ilang pag-uusap sa mga inhinyero at pagtingin sa mga kamakailang dokumento ng pagsusuri bago ka mangako sa isang programa.
2. Itakda ang mga kondisyon sa pagpapatakbo para sa pagsasanay
Magsanay lamang sa mga paglilipat kung ang lugar ng trabaho ang sasagot nito. Bago mag-ensayo ang sinuman, sumang-ayon sa mga taong nagsasagawa ng mga pagsusuri:
- Mga inaprubahang responsibilidad. Sino ang nagpapadali, sino ang sumusulat ng timeline, sino ang may-ari ng mga follow-up na aksyon? Gawing malinaw ang mga tungkulin upang ang isang tagapagpadaloy ay hindi maging isang nag-iimprovisadong awtoridad.
- Paano tinatanggap ng mga pinuno ang mga alalahanin. Kung sasabihin ng isang inhinyero na "pinapayagan ako ng deploy tool na laktawan ang kanaryo," ano ang susunod na gagawin ng direktor? Magpasya nang maaga sa sagot, halimbawa: pasalamatan sila, itala ito bilang isang contributing factor, at magtalaga ng isang aksyon.
- Ang tugon ng superbisor. Ang ensayo ng mga kawani ay nangangailangan ng katugmang tugon ng superbisor. Kung sinanay mo ang mga inhinyero na magsalita sa mga pagsusuri ngunit tinatanong pa rin ng kanilang mga tagapamahala na "kanino ang kasalanan?", talo ang pagsasanay.
Ang isang maikling briefing para sa mga tagapamahala tungkol sa proseso ng pagsusuri ay kasinghalaga ng pagsasanay para sa mga kalahok. Magsama ng isang simpleng pahayag kung paano ginagamit at hindi ginagamit ang mga dokumento ng pagsusuri sa pamamahala ng pagganap.
3. Magdisenyo ng isang paglalakbay sa pagkatuto batay sa pag-uugali
Ang gabay ng Carnegie Mellon Eberly Center sa mga layunin ng pagkatuto ay nagbibigay ng kapaki-pakinabang na punto na ang mga layunin, pagtatasa, at mga estratehiya sa pagtuturo ay dapat na magkatugma sa isa't isa (Sentro ng Eberly, Mga Layunin sa PagkatutoGabay sa disenyo iyan, hindi ebidensya tungkol sa anumang partikular na kagamitan o resulta, ngunit isa itong magandang pagsubok para sa programang ito: kung ang layunin ay suriin ang ebidensya at sumang-ayon sa mga masusubukang pagpapabuti, ang mga tanong sa pag-alala lamang ay hindi maaaring maging pagtatasa.
Ang taxonomy ni Bloom ay nakakatulong dito bilang isang paraan upang ilarawan ang kognitibong pangangailangan ng gawain: suriin, suriin, lumikha. Inilalarawan nito kung ano ang hinihingi ng gawain sa isang tao. Hindi nito ipinapaliwanag kung bakit nila ito ginagawa o hindi ginagawa, kaya huwag itong gamitin upang masuri ang motibasyon.
Ang isang matagumpay na paglalakbay ay may tatlong yugto.
| Stage | Aksyon ng mag-aaral | paghahatid |
|---|---|---|
| Paghahanda | Basahin ang iyong patakaran sa pagsusuri ng insidente at isang maikling glosaryo (trigger, contributing factor, mitigation, action item). Isang maikling diagnostic checks ang mga kinakailangan. | Pag-aaral na may sariling bilis. Kinukumpirma lamang ng recall check ang mga kinakailangan, hindi ang kasanayan sa pagrepaso. |
| Pagsasanay | Suriin ang isang inihandang kaso ng insidente at sumang-ayon sa mga pagsubok na pagpapabuti. Kinakailangan ang isang makatwirang tugon, hindi isang multiple-choice na pagpili. | Interaktibo o pinadaling pagsasanay sa kaso, na may kasamang feedback sa kalidad ng contributing factor analysis at follow-through. |
| Pagsusuri at paglilipat | Talakayin ang isang hindi malinaw na pagpipilian, pagkatapos ay kumpletuhin ang isang bagong kaso o isang pinangangasiwaang totoong pagsusuri. | Live coaching o asynchronous review. Suriin ang paglipat pagkatapos magkaroon ng oras ang mga tao para magamit ang kasanayan sa trabaho. |
Panatilihing makatotohanan ang kaso at ipa-validate ito sa isang bihasang inhinyero. Ang isang kaso na mali sa teknikal na aspeto ay nagtuturo sa mga tagasuri na huwag magtiwala sa ginawang pagsusuri.
4. Pag-aralan ang senaryo at pagtalakay
Narito kung paano maaaring tumakbo ang isang sesyon ng pagsasanay gamit ang senaryo na 02:10. Ang evidence pack ay naglalaman ng deploy log, alert timeline, paging policy, pull request at runbook, na pawang kathang-isip lamang.
Paalala sa kalahok. "Ipaliwanag kung bakit itinulak ng inhinyero ang pagbabago gayong ginawa nga nila. Banggitin ang ebidensyang ginamit mo. Sabihin sa amin kung anong karagdagang impormasyon o suporta ang kakailanganin mo bago ka makasiguro."
Ganito ang tunog ng mahinang tugon: "Dapat ay sinuri ng inhinyero ang yugto ng dula." Binanggit nito ang pangalan ng isang tao, walang binabanggit, at walang iminumungkahing pagbabago.
Ganito ang mas malakas na tugon: "Ipinapakita ng deploy log na direktang lumabas ang pagbabago dahil opsyonal ang canary step sa tool. Ang pull request ay may isang reviewer na nag-apruba pagkatapos ng 20 minutong window. Pinagana ang page 18 minuto pagkatapos magsimula ang mga error dahil ang alert threshold ay itinakda para sa limang minutong average. Gusto kong malaman kung gaano karaming iba pang mga pagbabago ngayong buwan ang lumaktaw sa canary, at kung nasabihan na ba ang mga on-call engineer na maaaring laktawan ang hakbang. Mga iminungkahing aksyon: gawing mandatory ang canary para sa service tier na ito, may-ari: platform team, suriin: subukan ang isang skipped-canary deploy sa staging at kumpirmahin na ito ay naharang; ibaba ang alert window, may-ari: on-call lead, suriin: ulitin ang mga error noong nakaraang linggo laban sa bagong threshold."
Pansinin kung ano ang nagpapabuti rito. Gumagamit ito ng ebidensya, binabanggit ang mga limitasyon at kawalan ng katiyakan, at nagtatapos sa mga aksyon na maaaring masubukan.
Ngayon ang debrief. Huwag lang basta bigyan ng puntos. Itanong:
- Ano ang sinusuportahan ng ebidensya, at ano ang iyong ipinapalagay?
- Alin sa mga aksyon mo ang talagang may awtoridad na gawin ng pangkat?
- Ano ang magpapadali sa pag-uulit ng ganitong pag-uugali sa iyong susunod na tunay na pagsusuri? Ano ang magpapahirap dito?
Ang ikatlong tanong ang pinakamahalaga. Inilalahad nito ang mga kundisyon mula sa seksyon 2. Kung tatlong kalahok ang magsasabing "itatanong ng manager ko kung sino ang gumawa nito", natuklasan mong hindi kayang alisin ng isang pagsasanay sa paghihigpit.
5. Sukatin ang pag-uugali at pagsubaybay
Ang pangunahing tanong ay kung anong ebidensya ang magpapakita na kayang suriin ng mga mag-aaral ang ebidensya ng insidente at sumang-ayon sa mga masusubukang pagpapabuti. Narito ang isang rubric para magsimula. Ito ay isang panukala na umangkop sa isang bihasang inhinyero, hindi isang napatunayang pamantayan ng kahandaan.
| Saligan | Napapansing ebidensya | 0 | 1 | 2 |
|---|---|---|---|---|
| Pagpapatupad ng gawain | Sinusuri ang ebidensya at sumasang-ayon sa mga pagpapabuti; itinatala ang aksyon at ang ebidensya sa likod nito | Wala o walang suporta | Bahagyang, may mga kaugnay na pagkukulang | Kumpleto at makatwiran batay sa napagkasunduang pamantayan |
| pangangatwiran | Nagpapaliwanag ng mga limitasyon, alternatibo, at kawalan ng katiyakan; ang mga salik na nakakatulong ay higit pa sa huling aksyon | Wala o walang suporta | Bahagyang, may mga kaugnay na pagkukulang | Kumpleto at makatwiran |
| Mga Hangganan | Gumagamit ng mga aprubadong pamamaraan; humihingi ng tulong kapag kulang ang impormasyon o awtoridad | Wala o walang suporta | Bahagyang, may mga kaugnay na pagkukulang | Kumpleto at makatwiran |
Tukuyin nang hiwalay ang mga kritikal na error, halimbawa ang pagpapangalan sa isang indibidwal bilang sanhi o pagpapanukala ng isang aksyon na walang may-ari. Ang isang mataas na kabuuang iskor ay hindi dapat magtago ng isang kritikal na pagkabigo.
Para sa mismong pagsukat:
- Kalidad ng pagsusuri ng mga nag-aambag na salik. Paghambingin ang mga review na isinulat bago ang programa sa mga review na isinulat pagkatapos, na binigyan ng marka batay sa parehong rubric ng isang taong hindi alam kung alin ang alin. Gumamit ng mga hindi pa nakikitang follow-up na kaso pati na rin ang mga totoong kaso.
- Follow-through. Bilangin ang bahagi ng mga aytem ng aksyon na may may-ari, isang pagsubok, at natapos na, mula sa lahat ng aytem ng aksyon na itinaas. Sabihin ang denominator at ang palugit ng oras.
- Ipares ang obserbasyon sa mga pagbabago sa proseso. Magsagawa ng isang tunay na pagsusuri. Suriin kung ano ang nangyari sa mga aytem na gagawin pagkatapos.
Mag-ingat sa dami ng pag-uulat. Kung mas maraming alalahanin at muntik nang aksidente ang naitala pagkatapos ng programa, maaaring nangangahulugan ito na bumuti ang kaligtasan, bumuti ang tiwala, o mas pinadali ng isang bagong kagamitan ang pag-log. Ang pagkahulog ay maaaring mangahulugan ng mas kaunting problema o mas kaunting kahandaang magsalita. Tingnan kung ano ang nagbago sa parehong panahon bago iugnay ang anumang paggalaw sa pagsasanay, at iwasang mag-angkin ng laki ng epekto na hindi mo pa nasusukat.
Binabalangkas ng gabay na Eberly sa itaas ang pagkakahanay; hindi ito patunay na nababawasan ng pamamaraang ito ang mga insidente. Panatilihin ang sarili mong baseline at follow-up na datos at ituring ang mga ito bilang lokal na ebidensya.
Aling mga limitasyon ang maaaring manatili kahit na umunlad ang mga kasanayan
Maging tapat tungkol dito sa mga sponsor:
- Ang mga dokumento ng pagsusuri ay maaari pa ring maging bahagi ng mga desisyon sa pagganap.
- Ang mga pangkat na nasa ilalim ng pressure sa paghahatid ay maaaring laktawan ang mga aksyon na magastos ngunit makatwiran.
- Maaaring maantala ang mga aksyon sa pagitan ng mga koponan dahil walang nagmamay-ari ng hangganan.
- Maaaring mangibabaw pa rin ang mga senior engineer sa talakayan.
Hindi naaalis ng mas mahusay na pagsusuri ang mga ito. Magplano ng hiwalay na mga pagbabago sa proseso para sa mga ito.
Pagsasagawa nito gamit ang AhaSlides
AhaSlides Sinusuportahan ang adaptive learning, interactive learning, at paglipat sa pagitan ng live at self-paced delivery. Sa paglalakbay na ito, maaaring mangahulugan ito ng isang hakbang sa paghahanda na self-paced, isang live o pinadali na sesyon ng kaso na may mga open-response prompt para ang lahat ay mangako sa isang pagsusuri bago mag-usap ang grupo, at isang follow-up na gawain pagkatapos ng sesyon. Ang mga partikular na function ng pag-author, pagmamarka, at pag-uulat ay dapat suriin sa isang demonstrasyon laban sa iyong sariling kaso bago ka umasa sa mga ito, at anumang bagay na may kinalaman sa AI, mga simulator, o mga integrasyon sa iyong incident tooling ay dapat ituring bilang panlabas hanggang sa maipakita.
Susunod na hakbang: Kunin ang rubric sa itaas at iangkop ito sa isa sa iyong mga senior engineer, pagkatapos ay buuin ang case na gagamitin mo.
Kapag nabalangkas mo na ang kaso at rubric, tuklasin kung paano maaaring gumana ang isang live at self-paced na bersyon ng paglalakbay na ito. AhaSlides.
