Upozorenje se aktivira u 02:10. Inženjer šalje promjenu konfiguracije, usluga naplate počinje vraćati pogreške, a dežurni voditelj je poništava 40 minuta kasnije. Na sastanku pregleda prvo pitanje je "Tko je poslao promjenu?" U roku od nekoliko minuta razgovor se vrti oko procjene jedne osobe u 2 ujutro, a nitko ne pita zašto je promjena mogla stići u produkciju bez "canary", zašto je upozorenju trebalo toliko dugo da se stranice ili zašto je runbook zastario.
Ovo je ilustrativan scenarij, a ne slučaj kupca. Prepoznatljiv je jer se događa: pregled incidenta koji se usredotočuje na posljednju osobu koja djeluje stvara urednu priču i vrlo malo pouke.
Ovaj je vodič namijenjen voditeljima inženjerskih projekata i voditeljima osposobljavanja koji žele da ljudi postanu bolji u analizi dokaza o incidentima i dogovaranju poboljšanja koja se mogu testirati. Obuhvaća kako odvojiti nedostatke u vještinama od uvjeta oko njih, kako osmisliti praksu, kako provoditi debrifing i kako mjeriti jesu li pregledi učinkoviti.
Što znači, a što ne znači "nevin"
Googleova knjiga o pouzdanosti web-mjesta jasno kaže: da bi obdukcija bila doista besprijekorna, mora se usredotočiti na identificiranje uzroka koji su doprinijeli incidentu, bez optuživanja bilo kojeg pojedinca ili tima za loše ili neprimjereno ponašanje. Također opisuje pretpostavku koja je u osnovi: svi uključeni djelovali su s dobrim namjerama i učinili pravu stvar s informacijama koje su imali.Knjiga Google SRE-a, "Postmortem kultura: Učenje iz neuspjeha".)
Neokrivljenost ne znači bez posljedica. U istom poglavlju se očekuje da će obdukcije završiti akcijskim stavkama s prioritetom i vlasnikom. Ispitivanje bez okrivljenosti i dalje zahtijeva odgovornost, ali odgovornost se pomiče s "tko je ovo uzrokovao" na "tko će učiniti sustav sigurnijim i do kada". Ako vaši pregledi preskoče drugu polovicu, imate ugodan razgovor, a ne proces učenja.
1. Odredite ponašanje i njegov kontekst
Započnite s konkretnim ponašanjem koje želite promijeniti. "Naši pregledi incidenata usredotočeni su na posljednju osobu koja djeluje" je uočljivo. "Naša je kultura pretežno okrivljavanja" nije.
Zatim se zapitajte je li to uopće problem s vještinom. Trening može riješiti samo neke uzroke loših performansi. Prije nego što išta izgradite, razdvojite tri mogućnosti:
- Nedostajuća vještina. Recenzenti ne znaju kako izraditi vremensku crtu, razlikovati okidač od faktora koji doprinosi događaju ili pitati "što je u to vrijeme učinilo ovu radnju razumnom?".
- Poticaji. Recenzije doprinose razgovorima o učinkovitosti, pa ljudi oblikuju svoje račune kako bi zaštitili sebe.
- Gradijenti autoriteta i prošli odgovori. Mlađi inženjer koji je prošlog tromjesečja izrazio zabrinutost i kojem je rečeno da prestane biti negativan, neće je iznijeti na ovom sastanku, koliko god dobro obučen bio.
Samo je prvi problem obuke. Druga dva su uvjeti. Ako uvježbate vještinu i ostavite uvjete netaknutima, ljudi će uvježbavati nešto što radno mjesto kažnjava. Tretirajte svoj trenutni pogled na uzrok kao hipotezu i testirajte ga s nekoliko razgovora s inženjerima i pregledom nedavnih dokumenata o pregledu prije nego što se obvežete na program.
2. Postavite operativne uvjete za praksu
Vježba se prenosi samo ako radno mjesto odgovori. Prije nego što netko počne s vježbama, dogovorite sljedeće s ljudima koji provode preglede:
- Odobrene odgovornosti. Tko vodi proces, tko piše vremenski plan, tko je odgovoran za daljnje radnje? Uloge trebaju biti jasno definirane kako voditelj ne bi improvizirao s autoritetom.
- Kako vođe primaju zabrinutosti. Ako inženjer kaže „alat za implementaciju mi je omogućio da preskočim kanarinca“, što direktor radi sljedeće? Unaprijed odlučite o odgovoru, na primjer: zahvalite im se, zabilježite to kao doprinosni faktor i dodijelite radnju.
- Odgovor nadzornika. Proba osoblja zahtijeva odgovarajući odgovor nadređenog. Ako obučite inženjere da se javno izjašnjavaju u pregledima, ali njihovi menadžeri i dalje pitaju "čija je to krivnja?", obuka će izgubiti.
Kratki brifing za menadžere o procesu pregleda jednako je važan kao i obuka za sudionike. Uključite jasnu izjavu o tome kako se dokumenti pregleda koriste, a kako se ne koriste u upravljanju učinkom.
3. Osmislite putovanje učenja temeljeno na ponašanju
Smjernice Centra Carnegie Mellon Eberly o ciljevima učenja ističu korisnu poantu da ciljevi, procjene i nastavne strategije trebaju biti međusobno usklađeni (Eberly Center, Ciljevi učenja). To su smjernice za dizajn, a ne dokazi o nekom određenom alatu ili ishodu, ali su dobar test za ovaj program: ako je cilj analizirati dokaze i dogovoriti se o poboljšanjima koja se mogu testirati, tada sama pitanja za prisjećanje ne mogu biti procjena.
Bloomova taksonomija ovdje pomaže kao način opisivanja kognitivnog zahtjeva zadatka: analizirati, procijeniti, stvoriti. Opisuje što zadatak traži od osobe. Ne objašnjava zašto to rade ili ne rade, stoga je nemojte koristiti za dijagnosticiranje motivacije.
Izvedivo putovanje ima tri faze.
| Stadij | Radnja učenika | dostava |
|---|---|---|
| Priprema | Pročitajte svoju politiku pregleda incidenata i kratki glosar (okidač, faktor koji doprinosi, ublažavanje, akcijska stavka). Kratka dijagnostička provjera preduvjeta. | Učenje vlastitim tempom. Provjera prisjećanja potvrđuje samo preduvjete, a ne i vještinu ponavljanja. |
| Praksa | Analizirajte pripremljeni slučaj incidenta i dogovorite se o poboljšanjima koja se mogu testirati. Potreban je obrazložen odgovor, a ne višestruki izbor. | Interaktivna ili vođena praksa slučaja, s povratnim informacijama o kvaliteti analize doprinosećih faktora i praćenju. |
| Pregled i prijenos | Raspravite o jednom dvosmislenom izboru, a zatim dovršite novi slučaj ili nadzirani stvarni pregled. | Koučing uživo ili asinkroni pregled. Provjerite prijenos nakon što su ljudi imali vremena koristiti vještinu na poslu. |
Neka slučaj bude realističan i neka ga potvrdi iskusni inženjer. Slučaj koji je tehnički pogrešan uči recenzente da ne vjeruju u vježbu.
4. Proradite scenarij i napravite analizu
Evo kako bi se mogla odvijati vježba sa scenarijem 02:10. Paket dokaza sadrži zapisnik implementacije, vremensku crtu upozorenja, politiku straničenja, zahtjev za povlačenjem i runbook, sve izmišljeno.
Uputa sudioniku. "Objasnite zašto je inženjer forsirao promjenu baš kada je to učinio. Navedite dokaze koje ste koristili. Recite nam koje dodatne informacije ili podršku trebate prije nego što budete sigurni."
Slab odgovor zvuči ovako: "Inženjer je trebao provjeriti pripremu." Navodi ime osobe, ne navodi ništa i ne predlaže nikakvu promjenu.
Snažniji odgovor zvuči ovako: „Zapisnik implementacije pokazuje da je promjena izravno izvršena jer je korak canary opcionalan u alatu. Zahtjev za povlačenje imao je jednog recenzenta koji ga je odobrio nakon prozora od 20 minuta. Stranica se pokrenula 18 minuta nakon što su se pojavile pogreške jer je prag upozorenja postavljen na prosjek od pet minuta. Želio bih znati koliko je drugih promjena ovog mjeseca preskočilo canary i jesu li dežurni inženjeri ikada dobili obavijest da se korak može preskočiti. Predložene radnje: učiniti canary obveznim za ovu razinu usluge, vlasnik: tim platforme, provjera: pokušati implementaciju skipped-canary u pripremi i potvrditi da je blokirana; sniziti prozor upozorenja, vlasnik: voditelj dežurstva, provjera: ponovno prikazati prošlotjedne pogreške u odnosu na novi prag.“
Primijetite što ga čini boljim. Koristi dokaze, imenuje ograničenja i neizvjesnost te završava radnjama koje se mogu testirati.
Sada slijedi analiza. Nemojte samo bodovati. Pitajte:
- Što su dokazi potvrdili, a što ste pretpostavili?
- Koje od vaših radnji bi tim zapravo imao ovlasti poduzeti?
- Što bi olakšalo ponavljanje ovog ponašanja u sljedećoj pravoj recenziji? Što bi ga otežalo?
Treće pitanje je najvažnije. Ono ističe uvjete iz 2. odjeljka. Ako tri sudionika kažu "moj menadžer će pitati tko je to učinio", otkrili ste ograničenje koje trening ne može ukloniti.
5. Mjerenje ponašanja i praćenje rezultata
Ključno pitanje je koji bi dokazi pokazali da učenici mogu analizirati dokaze o incidentima i dogovoriti se o testiranim poboljšanjima. Evo rubrike za početak. To je prijedlog za prilagodbu s iskusnim inženjerom, a ne validirani standard spremnosti.
| Kriterij | Vidljivi dokazi | 0 | 1 | 2 |
|---|---|---|---|---|
| Izvršenje zadatka | Analizira dokaze i dogovara poboljšanja; bilježi radnju i dokaze koji stoje iza nje | Odsutno ili nepodržano | Djelomično, s relevantnim izostavljanjima | Potpuno i opravdano prema dogovorenim kriterijima |
| Rasuđivanje | Objašnjava ograničenja, alternative i neizvjesnost; faktori koji doprinose nadilaze posljednju radnju | Odsutno ili nepodržano | Djelomično, s relevantnim izostavljanjima | Potpuno i opravdano |
| Granice | Koristi odobrene postupke; traži pomoć kada nedostaju informacije ili ovlaštenja | Odsutno ili nepodržano | Djelomično, s relevantnim izostavljanjima | Potpuno i opravdano |
Kritične pogreške definirajte zasebno, na primjer imenovanjem pojedinca kao uzroka ili predlaganjem akcije bez vlasnika. Visok ukupni rezultat nikada ne smije prikriti kritičan neuspjeh.
Za samo mjerenje:
- Kvaliteta analize doprinosnih faktora. Usporedite recenzije napisane prije programa s recenzijama napisanim nakon programa, ocijenjenim prema istoj rubrici od strane nekoga tko ne zna koji je koji. Koristite neviđene naknadne slučajeve kao i stvarne.
- Praćenje. Izbrojite udio akcijskih stavki koje imaju vlasnika, test i koje su dovršene od svih pokrenutih akcijskih stavki. Navedite nazivnik i vremenski okvir.
- Spojite promatranje s promjenama procesa. Napravite pravi pregled. Provjerite što se dogodilo s akcijama nakon toga.
Budite oprezni s količinom prijava. Ako se nakon programa zabilježi više problema i zamalo promašaja, to bi moglo značiti da se poboljšala sigurnost, povjerenje ili da je novi alat olakšao evidentiranje. Pad bi mogao značiti manje problema ili manju spremnost za razgovor. Pogledajte što se promijenilo u istom razdoblju prije nego što bilo kakvo kretanje pripišete obuci i izbjegavajte tvrditi da nemate veličinu učinka koju niste izmjerili.
Eberlyjeve smjernice gore navedene u okvirima usklađivanja nisu dokaz da ovaj pristup smanjuje broj incidenata. Zadržite vlastite osnovne i naknadne podatke i tretirajte ih kao lokalne dokaze.
Koja ograničenja mogu ostati čak i nakon poboljšanja vještina
Budite iskreni u vezi s ovim sa sponzorima:
- Dokumenti pregleda i dalje mogu utjecati na odluke o učinkovitosti.
- Timovi pod pritiskom isporuke mogu preskočiti akcije koje su skupe, ali razumne.
- Akcije među timovima mogu zastati jer nitko ne posjeduje granicu.
- Viši inženjeri i dalje mogu dominirati raspravom.
Bolja analiza ih ne uklanja. Planirajte zasebne promjene procesa za njih.
Primjena u praksi s AhaSlides
AhaSlides podržava adaptivno učenje, interaktivno učenje i prelazak između nastave uživo i nastave vlastitim tempom. U ovom procesu to bi moglo značiti korak pripreme vlastitim tempom, sesiju slučaja uživo ili vođenu sesiju slučaja s otvorenim upitima za odgovor kako bi se svi obvezali na analizu prije nego što grupa raspravlja, te zadatak praćenja nakon sesije. Specifične funkcije autorstva, bodovanja i izvještavanja trebale bi se provjeriti u demonstraciji u odnosu na vaš vlastiti slučaj prije nego što se na njih oslonite, a sve što uključuje umjetnu inteligenciju, simulatore ili integracije s vašim alatima za incidente treba tretirati kao vanjsko dok se ne pokaže.
Sljedeći korak: Uzmite gornju rubriku i prilagodite je s jednim od svojih viših inženjera, a zatim izradite slučaj koji ćete koristiti.
Nakon što ste izradili studiju slučaja i rubriku, istražite kako bi mogla funkcionirati verzija ovog putovanja uživo i vlastitim tempom. AhaSlides.
