V 02:10 se spustí upozornění. Technik odešle změnu konfigurace, služba Checkout začne vracet chyby a vedoucí pohotovostního oddělení ji po 40 minutách vrátí zpět. Na kontrolní schůzce je první otázkou: „Kdo změnu odeslal?“ Během několika minut se konverzace točí kolem úsudku jedné osoby ve 2 hodiny ráno a nikdo se neptá, proč se změna mohla dostat do produkčního prostředí bez kanárka, proč trvalo tak dlouho stránkování upozornění nebo proč byl runbook zastaralý.
Toto je ilustrativní scénář, nikoli případ zákazníka. Je rozpoznatelný, protože se stává: analýza incidentu, která se zaměřuje na poslední osobu, která jednala, vytváří úhledný příběh a přináší jen velmi málo poznatků.
Tato příručka je určena pro manažery inženýrství a vedoucí pracovníky v oblasti podpory, kteří chtějí, aby se lidé zlepšili v analýze důkazů o incidentech a schvalování vylepšení, která lze testovat. Zabývá se tím, jak oddělit mezery v dovednostech od okolních podmínek, jak navrhovat postupy, jak provádět debriefing a jak měřit, zda hodnocení fungují.
Co znamená a co neznamená „bezúhonný“
Kniha Google Site Reliability Engineering to jasně říká: aby byla analýza skutečně bezúhonná, musí se zaměřit na identifikaci přispívajících příčin incidentu, aniž by se jakýkoli jednotlivec nebo tým obvinil ze špatného nebo nevhodného chování. Popisuje také základní předpoklad: všichni zúčastnění jednali s dobrými úmysly a s informacemi, které měli, udělali správnou věc.Kniha Google SRE „Postmortální kultura: Poučení se z neúspěchu“.)
Bez viny neznamená bez následků. Tatáž kapitola očekává, že pitvy skončí úkoly s prioritou a vlastníkem. Bez viny kladené otázky stále vyžadují odpovědnost, ale ta se přesouvá z „kdo to způsobil“ na „kdo zajistí bezpečnost systému a do kdy“. Pokud vaše recenze přeskočí druhou polovinu, máte příjemný rozhovor, nikoli proces učení.
1. Identifikujte chování a jeho kontext
Začněte s konkrétním chováním, které chcete změnit. Fráze „Naše hodnocení incidentů se zaměřuje na poslední osobu, která jedná“ je zřejmá. „Naše kultura je založena na obviňování“ nikoli.
Pak se zeptejte, zda se jedná o problém s dovednostmi. Trénink může napravit pouze některé příčiny špatného výkonu. Než cokoli postavíte, rozdělte tři možnosti:
- Chybějící dovednost. Recenzenti nevědí, jak vytvořit časovou osu, rozlišit spouštěč od přispívajícího faktoru nebo se ptát „co způsobilo, že se tato akce v dané době jevila jako rozumná?“.
- Pobídky. Recenze se podílejí na diskusích o výkonnosti, takže si lidé upravují své účty tak, aby se chránili.
- Gradienty autority a minulé reakce. Mladší inženýr, který v minulém čtvrtletí vznesl obavu a bylo mu řečeno, aby přestal být negativní, ji na této schůzce nevznese, ať je sebevíc proškolený.
Pouze první je problém s tréninkem. Další dva jsou podmínky. Pokud dovednost natrénujete a podmínky necháte na pokoji, lidé si nacvičí něco, co pracoviště trestá. Berte svůj současný pohled na příčinu jako hypotézu a ověřte si ji několika rozhovory s inženýry a pohledem na nedávné recenzní dokumenty, než se do programu zavážete.
2. Stanovte provozní podmínky pro praxi
Cvičení se převádí pouze tehdy, pokud na něj pracoviště odpoví. Než kdokoli začne zkoušet, dohodněte se s lidmi, kteří provádějí kontroly, na těchto bodech:
- Schválené odpovědnosti. Kdo facilituje, kdo píše časový harmonogram a kdo je zodpovědný za následné akce? Jasně stanovte role, aby facilitátor neimprovizoval s autoritou.
- Jak vedoucí přijímají obavy. Pokud technik řekne „nástroj pro nasazení mi dovolil přeskočit kanárka“, co udělá ředitel dál? Rozhodněte se o odpovědi předem, například: poděkujte mu, zaznamenejte to jako přispívající faktor a přiřaďte akci.
- Reakce supervizora. Nácvik zaměstnanců vyžaduje odpovídající reakci nadřízeného. Pokud školíte inženýry, aby se v hodnoceních ozvali, ale jejich manažeři se stále ptají: „Čí to byla chyba?“, školení prohraje.
Stručný instruktáž pro manažery o procesu hodnocení je stejně důležitá jako školení pro účastníky. Uveďte srozumitelný popis toho, jak se dokumenty hodnocení používají a jak se nepoužívají v řízení výkonnosti.
3. Navrhněte cestu učení založenou na chování
Pokyny Centra Carnegie Mellon Eberly k cílům učení uvádějí užitečný argument, že cíle, hodnocení a výukové strategie by měly být vzájemně sladěny (Eberlyho centrum, Cíle učení). To je spíše návrhový návod, nikoli důkaz o konkrétním nástroji nebo výsledku, ale je to dobrý test pro tento program: pokud je cílem analyzovat důkazy a dohodnout se na testovatelných vylepšeních, pak samotné otázky k zapamatování nemohou být hodnocením.
Bloomova taxonomie zde pomáhá jako způsob, jak popsat kognitivní nároky úkolu: analyzovat, hodnotit, tvořit. Popisuje, co úkol od člověka vyžaduje. Nevysvětluje, proč ho člověk dělá nebo nedělá, takže ji nepoužívejte k diagnostice motivace.
Funkční cesta má tři fáze.
| Fáze | Akce studenta | Doručení |
|---|---|---|
| PŘÍPRAVA | Přečtěte si zásady pro kontrolu incidentů a krátký glosář (spouštěč, přispívající faktor, zmírňující opatření, akční bod). Stručná diagnostická kontrola předpokladů. | Studium vlastním tempem. Kontrola opakování pouze potvrzuje předpoklady, nikoli opakuje dovednosti. |
| Praxe | Analyzujte připravený případový plán a dohodněte se na testovatelných vylepšeních. Vyžaduje se odůvodněná odpověď, nikoli výběr z více možností. | Interaktivní nebo facilitovaná praxe s případovou studií a zpětnou vazbou na kvalitu analýzy přispívajících faktorů a následných opatření. |
| Kontrola a převod | Prodiskutujte jednu nejednoznačnou volbu a poté dokončete nový případ nebo řízený skutečný přezkum. | Živý koučing nebo asynchronní kontrola. Zkontrolujte přenos poté, co si lidé danou dovednost vyzkouší v práci. |
Udržujte realistický případ a nechte si ho ověřit zkušeným inženýrem. Technicky chybný případ učí recenzenty nedůvěřovat danému cvičení.
4. Propracujte scénář a proveďte jeho shrnutí
Zde je návod, jak by mohlo probíhat cvičné cvičení se scénářem 02:10. Balíček důkazů obsahuje protokol nasazení, časovou osu upozornění, zásady stránkování, požadavek na změny a runbook, vše fiktivní.
Výzva pro účastníka. „Vysvětlete, proč inženýr změnu prosazoval, když ano. Uveďte důkazy, které jste použili. Sdělte nám, jaké další informace nebo podporu byste potřebovali, než si budete moci být jisti.“
Slabá odpověď zní takto: „Technik měl zkontrolovat přípravu.“ Jmenuje osobu, nic necituje a nenavrhuje žádnou změnu.
Důraznější odpověď zní takto: „Záznam o nasazení ukazuje, že změna byla provedena přímo, protože krok canary je v nástroji volitelný. Žádost o stažení měla jednoho recenzenta, který ji schválil po 20minutovém okně. Stránka se spustila 18 minut po spuštění chyb, protože prahová hodnota upozornění byla nastavena na pětiminutový průměr. Chtěl bych vědět, kolik dalších změn tento měsíc přeskočilo krok canary a zda bylo technikům na telefonu někdy řečeno, že krok je přeskočitelný. Navrhované akce: učinit krok canary povinným pro tuto úroveň služeb, vlastník: tým platformy, kontrola: pokus o nasazení skipped-canary ve staging a potvrzení, že je blokováno; snížení okna upozornění, vlastník: vedoucí na telefonu, kontrola: přehrání chyb z minulého týdne s ohledem na novou prahovou hodnotu.“
Všimněte si, co to dělá lepším. Využívá důkazy, pojmenovává omezení a nejistotu a končí akcemi, které lze otestovat.
A teď rozbor. Nejen to bodujte. Zeptejte se:
- Co důkazy podpořily a co jste předpokládal/a?
- Které z vašich akcí by tým skutečně měl pravomoc provést?
- Co by vám usnadnilo opakování tohoto chování v příští skutečné recenzi? Co by vám to ztížilo?
Třetí otázka je nejdůležitější. Objevuje podmínky z části 2. Pokud tři účastníci řeknou „můj manažer se zeptá, kdo to udělal“, zjistili jste, že omezení, které školení nedokáže odstranit.
5. Měření chování a sledování výsledků
Klíčovou otázkou je, jaké důkazy by prokázaly, že studenti dokáží analyzovat důkazy z incidentů a dohodnout se na testovatelných vylepšeních. Zde je rubrika, ze které se dá vycházet. Jedná se o návrh na adaptaci se zkušeným inženýrem, nikoli o validovaný standard připravenosti.
| Kritérium | Pozorovatelné důkazy | 0 | 1 | 2 |
|---|---|---|---|---|
| Provádění úkolů | Analyzuje důkazy a schvaluje vylepšení; zaznamenává opatření a důkazy, které je za nimi stojí. | Chybí nebo není podepřeno | Částečné, s relevantními opomenutími | Úplné a odůvodněné podle dohodnutých kritérií |
| Uvažování | Vysvětluje omezení, alternativy a nejistotu; přispívající faktory sahají nad rámec poslední akce | Chybí nebo není podepřeno | Částečné, s relevantními opomenutími | Úplné a odůvodněné |
| Hranice | Používá schválené postupy; žádá o pomoc, když chybí informace nebo oprávnění | Chybí nebo není podepřeno | Částečné, s relevantními opomenutími | Úplné a odůvodněné |
Kritické chyby definujte samostatně, například jmenováním osoby jako její příčiny nebo návrhem akce bez uvedení jejího autora. Vysoké celkové skóre nesmí nikdy zakrývat kritické selhání.
Pro samotné měření:
- Kvalita analýzy přispívajících faktorů. Porovnejte recenze napsané před programem s recenzemi napsanými poté, které byly ohodnoceny podle stejné kategorie někým, kdo neví, která z nich je která. Používejte jak neviděné následné případy, tak i skutečné případy.
- Následné plnění. Spočítejte podíl úkolů, které mají vlastníka, test a byly dokončeny, ze všech nastolených úkolů. Uveďte jmenovatel a časové okno.
- Spárujte pozorování se změnami procesu. Udělejte si skutečnou recenzi. Zkontrolujte, co se s úkoly stalo poté.
Buďte opatrní s objemem hlášení. Pokud je po programu zaznamenáno více obav a téměř neúspěchů, může to znamenat, že se zlepšila bezpečnost, důvěra nebo že nový nástroj usnadnil zaznamenávání. Pád může znamenat méně problémů nebo menší ochotu hovořit. Než začnete jakýkoli pohyb připisovat tréninku, podívejte se, co se ve stejném období změnilo, a vyhněte se tvrzení o velikosti účinku, kterou jste neměřili.
Výše uvedené Eberlyho pokyny k zarovnání rámců nejsou důkazem, že tento přístup snižuje počet incidentů. Uschovejte si vlastní výchozí a následná data a zacházejte s nimi jako s lokálními důkazy.
Která omezení mohou přetrvávat i po zlepšení dovedností
Buďte k sponzorům upřímní ohledně těchto věcí:
- Dokumenty z kontrol mohou i nadále přispívat k rozhodování o výkonnosti.
- Týmy pod tlakem plnění mohou vynechat akce, které jsou sice nákladné, ale rozumné.
- Akce napříč týmy se mohou zastavit, protože nikdo nevlastní hranici hřiště.
- Diskusi mohou stále dominovat starší inženýři.
Lepší analýza je neodstraní. Naplánujte pro ně samostatné změny procesů.
Uvedení do praxe s AhaSlides
AhaSlides podporuje adaptivní učení, interaktivní učení a přechod mezi živým a vlastním tempem výuky. V tomto procesu by to mohlo znamenat krok přípravy s vlastním tempem, živou nebo facilitovanou případovou seanci s otevřenými výzvami k odpovědi, aby se všichni zavázali k analýze před diskusí ve skupině, a následný úkol po seanci. Konkrétní funkce pro tvorbu, bodování a reporting by měly být ověřeny v demonstraci s vaším vlastním případem, než se na ně spolehnete, a cokoli, co zahrnuje umělou inteligenci, simulátory nebo integrace s vašimi nástroji pro incidenty, by mělo být považováno za externí, dokud není předvedeno.
Další krok: Vezměte si výše uvedenou rubriku a upravte ji s jedním ze svých vedoucích inženýrů a poté sestavte případ, který budete používat.
Jakmile budete mít návrh případu a rubriky, prozkoumejte, jak by mohla fungovat živá a vlastní verze této cesty. AhaSlides.
