Upozornenie sa spustí o 02:10. Inžinier odošle zmenu konfigurácie, služba platby začne vracať chyby a vedúci pracovník na pohotovosti ju o 40 minút neskôr zruší. Na kontrolnej schôdzi je prvou otázkou: „Kto odoslal zmenu?“ V priebehu niekoľkých minút sa konverzácia točí okolo úsudku jednej osoby o 2:00 ráno a nikto sa nepýta, prečo sa zmena mohla dostať do produkcie bez kanárika, prečo trvalo tak dlho nastránkovanie upozornenia alebo prečo bol runbook zastaraný.
Toto je ilustratívny scenár, nie prípad zákazníka. Je rozpoznateľný, pretože sa stáva: analýza incidentu, ktorá sa zameriava na poslednú osobu, ktorá konala, vytvára úhľadný príbeh a prináša len veľmi málo poznatkov.
Táto príručka je určená pre manažérov v oblasti inžinierstva a vedúcich pracovníkov v oblasti vzdelávania, ktorí chcú, aby sa ľudia zlepšili v analýze dôkazov o incidentoch a odsúhlasovaní vylepšení, ktoré je možné testovať. Zahŕňa to, ako oddeliť medzery v zručnostiach od okolitých podmienok, ako navrhnúť postupy, ako viesť rozbor a ako merať, či hodnotenia fungujú.
Čo znamená a čo neznamená slovo „bezúhonný“
Kniha spoločnosti Google s názvom Site Reliability Engineering to jasne hovorí: aby bola analýza skutočne bezúhonná, musí sa zamerať na identifikáciu prispievajúcich príčin incidentu bez toho, aby sa akýkoľvek jednotlivec alebo tím obvinil zo zlého alebo nevhodného správania. Opisuje tiež základný predpoklad: všetci zúčastnení konali s dobrými úmyslami a urobili správnu vec s informáciami, ktoré mali k dispozícii.Kniha Google SRE s názvom „Postmortálna kultúra: Učenie sa zo zlyhania“.)
Bezúhonnosť neznamená bez následkov. Tá istá kapitola očakáva, že posudky po ukončení projektu budú končiť akčnými úlohami s prioritou a vlastníkom. Bezúhonné skúmanie si stále vyžaduje zodpovednosť, ale zodpovednosť sa presúva z „kto to spôsobil“ na „kto zabezpečí bezpečnosť systému a dokedy“. Ak vaše hodnotenia preskočia druhú polovicu, máte príjemný rozhovor, nie proces učenia.
1. Identifikujte správanie a jeho kontext
Začnite s konkrétnym správaním, ktoré chcete zmeniť. Výrok „Naše kontroly incidentov sa zameriavajú na poslednú osobu, ktorá koná“ je zrejmý. „Naša kultúra je založená na obviňovaní“ nie je.
Potom sa opýtajte, či je to vôbec problém so zručnosťami. Tréning dokáže vyriešiť len niektoré príčiny slabého výkonu. Predtým, ako niečo postavíte, rozdeľte tri možnosti:
- Chýbajúca zručnosť. Recenzenti nevedia, ako vytvoriť časovú os, rozlíšiť spúšťač od prispievajúceho faktora alebo sa pýtať „čo spôsobilo, že sa tento čin v danom čase zdal rozumný?“.
- Stimuly. Recenzie sú súčasťou rozhovorov o výkonnosti, takže ľudia upravujú svoje účty tak, aby sa chránili.
- Gradienty autority a minulé reakcie. Mladší inžinier, ktorý minulý štvrťrok nastolil problém a bolo mu povedané, aby prestal byť negatívny, ho na tomto stretnutí nenastolí, bez ohľadu na to, ako dobre je vyškolený.
Iba prvý je problém tréningu. Ďalšie dva sú podmienky. Ak trénujete zručnosť a necháte podmienky tak, ľudia si nacvičia niečo, čo pracovisko trestá. Berte svoj súčasný pohľad na príčinu ako hypotézu a otestujte ho niekoľkými rozhovormi s inžiniermi a pohľadom na nedávne hodnotiace dokumenty predtým, ako sa zaviažete k programu.
2. Stanovte prevádzkové podmienky pre prax
Cvičenie sa presúva iba vtedy, ak naň odpovie pracovisko. Predtým, ako niekto začne skúšať, dohodnite sa s ľuďmi, ktorí vykonávajú kontroly, na týchto veciach:
- Schválené zodpovednosti. Kto facilituje, kto píše časový harmonogram, kto je zodpovedný za následné akcie? Jasne stanovte úlohy, aby facilitátor neimprovizoval s autoritou.
- Ako lídri prijímajú obavy. Ak inžinier povie „nástroj na nasadenie mi dovolil preskočiť kanárika“, čo urobí riaditeľ ďalej? Vopred sa rozhodnite o odpovedi, napríklad: poďakujte sa im, zaznamenajte to ako prispievajúci faktor a priraďte akciu.
- Reakcia supervízora. Nácvik zamestnancov si vyžaduje zodpovedajúcu reakciu nadriadeného. Ak školíte inžinierov, aby sa pri hodnoteniach vyjadrovali, ale ich manažéri sa stále pýtajú: „Čia to bola chyba?“, školenie prehrá.
Stručný inštruktáž pre manažérov o procese hodnotenia je rovnako dôležitá ako školenie pre účastníkov. Uveďte jasné vysvetlenie, ako sa hodnotiace dokumenty používajú a ako sa nepoužívajú pri riadení výkonnosti.
3. Navrhnite vzdelávaciu cestu založenú na správaní
Usmernenia Centra Carnegie Mellon Eberly týkajúce sa vzdelávacích cieľov uvádzajú užitočný bod, že ciele, hodnotenia a inštruktážne stratégie by mali byť navzájom zosúladené (Eberly Center, Ciele vzdelávania). To je síce usmernenie k návrhu, nie dôkazy o konkrétnom nástroji alebo výsledku, ale je to dobrý test pre tento program: ak je cieľom analyzovať dôkazy a dohodnúť sa na testovateľných vylepšeniach, potom samotné otázky na pripomenutie nemôžu byť hodnotením.
Bloomova taxonómia tu pomáha ako spôsob, ako opísať kognitívnu náročnosť úlohy: analyzovať, hodnotiť, tvoriť. Opisuje, čo úloha od človeka vyžaduje. Nevysvetľuje, prečo to človek robí alebo nerobí, takže ju nepoužívajte na diagnostikovanie motivácie.
Funkčná cesta má tri fázy.
| Situácia | Akcia študenta | Doprava |
|---|---|---|
| Príprava | Prečítajte si zásady kontroly incidentov a krátky glosár (spúšťač, prispievajúci faktor, zmierňujúci faktor, akčná položka). Stručná diagnostická kontrola predpokladov. | Štúdium vlastným tempom. Kontrola vedomostí potvrdzuje iba predpoklady, nie prehodnocuje zručnosti. |
| Prax | Analyzujte pripravený prípad incidentu a dohodnite sa na testovateľných vylepšeniach. Vyžaduje sa odôvodnená odpoveď, nie výber z viacerých možností. | Interaktívna alebo facilitovaná prax s prípadovou štúdiou a spätnou väzbou o kvalite analýzy prispievajúcich faktorov a následných krokoch. |
| Kontrola a prenos | Prediskutujte jednu nejednoznačnú voľbu a potom dokončite nový prípad alebo riadené skutočné preskúmanie. | Živý koučing alebo asynchrónne hodnotenie. Skontrolujte prenos po tom, čo ľudia mali čas využiť zručnosť v práci. |
Udržujte prípad realistický a nechajte si ho overiť skúseným inžinierom. Technicky nesprávny prípad učí recenzentov nedôverovať danému cvičeniu.
4. Prepracujte si scenár a zhrňte ho
Tu je návod, ako by mohlo prebiehať cvičenie so scenárom 02:10. Balík dôkazov obsahuje protokol nasadenia, časovú os upozornení, stránkovaciu politiku, žiadosť o stiahnutie zmien a súbor runbook, všetko fiktívne.
Výzva pre účastníka. „Vysvetlite, prečo inžinier presadil zmenu, keď to urobil. Uveďte dôkazy, ktoré ste použili. Povedzte nám, aké ďalšie informácie alebo podporu by ste potrebovali, aby ste si mohli byť istí.“
Slabá odpoveď znie takto: „Inžinier mal skontrolovať prípravu na staging.“ Uvádza meno osoby, nič necituje a nenavrhuje žiadnu zmenu.
Dôraznejšia odpoveď znie takto: „Záznam o nasadení ukazuje, že zmena bola vykonaná priamo, pretože krok canary je v nástroji voliteľný. Žiadosť o stiahnutie mala jedného recenzenta, ktorý ju schválil po 20-minútovom okne. Stránka sa spustila 18 minút po začatí chýb, pretože prahová hodnota upozornenia bola nastavená na päťminútový priemer. Chcel by som vedieť, koľko ďalších zmien tento mesiac preskočilo krok canary a či bolo inžinierom na pohotovosti niekedy povedané, že krok je možné preskočiť. Navrhované akcie: urobiť krok canary povinným pre túto úroveň služieb, vlastník: tím platformy, kontrola: pokúsiť sa o nasadenie skipped-canary v štádiu prípravy a potvrdiť, že je blokované; znížiť okno upozornenia, vlastník: vedúci na pohotovosti, kontrola: prehrať chyby z minulého týždňa oproti novej prahovej hodnote.“
Všimnite si, čo to robí lepším. Používa dôkazy, pomenúva obmedzenia a neistotu a končí krokmi, ktoré je možné otestovať.
Teraz rozbor. Nezaraďujte to len do bodovania. Opýtajte sa:
- Čo podporili dôkazy a čo ste predpokladali?
- Ktoré z vašich akcií by tím skutočne mal právomoc vykonať?
- Čo by vám uľahčilo zopakovanie tohto správania pri ďalšej skutočnej kontrole? Čo by to sťažilo?
Tretia otázka je najdôležitejšia. Objasňuje podmienky z druhej časti. Ak traja účastníci povedia „môj manažér sa opýta, kto to urobil“, zistili ste, že obmedzenie, ktoré tréning nedokáže odstrániť.
5. Meranie správania a jeho následné výsledky
Kľúčovou otázkou je, aké dôkazy by preukázali, že študenti dokážu analyzovať dôkazy o incidentoch a dohodnúť sa na testovateľných vylepšeniach. Tu je rubrika, z ktorej sa dá začať. Ide o návrh na adaptáciu so skúseným inžinierom, nie o validovaný štandard pripravenosti.
| kritérium | Pozorovateľné dôkazy | 0 | 1 | 2 |
|---|---|---|---|---|
| Vykonanie úlohy | Analyzuje dôkazy a schvaľuje vylepšenia; zaznamenáva opatrenia a dôkazy, ktoré za nimi stoja | Chýba alebo nie je podporované | Čiastočné, s relevantnými opomenutiami | Úplné a odôvodnené podľa dohodnutých kritérií |
| uvažovanie | Vysvetľuje obmedzenia, alternatívy a neistotu; prispievajúce faktory idú nad rámec posledného pôsobenia | Chýba alebo nie je podporované | Čiastočné, s relevantnými opomenutiami | Úplné a odôvodnené |
| Hranice | Používa schválené postupy; žiada o pomoc, keď chýbajú informácie alebo oprávnenia | Chýba alebo nie je podporované | Čiastočné, s relevantnými opomenutiami | Úplné a odôvodnené |
Kritické chyby definujte samostatne, napríklad pomenujte jednotlivca ako príčinu alebo navrhnite akciu bez zodpovednosti. Vysoké celkové skóre nesmie nikdy zakrývať kritické zlyhanie.
Pre samotné meranie:
- Kvalita analýzy prispievajúcich faktorov. Porovnajte recenzie napísané pred programom s recenziami napísanými neskôr, ktoré boli hodnotené podľa rovnakej rubriky niekým, kto nevie, ktorá je ktorá. Použite nevidené následné prípady, ako aj skutočné.
- Dokončenie. Vypočítajte podiel akčných položiek, ktoré majú vlastníka, test a boli dokončené, zo všetkých nastolených akčných položiek. Uveďte menovateľ a časové okno.
- Spárujte pozorovanie so zmenami procesu. Urobte si skutočnú recenziu. Skontrolujte, čo sa stalo s akčnými položkami potom.
Buďte opatrní s objemom hlásení. Ak sa po programe zaznamená viac problémov a takmer neúspechov, môže to znamenať, že sa zlepšila bezpečnosť, dôvera alebo nový nástroj uľahčil zaznamenávanie. Pád môže znamenať menej problémov alebo menšiu ochotu hovoriť. Predtým, ako akýkoľvek pohyb pripíšete tréningu, pozrite sa na to, čo sa zmenilo v rovnakom období, a vyhnite sa tvrdeniu o veľkosti účinku, ktorú ste nezmerali.
Uvedené Eberlyho usmernenie o zarovnaní rámcov nie je dôkazom, že tento prístup znižuje počet incidentov. Uschovajte si vlastné východiskové a následné údaje a považujte ich za lokálne dôkazy.
Ktoré obmedzenia môžu pretrvávať aj po zlepšení zručností
Buďte k sponzorom úprimní v týchto veciach:
- Dokumenty z kontroly môžu stále prispievať k rozhodnutiam o výkonnosti.
- Tímy pod tlakom môžu vynechať akcie, ktoré sú nákladné, ale rozumné.
- Akcie medzi tímami sa môžu zastaviť, pretože nikto nevlastní hranicu ihriska.
- Diskusii môžu stále dominovať vedúci inžinieri.
Lepšia analýza ich neodstráni. Naplánujte si pre ne samostatné zmeny procesov.
Uvedenie do praxe s AhaSlides
AhaSlides podporuje adaptívne učenie, interaktívne učenie a prechod medzi živým a vlastným tempom výučby. V rámci tejto cesty by to mohlo znamenať krok prípravy s vlastným tempom, živú alebo facilitovanú prípadovú konzultáciu s otvorenými odpoveďami, aby sa každý zaviazal k analýze pred diskusiou v skupine, a následnú úlohu po konzultácii. Konkrétne funkcie tvorby, bodovania a reportovania by sa mali skontrolovať v ukážke s vaším vlastným prípadom predtým, ako sa na ne spoľahnete, a všetko, čo zahŕňa umelú inteligenciu, simulátory alebo integrácie s vašimi nástrojmi na riešenie incidentov, by sa malo považovať za externé, kým sa to nepredvedie.
Ďalši krok: Vezmite si vyššie uvedenú rubriku a upravte ju s jedným zo svojich vedúcich inžinierov a potom zostavte prípad, ktorý budete používať.
Keď už máte vypracovaný prípad a rubriku, preskúmajte, ako by mohla fungovať živá a vlastná verzia tejto cesty. AhaSlides.
