Egy riasztás 02:10-kor aktiválódik. Egy mérnök konfigurációs módosítást hajt végre, a fizetési szolgáltatás hibákat kezd visszaadni, és az ügyeletes vezető 40 perccel később visszavonja azt. A felülvizsgálati megbeszélésen az első kérdés az, hogy "Ki kezdeményezte a módosítást?" Perceken belül a beszélgetés egyetlen személy hajnali 2-kori ítéletéről szól, és senki sem kérdezi meg, hogy miért juthatott el a módosítás éles környezetbe előzetes értesítés nélkül, miért tartott ilyen sokáig a riasztás lapozása, vagy miért elavult a runbook.
Ez egy szemléltető forgatókönyv, nem egy ügyfél esete. Felismerhető, mert megtörténik: egy incidens-felülvizsgálat, amely az utolsó cselekvő személyre koncentrál, rendezett történetet eredményez, de nagyon kevés tanulságot.
Ez az útmutató mérnöki vezetőknek és képzési vezetőknek szól, akik szeretnék, hogy az emberek jobban elsajátítsák az incidensek bizonyítékainak elemzését és a tesztelhető fejlesztések kidolgozását. Kitér arra, hogyan lehet elkülöníteni a készségbeli hiányosságokat a körülöttük lévő körülményektől, hogyan kell megtervezni a gyakorlatot, hogyan kell kiértékelni a helyzetet, és hogyan kell mérni, hogy a felülvizsgálatok működnek-e.
Mit jelent és mit nem a „feddhetetlen”?
A Google Site Reliability Engineering című könyve világosan megfogalmazza: ahhoz, hogy egy utólagos boncolás valóban ártatlan legyen, a kiváltó okok azonosítására kell összpontosítania anélkül, hogy bármely személyt vagy csapatot rossz vagy nem megfelelő viselkedésért vádolna meg. A könyv leírja az alapfeltevést is: minden érintett jó szándékkal cselekedett, és a rendelkezésére álló információkkal helyesen cselekedett.Google SRE könyv, „Postmortem Culture: Learning from Fault” (Halál utáni kultúra: Tanulás a kudarcból).)
A hibátlanság nem jelent következménymentességet. Ugyanez a fejezet elvárja, hogy az utólagos elemzések prioritással és felelősséggel bíró cselekvési tételekben végződjenek. A hibátlan vizsgálat továbbra is elszámoltathatóságot igényel, de az elszámoltathatóság a „ki okozta ezt” kérdésről a „ki teszi biztonságosabbá a rendszert, és mikorra” kérdésre helyeződik át. Ha az értékelések kihagyják a második felét, akkor kellemes beszélgetést folytatnak, nem pedig tanulási folyamatot.
1. A viselkedés és annak kontextusának azonosítása
Kezd azzal a konkrét viselkedéssel, amelyet meg szeretnél változtatni. Az „eseményfelülvizsgálataink az utolsóként cselekvő személyre összpontosítanak” jól megfigyelhető. A „kultúránk a hibáztatásra helyezi a hangsúlyt” nem az.
Ezután tegye fel a kérdést, hogy ez egyáltalán képességbeli probléma-e. A képzés csak a gyenge teljesítmény néhány okát tudja orvosolni. Mielőtt bármit is építene, különítsen el három lehetőséget:
- Egy hiányzó készség. A véleményezők nem tudják, hogyan kell idővonalat felépíteni, hogyan kell megkülönböztetni a kiváltó okot a közreható tényezőtől, vagy hogyan kell megkérdezni: „mi tette ezt a cselekedetet ésszerűnek abban az időben?”
- Ösztönzők. A vélemények beépülnek a teljesítményről szóló beszélgetésekbe, így az emberek úgy alakítják a beszámolóikat, hogy megvédjék magukat.
- Tekintélygradiensek és múltbeli válaszok. Egy fiatal mérnök, aki a múlt negyedévben felvetett egy aggályt, és akinek azt mondták, hogy hagyja abba a negatívkodást, ezen a megbeszélésen nem fog aggályt felvetni, bármennyire is képzett.
Csak az első a betanítási probléma. A másik kettő feltételek. Ha betanítod a készséget, és a feltételeket békén hagyod, az emberek begyakorolnak valamit, amit a munkahely büntet. A jelenlegi ok-okozati nézetedet hipotézisként kezeld, és teszteld néhány beszélgetéssel mérnökökkel, valamint a legutóbbi felülvizsgálati dokumentumok áttekintésével, mielőtt elköteleznéd magad egy program mellett.
2. A gyakorlás működési feltételeinek meghatározása
A gyakorlás csak akkor kerül áthelyezésre, ha a munkahely válaszol rá. Mielőtt bárki is gyakorolna, egyeztessen a következőkben az értékeléseket végző személyekkel:
- Jóváhagyott felelősségi körök. Ki a moderátor, ki írja az idővonalat, és ki a felelős a további lépésekért? Tegyük egyértelművé a szerepeket, hogy a moderátor ne improvizáljon a hatalmon.
- Hogyan fogadják a vezetők az aggodalmakat. Ha egy mérnök azt mondja, hogy „a telepítőeszközzel kihagyhatom a kanárit”, mit tesz ezután az igazgató? Előre döntse el a választ, például: köszönje meg neki, naplózza közreható tényezőként, és rendeljen hozzá egy műveletet.
- A felügyelő válasza. A beosztottak gyakorlásához megfelelő felettesre van szükség. Ha arra képezed a mérnököket, hogy felszólaljanak az értékelések során, de a vezetőik továbbra is megkérdezik: „kinek a hibája volt?”, akkor a képzés veszíteni fog.
A vezetők rövid tájékoztatója az értékelési folyamatról ugyanolyan fontos, mint a résztvevők képzése. Tartalmazzon egy világos magyarázatot arról, hogy az értékelési dokumentumokat hogyan használják és hogyan nem használják a teljesítménymenedzsmentben.
3. Tervezzen meg egy viselkedésalapú tanulási folyamatot
A Carnegie Mellon Eberly Központ tanulási célokkal kapcsolatos útmutatója hasznos meglátást fogalmaz meg, miszerint a céloknak, az értékeléseknek és az oktatási stratégiáknak összhangban kell lenniük egymással (Eberly Központ, Tanulási célok). Ez tervezési útmutató, nem pedig bizonyíték egy adott eszközre vagy eredményre vonatkozóan, de jó teszt ehhez a programhoz: ha a cél a bizonyítékok elemzése és a tesztelhető fejlesztések elfogadása, akkor a felidéző kérdések önmagukban nem lehetnek az értékelés alapja.
Bloom taxonómiája itt segít leírni a feladat kognitív követelményeit: elemzés, értékelés, alkotás. Leírja, hogy mit kér a feladat a személytől. Nem magyarázza meg, hogy miért teszi vagy miért nem teszi meg, ezért ne használja a motiváció diagnosztizálására.
Egy működőképes utazásnak három szakasza van.
| Színpad | Tanulói cselekvés | Kézbesítés |
|---|---|---|
| Előkészítés | Olvasd el az incidensfelülvizsgálati szabályzatodat és egy rövid szószedetet (kiváltó ok, közreható tényező, enyhítés, intézkedés). Egy rövid diagnosztikai vizsgálat ellenőrzi az előfeltételeket. | Saját tempójú tanulás. Az előfeltételek ellenőrzése csak az előfeltételeket igazolja, nem az ismétlő készségeket. |
| Gyakorlat | Elemezzen egy előkészített incidens esetet, és állapodjon meg a tesztelhető fejlesztésekben. Indokolt válaszra van szükség, nem feleletválasztós kérdésekre. | Interaktív vagy facilitált esettanulmány, visszajelzéssel a közrejátszó tényezők elemzésének minőségéről és a nyomon követésről. |
| Felülvizsgálat és átutalás | Beszéljetek meg egy kétértelmű választási lehetőséget, majd fejezzetek be egy új esetet vagy egy felügyelt valós felülvizsgálatot. | Élő coaching vagy aszinkron értékelés. Ellenőrizze az áthelyezést, miután az embereknek volt idejük a készség munkahelyi alkalmazására. |
Tartsa a helyzetet realisztikusnak, és kérjen meg egy tapasztalt mérnököt, hogy ellenőrizze. Egy technikailag hibás eset arra tanítja a felülvizsgálókat, hogy ne bízzanak a gyakorlatban.
4. A forgatókönyv feldolgozása és a kiértékelés
Így futhatna le egy gyakorlat a 02:10-es forgatókönyvvel. A bizonyítékcsomag tartalmazza a telepítési naplót, a riasztási idővonalat, a lapozási szabályzatot, a pull requestet és a runbookot – mind kitaláltak.
Utasítás a résztvevőnek. „Magyarázd el, miért erőltette a mérnök a változtatást, amikor megtette. Idézd fel a felhasznált bizonyítékokat. Mondd el, milyen további információkra vagy alátámasztásra lenne szükséged, mielőtt biztos lehetnél benne.”
Egy gyenge válasz így hangzik: „A mérnöknek ellenőriznie kellett volna a stádiumozást.” Megnevezi a személyt, nem idéz semmit, és nem javasol változtatást.
Egy erősebb válasz így hangzik: „A telepítési napló azt mutatja, hogy a módosítás közvetlenül kiment, mert a canary lépés opcionális az eszközben. A pull requestnek volt egy felülvizsgálója, aki egy 20 perces ablak után jóváhagyta. Az oldal 18 perccel a hibák megjelenése után indult el, mert a riasztási küszöbérték ötperces átlagra volt beállítva. Szeretném tudni, hogy ebben a hónapban hány más módosítás hagyta ki a canary lépést, és hogy az ügyeletes mérnököknek valaha is mondták-e, hogy a lépés kihagyható. Javasolt intézkedések: a canary kötelezővé tétele ehhez a szolgáltatási szinthez, tulajdonos: platformcsapat, ellenőrzés: egy kihagyott canary telepítés megkísérlése a tesztelés során, és annak blokkolásának megerősítése; riasztási ablak csökkentése, tulajdonos: ügyeletes vezető, ellenőrzés: a múlt heti hibák visszajátszása az új küszöbértékkel szemben.”
Figyeld meg, mi teszi jobbá. Bizonyítékokat használ, megnevezi a korlátokat és a bizonytalanságot, és olyan cselekvésekben végződik, amelyeket lehet tesztelni.
Most pedig a kiértékelés. Ne csak pontozd. Kérdezd meg:
- Mit támasztottak alá a bizonyítékok, és mire következtettek?
- Melyik cselekedeted megtételére lenne valójában felhatalmazása a csapatnak?
- Mi tenné könnyebbé, hogy megismételd ezt a viselkedést a következő igazi értékelésedben? Mi tenné nehezebbé?
A harmadik kérdés a legfontosabb. Feltárja a 2. szakaszban szereplő feltételeket. Ha három résztvevő azt mondja, hogy „a főnököm meg fogja kérdezni, hogy ki tette”, akkor találtál egy olyan korlátozó tényezőt, amelyet a képzés nem tud eltávolítani.
5. A viselkedés és a megvalósítás mérése
A kulcskérdés az, hogy milyen bizonyítékok mutatnák azt, hogy a tanulók képesek elemezni az incidensek bizonyítékait, és tesztelhető fejlesztésekben tudnak megegyezni. Íme egy kiindulópont. Ez egy javaslat egy tapasztalt mérnökkel való adaptációra, nem pedig egy validált készültségi szabvány.
| Kritérium | Megfigyelhető bizonyítékok | 0 | 1 | 2 |
|---|---|---|---|---|
| Feladat végrehajtása | Elemzi a bizonyítékokat és egyeztet a fejlesztésekről; rögzíti a tevékenységet és a mögötte álló bizonyítékokat | Hiányzik vagy nincs alátámasztva | Részleges, releváns kihagyásokkal | Teljes és a megállapodás szerinti kritériumok alapján indokolt |
| Érvelés | Elmagyarázza a korlátokat, alternatívákat és a bizonytalanságot; a közrejátszó tényezők túlmutatnak az utolsó cselekvésen | Hiányzik vagy nincs alátámasztva | Részleges, releváns kihagyásokkal | Teljes és indokolt |
| Határok | Jóváhagyott eljárásokat alkalmaz; segítséget kér, ha hiányzik az információ vagy a felhatalmazás. | Hiányzik vagy nincs alátámasztva | Részleges, releváns kihagyásokkal | Teljes és indokolt |
A kritikus hibákat külön kell meghatározni, például egy személy megnevezésével okként, vagy felelősség nélküli cselekvésre való javaslattal. A magas összpontszám soha nem rejthet el kritikus hibát.
Magához a méréshez:
- A közrejátszó tényezők elemzésének minősége. Hasonlítsd össze a program előtt írt értékeléseket az utána írt értékelésekkel, amelyeket ugyanazon értékelési szempont alapján pontozott valaki, aki nem tudja, melyik melyik. Használj nem látott, utólagos eseteket, valamint valós eseteket is.
- Végrehajtás. Számold meg a tulajdonossal, teszttel és befejezéssel rendelkező teendők arányát az összes felvetett teendőhöz képest. Add meg a nevezőt és az időablakot.
- Párosítsa a megfigyelést a folyamatbeli változtatásokkal. Ülj le egy igazi értékelésen. Nézd meg utána, mi történt a teendőkkel.
Legyen óvatos a jelentések mennyiségével. Ha a program után több aggályt és majdnem balesetet rögzítenek, az azt jelentheti, hogy javult a biztonság, nőtt a bizalom, vagy egy új eszköz megkönnyítette a naplózást. Egy esés kevesebb problémát vagy kevesebb megszólalási hajlandóságot jelenthet. Vizsgálja meg, mi változott ugyanebben az időszakban, mielőtt bármilyen mozgást a képzésnek tulajdonítana, és kerülje az olyan hatásméretre vonatkozó állítást, amelyet nem mért.
A fenti Eberly-útmutató az összehangolást keretezi; nem bizonyítja, hogy ez a megközelítés csökkenti az incidensek számát. Tartsa meg saját alap- és nyomonkövetési adatait, és kezelje azokat helyi bizonyítékként.
Mely korlátok maradhatnak fenn a készségek fejlesztése után is?
Légy őszinte a szponzorokkal kapcsolatban:
- A felülvizsgálati dokumentumok továbbra is beépülhetnek a teljesítménydöntésekbe.
- A teljesítési nyomás alatt álló csapatok kihagyhatnak költséges, de ésszerű feladatokat.
- A csapatokon átívelő akciók elakadhatnak, mert senki sem birtokolja a határokat.
- A vezető mérnökök továbbra is uralhatják a vitát.
A jobb elemzés nem szünteti meg ezeket. Tervezzen külön folyamatmódosításokat rájuk.
A gyakorlatban az AhaSlides segítségével
Az AhaSlides támogatja az adaptív tanulást, az interaktív tanulást, valamint az élő és az önálló tempójú oktatás közötti váltást. Ebben az utazásban ez jelenthet önálló tempójú felkészülési lépést, élő vagy facilitált esettanulmányi ülést nyitott válaszadási kérdésekkel, hogy mindenki elköteleződjön egy elemzés mellett, mielőtt a csoport megbeszéli, valamint egy nyomon követési feladatot az ülés után. A konkrét szerzői, pontozási és jelentéskészítési funkciókat egy bemutatón kell ellenőrizni a saját eseteddel szemben, mielőtt rájuk támaszkodnál, és mindent, ami mesterséges intelligenciát, szimulátorokat vagy az incidenseszközökkel való integrációkat tartalmaz, külsőként kell kezelni, amíg meg nem mutatják.
Következő lépés: A fenti rubrikát adaptáld az egyik vezető mérnököddel, majd építsd fel a használni kívánt esettanulmányt. Ha szeretnéd látni, hogyan működhetne ennek az útnak egy élő, önálló tempóban végezhető változata, Foglaljon egy AhaSlides munkafolyamat-demot miután elkészítette az esetet és a rubrikát.
