Hälytys laukeaa klo 02:10. Insinööri ajaa konfiguraatiomuutosta, kassapalvelu alkaa palauttaa virheitä ja päivystävä johtaja peruuttaa sen 40 minuuttia myöhemmin. Arviointikokouksessa ensimmäinen kysymys on: "Kuka ajoi muutoksen?" Muutamassa minuutissa keskustelu pyörii yhden henkilön arvion ympärillä klo 2 yöllä, eikä kukaan kysy, miksi muutos päätyi tuotantoon ilman apua, miksi hälytyksen sivuttaminen kesti niin kauan tai miksi runbook oli vanhentunut.
Tämä on havainnollistava skenaario, ei asiakastapaus. Se on tunnistettavissa, koska niin tapahtuu: viimeiseen reagoijaan keskittyvä tapahtumakatsaus tuottaa siistin tarinan, mutta ei juurikaan opittavaa.
Tämä opas on tarkoitettu suunnittelupäälliköille ja osaamisen kehittämisen johtajille, jotka haluavat ihmisten kehittyvän analysoimaan tapauskohtaisia todisteita ja sopimaan testattavista parannuksista. Se käsittelee sitä, miten osaamisvajeet erotetaan niitä ympäröivistä olosuhteista, miten käytäntöjä suunnitellaan, miten puretaan ja miten arvioinnit toimivat.
Mitä "syytön" tarkoittaa ja ei tarkoita
Googlen Site Reliability Engineering -kirja ilmaisee asian selvästi: jotta jälkipuinti olisi todella syytön, sen on keskityttävä tunnistamaan tapahtuman taustalla vaikuttaneet syyt syyttämättä ketään yksilöä tai tiimiä huonosta tai sopimattomasta käytöksestä. Kirjassa kuvataan myös taustalla oleva oletus: kaikki asianosaiset toimivat hyvillä aikomuksilla ja tekivät oikein niillä tiedoilla, jotka heillä oli.Googlen SRE-kirja "Postmortem Culture: Learning from Failure".)
Syyttömyydettömyydet eivät tarkoita seurauksettomuutta. Samassa luvussa odotetaan, että jälkianalyysit päättyvät toimenpiteisiin, joilla on prioriteetti ja vastuu. Syyttömyydettömiin tutkimuksiin vaaditaan edelleen vastuullisuutta, mutta vastuu siirtyy kysymyksestä "kuka tämän aiheutti" kysymykseen "kuka tekee järjestelmästä turvallisemman ja milloin". Jos analyysisi ohittavat jälkimmäisen puoliskon, keskustelu on miellyttävä, ei oppimisprosessi.
1. Tunnista käyttäytyminen ja sen konteksti
Aloita siitä käyttäytymisestä, jota haluat muuttaa. "Tapahtumatarkastelumme keskittyvät viimeiseksi toimivaan henkilöön" on havaittavissa. "Kulttuurimme on syyllistävä" ei ole.
Kysy sitten, onko kyseessä ylipäätään taito-ongelma. Harjoittelu voi korjata vain joitakin heikon suorituskyvyn syitä. Ennen kuin rakennat mitään, erottele kolme mahdollisuutta:
- Puuttuva taito. Arvioijat eivät osaa rakentaa aikajanaa, erottaa laukaisevaa tekijää myötävaikuttavasta tekijästä tai kysyä, "mikä sai tämän toiminnan näyttämään kohtuulliselta tuolloin?"
- Kannustimia. Arvostelut ruokkivat suorituskykykeskusteluja, joten ihmiset muokkaavat tilejään suojellakseen itseään.
- Auktoriteettigradientit ja aiemmat reaktiot. Nuorempi insinööri, joka esitti huolenaiheen viime neljänneksellä ja jota käskettiin lopettamaan negatiivinen oleminen, ei ota sitä esille tässä kokouksessa, olipa hän kuinka hyvin koulutettu tahansa.
Vain ensimmäinen on koulutusongelma. Kaksi muuta ovat ehtoja. Jos koulutat taitoa ja jätät ehdot rauhaan, ihmiset harjoittelevat jotain, josta työpaikka rankaisee. Käsittele nykyistä näkemystäsi syystä hypoteesina ja testaa sitä muutamalla keskustelulla insinöörien kanssa ja tutustumalla viimeaikaisiin arviointiasiakirjoihin ennen kuin sitoudut ohjelmaan.
2. Aseta harjoittelun toimintaedellytykset
Harjoittelu siirtyy vain, jos työpaikka vastaa siihen. Ennen kuin kukaan harjoittelee, sovi näistä arvioijien kanssa:
- Hyväksytyt vastuut. Kuka fasilitoi, kuka kirjoittaa aikajanan ja kuka vastaa jatkotoimista? Tee roolit selkeiksi, jotta fasilitoija ei improvisoi auktoriteettia.
- Miten johtajat suhtautuvat huolenaiheisiin. Jos insinööri sanoo "käyttöönottotyökalu antaa minun ohittaa kanarian", mitä johtaja tekee seuraavaksi? Päätä vastaus etukäteen, esimerkiksi: kiitä heitä, kirjaa se myötävaikuttavaksi tekijäksi ja määritä toiminto.
- Esimiehen vastaus. Henkilökunnan harjoitukset vaativat vastaavan esimiehen vastauksen. Jos koulutat insinöörejä puhumaan arvosteluissa, mutta heidän esimiehensä kysyvät silti "kenen vika se oli?", koulutus häviää.
Lyhyt perehdytys esimiehille arviointiprosessista on yhtä tärkeä kuin osallistujien koulutus. Sisällytä selkeä selvitys siitä, miten arviointiasiakirjoja käytetään ja miten niitä ei käytetä suorituskyvyn johtamisessa.
3. Suunnittele käyttäytymiseen perustuva oppimisprosessi
Carnegie Mellon Eberly Centerin oppimistavoitteita koskevissa ohjeissa tuodaan esiin hyödyllinen näkökohta, että tavoitteiden, arviointien ja opetusstrategioiden tulisi olla linjassa keskenään (Eberly Center, oppimistavoitteet). Kyseessä on suunnitteluohjeistus, ei näyttöä mistään tietystä työkalusta tai tuloksesta, mutta se on hyvä testi tälle ohjelmalle: jos tavoitteena on analysoida näyttöä ja sopia testattavista parannuksista, pelkät muistutuskysymykset eivät voi olla arviointi.
Bloomin taksonomia auttaa tässä kuvaamaan tehtävän kognitiivista vaatimusta: analysoi, arvioi, luo. Se kuvaa, mitä tehtävä pyytää henkilöltä. Se ei selitä, miksi he tekevät tai eivät tee sitä, joten älä käytä sitä motivaation diagnosointiin.
Toimivassa matkassa on kolme vaihetta.
| Vaihe | Oppijan toiminta | Toimitus |
|---|---|---|
| Valmistelu | Lue tapausten arviointikäytäntösi ja lyhyt sanasto (laukaiseva tekijä, myötävaikuttava tekijä, lieventävä tekijä, toimenpide). Lyhyt diagnostiikka tarkistaa edellytykset. | Omaan tahtiin opiskelua. Kertaustarkistus vahvistaa vain esitietovaatimukset, ei kertaa taitoa. |
| Käytäntö | Analysoi valmisteltu tapaus ja sovi testattavista parannuksista. Vastaus on perusteltu, ei monivalintakysymyksiä. | Vuorovaikutteinen tai fasilitoitu tapauskäytäntö, jossa annetaan palautetta myötävaikuttavien tekijöiden analyysin laadusta ja seurannasta. |
| Tarkista ja siirrä | Keskustele yhdestä epäselvästä vaihtoehdosta ja tee sitten uusi tapaus tai valvottu todellinen tarkastelu. | Live-valmennus tai asynkroninen arviointi. Tarkista siirto sen jälkeen, kun ihmisillä on ollut aikaa käyttää taitoa työssä. |
Pidä tapaus realistisena ja pyydä kokenutta insinööriä validoimaan se. Teknisesti virheellinen tapaus opettaa arvioijille epäluuloa harjoitusta kohtaan.
4. Käy läpi skenaario ja pureudu siihen
Näin harjoitus voisi toimia 02:10-skenaariossa. Todistepaketti sisältää käyttöönottolokin, hälytysten aikajanan, sivutuskäytännön, pull-pyynnön ja runbookin, jotka kaikki ovat kuvitteellisia.
Kehote osallistujalle. "Selitä, miksi insinööri ajoi muutoksen läpi juuri silloin, kun hän sen teki. Mainitse käyttämäsi todisteet. Kerro meille, mitä lisätietoja tai tukea tarvitsisit ennen kuin voisit olla varma."
Heikko vastaus kuulostaa tältä: "Insinöörin olisi pitänyt tarkistaa lavastus." Se nimeää henkilön, ei mainitse mitään eikä ehdota muutosta.
Vahvempi vastaus kuulostaa tältä: "Käyttöönottoloki osoittaa, että muutos julkaistiin suoraan, koska canary-vaihe on työkalussa valinnainen. Pull-pyynnöllä oli yksi tarkistaja, joka hyväksyi sen 20 minuutin ikkunan jälkeen. Sivu käynnistettiin 18 minuuttia virheiden alkamisen jälkeen, koska hälytyskynnys oli asetettu viiden minuutin keskiarvoon. Haluaisin tietää, kuinka monta muuta muutosta tässä kuussa ohitti canary-vaiheen ja onko päivystysinsinööreille koskaan kerrottu, että vaihe voidaan ohittaa. Ehdotetut toimenpiteet: tee canary-vaiheesta pakollinen tälle palvelutasolle, omistaja: alustatiimi, tarkistus: yritä ohitettua canary-käyttöönottoa testiympäristössä ja varmista, että se on estetty; laske hälytysikkunaa, omistaja: päivystävä johtaja, tarkistus: toista viime viikon virheet uutta kynnystä vasten."
Huomaa, mikä tekee siitä paremman. Se käyttää todisteita, nimeää rajoitukset ja epävarmuuden ja päätyy testattaviin toimiin.
Nyt purku. Älä vain pisteytä sitä. Kysy:
- Mitä todisteet tukivat, ja mitä oletit?
- Mihin toimistasi tiimillä olisi todellisuudessa valtuudet?
- Mikä tekisi tämän toiminnan toistamisesta helpompaa seuraavassa varsinaisessa arvostelussasi? Mikä tekisi siitä vaikeampaa?
Kolmas kysymys on tärkein. Se nostaa esiin osan 2 ehdot. Jos kolme osallistujaa sanoo "esimieheni kysyy kuka sen teki", olet löytänyt rajoitteen, jota koulutus ei voi poistaa.
5. Mittaa käyttäytymistä ja sen toteutumista
Keskeinen kysymys on, mitkä todisteet osoittaisivat, että oppijat pystyvät analysoimaan tapahtumatodisteita ja sopimaan testattavista parannuksista. Tässä on lähtökohtana oleva arviointiperuste. Kyseessä on ehdotus kokeneen insinöörin kanssa tehtäväksi sopeuttamiseksi, ei validoitu valmiusstandardi.
| Kriteeri | Havaittavissa oleva näyttö | 0 | 1 | 2 |
|---|---|---|---|---|
| Tehtävän suorittaminen | Analysoi todisteita ja sopii parannuksista; kirjaa toimenpiteet ja niiden taustalla olevat todisteet | Poissa tai ei tuettu | Osittainen, asiaankuuluvine puutteineen | Täydellinen ja perusteltu sovittujen kriteerien perusteella |
| perustelut | Selittää rajoitukset, vaihtoehdot ja epävarmuuden; myötävaikuttavat tekijät ulottuvat viimeisimmän toimenpiteen ulkopuolelle | Poissa tai ei tuettu | Osittainen, asiaankuuluvine puutteineen | Täydellinen ja perusteltu |
| Rajat | Käyttää hyväksyttyjä menettelytapoja; pyytää apua, kun tietoja tai valtuutuksia puuttuu | Poissa tai ei tuettu | Osittainen, asiaankuuluvine puutteineen | Täydellinen ja perusteltu |
Määrittele kriittiset virheet erikseen, esimerkiksi nimeä yksilö syyksi tai ehdota toimenpidettä ilman omistajaa. Korkea kokonaispistemäärä ei saa koskaan peittää kriittistä epäonnistumista.
Itse mittauksen osalta:
- Myötävaikuttavien tekijöiden analyysin laatu. Vertaa ennen ohjelmaa kirjoitettuja arvosteluja jälkikäteen kirjoitettuihin arvosteluihin, jotka joku on pisteyttänyt saman arviointimatriisin perusteella tietämättä kumpi on kumpi. Käytä sekä aiemmin näkemättömiä seurantatapauksia että todellisia tapauksia.
- Jatkoa. Laske kaikkien esiin nostettujen toimintojen osuus toiminnoista, joilla on omistaja, testi ja jotka suoritettiin. Ilmoita nimittäjä ja aikaikkuna.
- Yhdistä havainnointi prosessimuutoksiin. Käy läpi todellinen arviointi. Tarkista jälkikäteen, mitä toimenpiteille tapahtui.
Ole varovainen raportoinnin määrän kanssa. Jos ohjelman jälkeen kirjataan enemmän huolenaiheita ja läheltä piti -tilanteita, se voi tarkoittaa, että turvallisuus on parantunut, luottamus on lisääntynyt tai uusi työkalu on helpottanut kirjaamista. Kaatuminen voi tarkoittaa vähemmän ongelmia tai vähemmän halukkuutta puhua. Tarkastele, mikä on muuttunut samalla ajanjaksolla, ennen kuin liität minkään liikkeen koulutukseen, ja vältä väittämästä vaikutusta, jota et ole mitannut.
Yllä oleva Eberlyn ohjeistus rajaa yhdenmukaisuutta; se ei todista, että tämä lähestymistapa vähentää tapauksia. Säilytä omat lähtötilanteesi ja seurantatietosi ja käsittele niitä paikallisena näyttönä.
Mitkä rajoitukset voivat säilyä, vaikka taidot paranisivatkin
Ole rehellinen näistä sponsoreillesi:
- Arviointiasiakirjoja voidaan edelleen hyödyntää suorituskykyyn liittyvissä päätöksissä.
- Toimituspaineen alla olevat tiimit saattavat jättää väliin kalliita mutta järkeviä toimia.
- Tiimien väliset toimet voivat pysähtyä, koska kukaan ei omista rajoja.
- Vanhemmat insinöörit saattavat edelleen hallita keskustelua.
Parempi analyysi ei poista näitä. Suunnittele niille erilliset prosessimuutokset.
Käytännön toteuttaminen AhaSlidesin avulla
AhaSlides tukee mukautuvaa oppimista, interaktiivista oppimista ja siirtymistä live- ja omaan tahtiin tapahtuvan toteutuksen välillä. Tällä matkalla se voi tarkoittaa omaan tahtiin etenevää valmistautumisvaihetta, live- tai fasilitoitua tapauskeskustelua avoimilla vastauskysymyksillä, jotta kaikki sitoutuvat analyysiin ennen ryhmän keskustelua, ja seurantatehtävää istunnon jälkeen. Tietyt kirjoittamis-, pisteytys- ja raportointitoiminnot tulisi tarkistaa demonstraatiossa omaa tapaustasi vasten, ennen kuin luotat niihin, ja kaikkea tekoälyyn, simulaattoreihin tai integraatioihin liittyvää tapaustyökaluihisi tulisi käsitellä ulkoisena, kunnes se näytetään.
Seuraava askel: Käytä yllä olevaa arviointimatriisia ja mukauta sitä yhdessä jonkun kokeneen insinöörisi kanssa ja laadi sitten käyttämäsi tapaus. Jos haluat nähdä, miten tämä matka voisi toimia reaaliajassa ja omaan tahtiin etenevästi, varaa AhaSlides-työnkulun demo kun olet laatinut tapauksen ja arviointimatriisin.
