Et varsel utløses klokken 02:10. En tekniker presser en konfigurasjonsendring, utsjekkingstjenesten begynner å returnere feil, og den ansvarlige lederen ruller den tilbake 40 minutter senere. I gjennomgangsmøtet er det første spørsmålet «Hvem presset endringen?» I løpet av få minutter handler samtalen om én persons vurdering klokken 02:00, og ingen spør hvorfor endringen kunne nå produksjon uten en kanarifugl, hvorfor det tok så lang tid å sende varselet, eller hvorfor runbooken var utdatert.
Dette er et illustrerende scenario, ikke et kundetilfelle. Det er gjenkjennelig fordi det skjer: en hendelsesgjennomgang som fokuserer på den siste personen som handlet, gir en ryddig historie og svært lite læring.
Denne veiledningen er for ingeniørledere og ledere for aktivering som ønsker at folk skal bli bedre til å analysere hendelsesbevis og bli enige om forbedringer som kan testes. Den dekker hvordan man skiller ferdighetshull fra forholdene rundt dem, hvordan man utformer praksis, hvordan man gjennomfører debriefinger og hvordan man måler om evalueringene fungerer.
Hva «uskyldig» betyr og ikke betyr
Googles bok om nettstedspålitelighetsteknikk sier det rett ut: for at en obduksjon skal være helt uten skyld, må den fokusere på å identifisere de medvirkende årsakene til hendelsen uten å tiltale noen enkeltperson eller team for dårlig eller upassende oppførsel. Den beskriver også antagelsen under: alle involverte handlet med gode intensjoner og gjorde det rette med informasjonen de hadde.Google SRE-boken «Post mortem-kultur: Læring av feil».)
Uskyldig betyr ikke uten konsekvenser. Det samme kapittelet forventer at obduksjoner skal ende med handlingspunkter med en prioritet og en eier. Uskyldig undersøkelse krever fortsatt ansvarlighet, men ansvarligheten går fra «hvem forårsaket dette» til «hvem vil gjøre systemet tryggere, og innen når». Hvis vurderingene dine hopper over andre halvdel, har dere en hyggelig samtale, ikke en læringsprosess.
1. Identifiser atferden og dens kontekst
Start med den spesifikke atferden du ønsker å endre. «Våre hendelsesgjennomganger fokuserer på den siste personen som handlet» er observerbar. «Vår kultur er preget av mye skyld» er ikke det.
Spør deretter om dette i det hele tatt er et ferdighetsproblem. Trening kan bare fikse noen årsaker til dårlig ytelse. Før du bygger noe, skill mellom tre muligheter:
- En manglende ferdighet. Anmeldere vet ikke hvordan de skal bygge en tidslinje, skille en utløsende faktor fra en medvirkende faktor, eller spørre «hva gjorde at denne handlingen så rimelig ut på det tidspunktet?»
- Incentiver. Anmeldelser bidrar til samtaler om ytelse, slik at folk former kontoene sine for å beskytte seg selv.
- Autoritetsgradienter og tidligere svar. En junioringeniør som tok opp en bekymring forrige kvartal og ble bedt om å slutte å være negativ, vil ikke ta opp en i dette møtet, uansett hvor godt trent de er.
Bare det første er et treningsproblem. De to andre er betingelser. Hvis du trener ferdigheten og lar betingelsene være i fred, vil folk øve på noe arbeidsplassen straffer. Behandle ditt nåværende syn på årsaken som en hypotese, og test det med noen få samtaler med ingeniører og en titt på nylige evalueringsdokumenter før du forplikter deg til et program.
2. Sett driftsforholdene for øvelsen
Øv på kun overføringer hvis arbeidsplassen svarer. Før noen øver, bli enige om disse med de som kjører evalueringene:
- Godkjente ansvarsområder. Hvem tilrettelegger, hvem skriver tidslinjen, hvem eier oppfølgingstiltak? Gjør rollene tydelige, slik at en tilrettelegger ikke improviserer autoritet.
- Hvordan ledere mottar bekymringer. Hvis en ingeniør sier «utplasseringsverktøyet lar meg hoppe over kanarifuglen», hva gjør direktøren deretter? Bestem svaret på forhånd, for eksempel: takk dem, loggfør det som en medvirkende faktor, og tildel en handling.
- Veilederens svar. Øving av ansatte trenger en matchende veilederrespons. Hvis du trener opp ingeniører til å si ifra i evalueringer, men lederne deres fortsatt spør «hvem sin feil var det?», vil opplæringen tape.
En kort orientering for ledere om evalueringsprosessen er like viktig som opplæringen for deltakerne. Ta med en tydelig beskrivelse av hvordan evalueringsdokumenter brukes og ikke brukes i resultatstyring.
3. Design en atferdsbasert læringsreise
Carnegie Mellon Eberly Centers veiledning om læringsmål fremhever det nyttige poenget at mål, vurderinger og undervisningsstrategier bør være i samsvar med hverandre (Eberly-senteret, læringsmål). Det er designveiledning, ikke bevis for et bestemt verktøy eller resultat, men det er en god test for dette programmet: hvis målet er å analysere bevis og bli enige om testbare forbedringer, kan ikke bare gjentakelsesspørsmål være vurderingen.
Blooms taksonomi hjelper her som en måte å beskrive den kognitive kraven til oppgaven: analyser, evaluer, skap. Den beskriver hva oppgaven ber om av en person. Den forklarer ikke hvorfor de gjør det eller ikke gjør det, så ikke bruk den til å diagnostisere motivasjon.
En gjennomførbar reise har tre faser.
| Scene | Lærerhandling | Frakt |
|---|---|---|
| Forberedelse | Les retningslinjene for gjennomgang av hendelser og en kort ordliste (utløser, medvirkende faktor, avbøtende faktor, handlingspunkt). En kort diagnostikk kontrollerer forutsetningene. | Selvstudium. En gjentakelsessjekk bekrefter kun forkunnskapene, ikke repetisjonsferdigheter. |
| Praksis | Analyser en forberedt hendelsessak og bli enige om testbare forbedringer. Det kreves et begrunnet svar, ikke et flervalg. | Interaktiv eller tilrettelagt casepraksis, med tilbakemelding på kvaliteten på analyse og oppfølging av medvirkende faktorer. |
| Gjennomgang og overføring | Diskuter ett tvetydig valg, og fullfør deretter en ny sak eller en veiledet reell gjennomgang. | Live coaching eller asynkron gjennomgang. Sjekk overføringen etter at folk har hatt tid til å bruke ferdigheten på jobb. |
Hold casen realistisk og få en erfaren ingeniør til å validere den. En case som er teknisk feil lærer anmeldere å mistro øvelsen.
4. Arbeid deg gjennom scenarioet og gjennomgå det
Slik kan en øvingsøkt kjøre med 02:10-scenariet. Bevispakken inneholder utrullingsloggen, varslingstidslinjen, personsøkingspolicyen, pull-forespørselen og runbooken – alt fiktivt.
Spørsmål til deltakeren. «Forklar hvorfor ingeniøren presset på for endringen akkurat da. Vis til bevisene du brukte. Fortell oss hvilken ytterligere informasjon eller støtte du trenger før du kan være sikker.»
Et svakt svar lyder slik: «Ingeniøren burde ha sjekket iscenesettelsen.» Det navngir en person, siterer ingenting og foreslår ingen endring.
Et sterkere svar lyder slik: «Distribusjonsloggen viser at endringen ble utført direkte fordi canary-trinnet er valgfritt i verktøyet. Pull-forespørselen hadde én anmelder som godkjente den etter et 20-minutters vindu. Siden ble utløst 18 minutter etter at feilene startet fordi varslingsterskelen var satt til et gjennomsnitt på fem minutter. Jeg vil gjerne vite hvor mange andre endringer denne måneden som hoppet over canary, og om vaktingeniører noen gang har blitt fortalt at trinnet kan hoppes over. Foreslåtte tiltak: gjør canary obligatorisk for dette tjenestenivået, eier: plattformteam, sjekk: forsøk en hoppet over canary-distribusjon i staging og bekreft at den er blokkert; senk varslingsvinduet, eier: vaktleder, sjekk: spill av forrige ukes feil mot den nye terskelen.»
Legg merke til hva som gjør det bedre. Det bruker bevis, setter navn på begrensninger og usikkerhet, og ender opp med handlinger som kan testes.
Nå kommer debriefingen. Ikke bare gi poeng. Spør:
- Hva støttet bevisene, og hva antok du?
- Hvilke av handlingene dine ville teamet faktisk ha myndighet til å foreta?
- Hva ville gjort det lettere å gjenta denne oppførselen i din neste ordentlige anmeldelse? Hva ville gjort det vanskeligere?
Det tredje spørsmålet er viktigst. Det tar opp betingelsene fra del 2. Hvis tre deltakere sier «sjefen min vil spørre hvem som gjorde det», har du funnet en begrensning opplæringen ikke kan fjerne.
5. Mål atferd og oppfølging
Hovedspørsmålet er hvilke bevis som viser at elevene kan analysere hendelsesbevis og bli enige om testbare forbedringer. Her er en rubrikk å starte med. Det er et forslag om å tilpasse seg med en erfaren ingeniør, ikke en validert beredskapsstandard.
| Criterion | Observerbare bevis | 0 | 1 | 2 |
|---|---|---|---|---|
| Oppgaveutførelse | Analyserer bevisene og godkjenner forbedringer; registrerer handlingen og bevisene bak den | Fraværende eller uten støtte | Delvis, med relevante utelatelser | Fullstendig og begrunnet mot avtalte kriterier |
| Argumentasjon | Forklarer begrensninger, alternativer og usikkerhet; medvirkende faktorer går utover den siste handlingen | Fraværende eller uten støtte | Delvis, med relevante utelatelser | Fullstendig og begrunnet |
| Grenser | Bruker godkjente prosedyrer; ber om hjelp når informasjon eller autoritet mangler | Fraværende eller uten støtte | Delvis, med relevante utelatelser | Fullstendig og begrunnet |
Definer kritiske feil separat, for eksempel å navngi en person som årsak eller foreslå en handling uten eier. En høy totalscore må aldri skjule en kritisk feil.
For selve målingen:
- Kvaliteten på analysen av medvirkende faktorer. Sammenlign anmeldelser skrevet før programmet med anmeldelser skrevet etterpå, scoret mot samme rubrikk av noen som ikke vet hvilken som er hvilken. Bruk usett oppfølgingstilfelle så vel som virkelige.
- Oppfølging. Tell andelen handlingspunkter som har en eier, en test og ble fullført, av alle handlingspunkter som ble reist. Angi nevneren og tidsvinduet.
- Kombiner observasjon med prosessendringer. Sitt i en skikkelig evaluering. Sjekk hva som skjedde med handlingspunktene etterpå.
Vær forsiktig med rapporteringsvolum. Hvis det registreres flere bekymringer og nestenulykker etter programmet, kan det bety at sikkerheten har blitt bedre, tilliten har blitt bedre, eller at et nytt verktøy har gjort loggføringen enklere. Et fall kan bety færre problemer eller mindre vilje til å si ifra. Se på hva som endret seg i samme periode før du tilskriver bevegelse til trening, og unngå å hevde en effektstørrelse du ikke har målt.
Eberly-veiledningen ovenfor legger grunnlaget for samordning; den er ikke et bevis på at denne tilnærmingen reduserer hendelser. Behold dine egne grunnlinje- og oppfølgingsdata og behandle dem som lokale bevis.
Hvilke begrensninger kan fortsatt være til stede selv etter at ferdighetene er forbedret
Vær ærlig om dette med sponsorer:
- Gjennomgangsdokumenter kan fortsatt bli brukt i resultatbeslutninger.
- Lag under leveringspress kan hoppe over handlinger som er kostbare, men fornuftige.
- Handlinger på tvers av team kan stoppe opp fordi ingen eier grensen.
- Senioringeniører kan fortsatt dominere diskusjonen.
Bedre analyse fjerner ikke disse. Planlegg separate prosessendringer for dem.
Setter det ut i praksis med AhaSlides
AhaSlides støtter adaptiv læring, interaktiv læring og veksling mellom live og selvstyrt undervisning. I denne reisen kan det bety et forberedelsestrinn i eget tempo, en live eller tilrettelagt case-økt med åpne svar-spørsmål slik at alle forplikter seg til en analyse før gruppen diskuterer, og en oppfølgingsoppgave etter økten. Spesifikke redigerings-, poengsettings- og rapporteringsfunksjoner bør kontrolleres i en demonstrasjon mot din egen case før du stoler på dem, og alt som involverer AI, simulatorer eller integrasjoner med hendelsesverktøyene dine bør behandles som eksternt inntil det vises.
Neste steg: Ta rubrikken ovenfor og tilpass den med en av dine senioringeniører, og bygg deretter casen du skal bruke.
Når du har utarbeidet case og rubrikk, kan du utforske hvordan en live og selvstyrt versjon av denne reisen kan fungere i AhaSlides.
