Alert uruchamia się o 02:10. Inżynier wprowadza zmianę konfiguracji, usługa testowania zaczyna zwracać błędy, a dyżurny lider wycofuje ją 40 minut później. Na spotkaniu przeglądowym pierwsze pytanie brzmi: „Kto wprowadził zmianę?”. W ciągu kilku minut rozmowa schodzi na temat osądu jednej osoby o 2 w nocy i nikt nie pyta, dlaczego zmiana dotarła do produkcji bez kanarka, dlaczego alert tak długo czekał na wysłanie, ani dlaczego podręcznik był nieaktualny.
To przykładowy scenariusz, a nie przypadek klienta. Można go rozpoznać, ponieważ się zdarza: analiza incydentu, skupiająca się na osobie, która jako ostatnia zareagowała, prowadzi do przejrzystej historii i nie wyciąga zbyt wielu wniosków.
Ten poradnik jest przeznaczony dla menedżerów ds. inżynierii i liderów ds. wdrażania, którzy chcą, aby pracownicy lepiej analizowali dowody incydentów i uzgadniali możliwe do przetestowania usprawnienia. Zawiera on informacje na temat tego, jak oddzielać luki w umiejętnościach od otaczających warunków, jak projektować praktyki, jak przeprowadzać podsumowania oraz jak mierzyć skuteczność przeglądów.
Co oznacza i czego nie oznacza „bez winy”
Książka Google'a „Site Reliability Engineering” jasno to ujmuje: aby analiza powypadkowa była całkowicie bez winy, musi skupić się na zidentyfikowaniu przyczyn incydentu, bez oskarżania żadnej osoby ani zespołu o złe lub niewłaściwe zachowanie. Opisuje również założenie leżące u jej podstaw: wszyscy zaangażowani działali z dobrymi intencjami i postąpili właściwie, wykorzystując posiadane informacje.Książka Google SRE „Kultura postmortem: nauka z porażek”.)
Bez winy nie oznacza bez konsekwencji. W tym samym rozdziale oczekuje się, że analizy postmortem zakończą się zadaniami do wykonania z priorytetem i właścicielem. Dochodzenie bez winy nadal wymaga odpowiedzialności, ale odpowiedzialność przesuwa się z pytania „kto to spowodował” na pytanie „kto i kiedy uczyni system bezpieczniejszym”. Jeśli w recenzjach pominiesz drugą połowę, masz do czynienia z przyjemną rozmową, a nie procesem uczenia się.
1. Zidentyfikuj zachowanie i jego kontekst
Zacznij od konkretnego zachowania, które chcesz zmienić. „Nasze analizy incydentów koncentrują się na osobie, która zareagowała jako ostatnia” – to stwierdzenie jest widoczne. „Nasza kultura jest pełna oskarżeń” – nie.
Następnie zastanów się, czy to w ogóle problem z umiejętnościami. Trening może rozwiązać tylko niektóre przyczyny słabej wydajności. Zanim cokolwiek stworzysz, rozważ trzy możliwości:
- Brakująca umiejętność. Recenzenci nie wiedzą, jak zbudować oś czasu, odróżnić czynnik wyzwalający od czynnika współistniejącego ani zadać sobie pytania: „co sprawiło, że dane działanie wydawało się rozsądne w danym momencie?”
- Zachęty. Recenzje wpływają na rozmowy o wynikach, dlatego ludzie modyfikują swoje konta, aby się chronić.
- Gradienty autorytetu i przeszłe odpowiedzi. Młody inżynier, który zgłosił pewne obawy w ostatnim kwartale i któremu powiedziano, żeby przestał być negatywny, nie zgłosi ich na tym spotkaniu, bez względu na to jak dobrze jest wyszkolony.
Tylko pierwszy problem to problem szkoleniowy. Pozostałe dwa to uwarunkowania. Jeśli wyszkolisz umiejętność i zostawisz warunki w spokoju, ludzie będą ćwiczyć coś, za co miejsce pracy karze. Potraktuj swój obecny pogląd na przyczynę jako hipotezę i przetestuj go, rozmawiając z inżynierami i przeglądając najnowsze dokumenty, zanim zdecydujesz się na program.
2. Ustal warunki operacyjne dla praktyki
Przeprowadzaj transfery tylko wtedy, gdy pracodawca na nie odpowie. Zanim ktokolwiek zacznie ćwiczyć, ustal z osobami przeprowadzającymi testy:
- Zatwierdzone obowiązki. Kto facylituje, kto ustala harmonogram, kto odpowiada za działania następcze? Wyraźnie określ role, aby facylitator nie improwizował.
- Jak liderzy reagują na obawy. Jeśli inżynier powie „narzędzie do wdrażania pozwala mi pominąć kanarka”, co zrobi dyrektor? Z góry określ odpowiedź, na przykład: podziękuj, zarejestruj to jako czynnik przyczyniający się do problemu i przypisz działanie.
- Odpowiedź kierownika. Próba personelu wymaga odpowiedniej reakcji przełożonego. Jeśli nauczysz inżynierów zabierania głosu w recenzjach, a ich przełożeni nadal będą pytać: „Czyja to była wina?”, szkolenie pójdzie na marne.
Krótkie szkolenie dla menedżerów dotyczące procesu przeglądu jest równie ważne, jak szkolenie dla uczestników. Należy zawrzeć jasne oświadczenie o tym, w jaki sposób dokumenty przeglądu są, a w jaki nie są wykorzystywane w zarządzaniu wydajnością.
3. Zaprojektuj ścieżkę nauki opartą na zachowaniu
Wskazówki Carnegie Mellon Eberly Center dotyczące celów nauczania wskazują na istotną kwestię, że cele, oceny i strategie nauczania powinny być ze sobą spójne (Centrum Eberly'ego, Cele edukacyjne). To są wskazówki projektowe, a nie dowody dotyczące konkretnego narzędzia lub wyniku, ale jest to dobry test dla tego programu: jeśli celem jest analiza dowodów i uzgodnienie możliwych do sprawdzenia ulepszeń, to same pytania przypominające nie mogą stanowić oceny.
Taksonomia Blooma pomaga w tym przypadku opisać wymagania poznawcze zadania: analizować, oceniać, tworzyć. Opisuje ona, czego zadanie wymaga od danej osoby. Nie wyjaśnia, dlaczego dana osoba to robi lub nie, więc nie należy jej używać do diagnozowania motywacji.
Podróż, która się powiedzie, składa się z trzech etapów.
| STAGE | Działanie ucznia | Dostawa |
|---|---|---|
| Przygotowanie | Przeczytaj swoją politykę przeglądu incydentów i krótki słownik pojęć (czynnik wyzwalający, czynnik przyczyniający się, środek zaradczy, element działania). Krótkie testy diagnostyczne zawierają wymagania wstępne. | Nauka we własnym tempie. Sprawdzenie pamięci potwierdza jedynie wymagania wstępne, a nie umiejętności powtórzeniowe. |
| Ćwiczyć | Przeanalizuj przygotowany przypadek incydentu i uzgodnij możliwe do przetestowania usprawnienia. Wymagana jest uzasadniona odpowiedź, a nie odpowiedź wielokrotnego wyboru. | Interaktywne lub moderowane ćwiczenia praktyczne, z informacją zwrotną na temat jakości analizy czynników składowych i realizacji. |
| Przegląd i transfer | Omów jedną niejednoznaczną opcję, a następnie przeprowadź nowy przypadek lub nadzorowany, rzeczywisty przegląd. | Coaching na żywo lub asynchroniczna recenzja. Sprawdź transfer po tym, jak uczestnicy będą mieli czas na wykorzystanie umiejętności w pracy. |
Zachowaj realizm sprawy i zleć jej weryfikację doświadczonemu inżynierowi. Błędny technicznie przypadek uczy recenzentów braku zaufania do ćwiczenia.
4. Przeanalizuj scenariusz i omów go
Oto jak mogłaby przebiegać sesja treningowa w scenariuszu 02:10. Pakiet dowodów zawiera dziennik wdrożenia, oś czasu alertów, politykę stronicowania, żądanie ściągnięcia i podręcznik – wszystko fikcyjne.
Monit dla uczestnika. Wyjaśnij, dlaczego inżynier wprowadził zmianę akurat wtedy. Podaj dowody, na które się powoływałeś. Powiedz nam, jakich dodatkowych informacji lub wsparcia potrzebujesz, aby nabrać pewności.
Słaba odpowiedź brzmi mniej więcej tak: „Inżynier powinien sprawdzić etapy”. Wymienia ona nazwisko osoby, nie cytuje niczego i nie proponuje żadnych zmian.
Bardziej zdecydowana odpowiedź brzmi następująco: „Dziennik wdrożenia pokazuje, że zmiana została wprowadzona bezpośrednio, ponieważ krok „canary” jest opcjonalny w narzędziu. Prośba o ściągnięcie miała jednego recenzenta, który zatwierdził ją po 20 minutach. Strona została uruchomiona 18 minut po wystąpieniu błędów, ponieważ próg alertu został ustawiony na średnią pięciominutową. Chciałbym wiedzieć, ile innych zmian w tym miesiącu pominęło krok „canary” i czy dyżurni inżynierowie kiedykolwiek zostali poinformowani o możliwości pominięcia tego kroku. Proponowane działania: uczynienie kroku „canary” obowiązkowym dla tego poziomu usługi, właściciel: zespół ds. platformy, sprawdzenie: próba wdrożenia pominiętego kroku „canary” w środowisku testowym i potwierdzenie, że jest zablokowany; skrócenie okna alertu, właściciel: kierownik dyżuru, sprawdzenie: odtworzenie błędów z zeszłego tygodnia w odniesieniu do nowego progu”.
Zauważ, co czyni go lepszym. Wykorzystuje dowody, wskazuje ograniczenia i niepewność, a kończy się działaniami, które można przetestować.
Teraz podsumowanie. Nie oceniaj tego po prostu. Zapytaj:
- Co poparły dowody i co założyłeś?
- Które z Twoich działań zespół faktycznie miałby prawo podjąć?
- Co ułatwiłoby powtórzenie tego zachowania podczas kolejnej prawdziwej recenzji? Co utrudniłoby to zadanie?
Trzecie pytanie jest najważniejsze. Ujawnia ono warunki z sekcji 2. Jeśli trzech uczestników powie: „mój kierownik zapyta, kto to zrobił”, oznacza to, że nie można usunąć ograniczenia.
5. Pomiar zachowania i konsekwencji
Kluczowe pytanie brzmi: jakie dowody wskazywałyby na to, że uczestnicy potrafią analizować dowody z incydentów i uzgadniać możliwe do przetestowania usprawnienia? Oto rubryka, od której można zacząć. Jest to propozycja adaptacji z doświadczonym inżynierem, a nie sprawdzony standard gotowości.
| Kryterium | Obserwowalne dowody | 0 | 1 | 2 |
|---|---|---|---|---|
| Wykonanie zadania | Analizuje dowody i uzgadnia ulepszenia; rejestruje działanie i dowody za nim stojące | Brak lub brak wsparcia | Częściowo, z istotnymi pominięciami | Uzupełnij i uzasadnij zgodnie z ustalonymi kryteriami |
| Rozumowanie | Wyjaśnia ograniczenia, alternatywy i niepewność; czynniki wpływające wykraczają poza ostatnią czynność | Brak lub brak wsparcia | Częściowo, z istotnymi pominięciami | Kompletne i uzasadnione |
| Granice | Stosuje zatwierdzone procedury; prosi o pomoc, gdy brakuje informacji lub uprawnień. | Brak lub brak wsparcia | Częściowo, z istotnymi pominięciami | Kompletne i uzasadnione |
Definiuj błędy krytyczne oddzielnie, na przykład wskazując konkretną osobę jako przyczynę lub proponując działanie bez właściciela. Wysoki wynik łączny nigdy nie powinien przesłaniać błędu krytycznego.
Jeśli chodzi o sam pomiar:
- Jakość analizy czynników składowych. Porównaj recenzje napisane przed programem z recenzjami napisanymi po nim, ocenionymi według tej samej skali przez osobę, która nie wie, która jest która. Wykorzystaj zarówno niepublikowane przypadki z poprzednich edycji, jak i rzeczywiste.
- Dokończenie. Policz, jaka część zadań, które mają właściciela, zostały przetestowane i zostały ukończone, spośród wszystkich zadań zgłoszonych. Podaj mianownik i przedział czasowy.
- Połącz obserwację ze zmianami w procesie. Weź udział w prawdziwej recenzji. Sprawdź, co stało się z elementami akcji.
Zachowaj ostrożność w raportowaniu. Jeśli po programie odnotowuje się więcej obaw i zdarzeń potencjalnie niebezpiecznych, może to oznaczać poprawę bezpieczeństwa, wzrost zaufania lub ułatwienie raportowania dzięki nowemu narzędziu. Upadek może oznaczać mniej problemów lub mniejszą chęć do zgłaszania. Zanim przypiszesz jakikolwiek ruch treningowi, sprawdź, co zmieniło się w tym samym okresie i unikaj przypisywania wielkości efektu, której nie zmierzyłeś.
Powyższe wskazówki Eberly'ego dotyczące dopasowania ramek nie stanowią dowodu na to, że takie podejście zmniejsza liczbę incydentów. Zachowaj własne dane bazowe i dane uzupełniające i traktuj je jako dowody lokalne.
Jakie ograniczenia mogą pozostać nawet po poprawie umiejętności
Bądź szczery w tej kwestii ze sponsorami:
- Dokumenty przeglądowe mogą nadal mieć wpływ na decyzje dotyczące wydajności.
- Zespoły pod presją czasu mogą pominąć działania, które są kosztowne, ale rozsądne.
- Działania międzyzespołowe mogą zostać wstrzymane, ponieważ nikt nie jest właścicielem granicy.
- Doświadczeni inżynierowie nadal mogą dominować w dyskusji.
Lepsza analiza ich nie eliminuje. Zaplanuj dla nich osobne zmiany w procesie.
Wdrażanie w praktyce z AhaSlides
AhaSlides wspiera adaptacyjne i interaktywne uczenie się oraz przełączanie między nauczaniem na żywo a indywidualnym tempem. W tym procesie może to oznaczać etap przygotowawczy we własnym tempie, sesję przypadku na żywo lub moderowaną z pytaniami do odpowiedzi, aby każdy zobowiązał się do analizy przed dyskusją w grupie, oraz zadanie dodatkowe po sesji. Konkretne funkcje tworzenia, oceniania i raportowania należy sprawdzić w demonstracji na własnym przypadku, zanim się na nich zdecydujesz. Wszelkie elementy związane ze sztuczną inteligencją, symulatorami lub integracją z narzędziami do obsługi incydentów należy traktować jako zewnętrzne do momentu ich zaprezentowania.
Następny krok: Weź powyższą rubrykę i dostosuj ją do potrzeb jednego ze swoich starszych inżynierów, a następnie stwórz przykład, którego będziesz używać. Jeśli chcesz zobaczyć, jak mogłaby wyglądać wersja tej podróży w praktyce, w indywidualnym tempie, zarezerwuj demonstrację przepływu pracy AhaSlides gdy już przygotujesz studium przypadku i kryteria oceny.
