Μια ειδοποίηση ενεργοποιείται στις 02:10. Ένας μηχανικός προωθεί μια αλλαγή διαμόρφωσης, η υπηρεσία ολοκλήρωσης αγοράς αρχίζει να επιστρέφει σφάλματα και ο υπεύθυνος εξυπηρέτησης την ακυρώνει 40 λεπτά αργότερα. Στη συνάντηση αναθεώρησης, η πρώτη ερώτηση είναι "Ποιος προώθησε την αλλαγή;" Μέσα σε λίγα λεπτά η συζήτηση αφορά την κρίση ενός ατόμου στις 2 π.μ. και κανείς δεν ρωτάει γιατί η αλλαγή μπόρεσε να φτάσει στην παραγωγή χωρίς καναρίνι, γιατί η ειδοποίηση άργησε τόσο πολύ να σελιδοποιηθεί ή γιατί το runbook ήταν παρωχημένο.
Αυτό είναι ένα ενδεικτικό σενάριο, όχι μια περίπτωση πελάτη. Είναι αναγνωρίσιμο επειδή συμβαίνει: μια ανασκόπηση περιστατικού που εστιάζει στο τελευταίο άτομο που θα δράσει παράγει μια τακτοποιημένη ιστορία και πολύ λίγα διδάγματα.
Αυτός ο οδηγός απευθύνεται σε διευθυντές μηχανικών και επικεφαλής ανάπτυξης που θέλουν οι εργαζόμενοι να βελτιωθούν στην ανάλυση στοιχείων περιστατικών και στη συμφωνία για βελτιώσεις που μπορούν να δοκιμαστούν. Καλύπτει τον τρόπο διαχωρισμού των κενών δεξιοτήτων από τις συνθήκες γύρω τους, τον τρόπο σχεδιασμού της πρακτικής, τον τρόπο ενημέρωσης και τον τρόπο μέτρησης της αποτελεσματικότητας των αξιολογήσεων.
Τι σημαίνει και τι δεν σημαίνει «άμεμπτος»
Το βιβλίο Site Reliability Engineering της Google το θέτει ξεκάθαρα: για να είναι μια νεκροψία πραγματικά άψογη, πρέπει να επικεντρώνεται στον εντοπισμό των αιτιών που συνέβαλαν στο περιστατικό, χωρίς να κατηγορεί κανένα άτομο ή ομάδα για κακή ή ακατάλληλη συμπεριφορά. Περιγράφει επίσης την παρακάτω υπόθεση: όλοι οι εμπλεκόμενοι ενήργησαν με καλές προθέσεις και έπραξαν το σωστό με τις πληροφορίες που είχαν. (Βιβλίο Google SRE, "Postmortem Culture: Μαθαίνοντας από την αποτυχία".)
Η αθώα δεν σημαίνει ότι δεν θα έχει συνέπειες. Το ίδιο κεφάλαιο αναμένει ότι οι νεκροψίες θα καταλήγουν σε ενέργειες με προτεραιότητα και υπεύθυνο. Η αθώα έρευνα εξακολουθεί να απαιτεί λογοδοσία, αλλά η λογοδοσία μετακινείται από το "ποιος το προκάλεσε αυτό" στο "ποιος θα κάνει το σύστημα ασφαλέστερο και μέχρι πότε". Εάν οι αξιολογήσεις σας παραλείψουν το δεύτερο μισό, έχετε μια ευχάριστη συζήτηση, όχι μια διαδικασία μάθησης.
1. Προσδιορίστε τη συμπεριφορά και το πλαίσιό της
Ξεκινήστε με τη συγκεκριμένη συμπεριφορά που θέλετε να αλλάξετε. Η φράση «Οι αξιολογήσεις περιστατικών μας επικεντρώνονται στο τελευταίο άτομο που ενήργησε» είναι αισθητή. Η φράση «Η κουλτούρα μας είναι γεμάτη ευθύνες» δεν είναι.
Στη συνέχεια, αναρωτηθείτε αν πρόκειται καθόλου για πρόβλημα δεξιότητας. Η εκπαίδευση μπορεί να διορθώσει μόνο ορισμένες αιτίες κακής απόδοσης. Πριν δημιουργήσετε οτιδήποτε, διαχωρίστε τρεις πιθανότητες:
- Μια ελλείπουσα δεξιότητα. Οι κριτές δεν γνωρίζουν πώς να δημιουργήσουν ένα χρονοδιάγραμμα, να διακρίνουν ένα έναυσμα από έναν παράγοντα που συμβάλλει ή να ρωτήσουν «τι έκανε αυτή την ενέργεια να φαίνεται λογική εκείνη τη στιγμή;»
- Κίνητρα. Οι κριτικές τροφοδοτούν τις συζητήσεις για την απόδοση, επομένως οι άνθρωποι διαμορφώνουν τους λογαριασμούς τους για να προστατεύσουν τον εαυτό τους.
- Διαβαθμίσεις εξουσίας και προηγούμενες αντιδράσεις. Ένας νεότερος μηχανικός που εξέφρασε μια ανησυχία το περασμένο τρίμηνο και του ζητήθηκε να σταματήσει να είναι αρνητικός, δεν θα θέσει τέτοια ανησυχία σε αυτήν τη συνάντηση, όσο καλά εκπαιδευμένος κι αν είναι.
Μόνο το πρώτο είναι πρόβλημα εκπαίδευσης. Τα άλλα δύο είναι συνθήκες. Αν εκπαιδεύσετε την δεξιότητα και αφήσετε στην άκρη τις συνθήκες, οι άνθρωποι θα κάνουν πρόβα σε κάτι που ο χώρος εργασίας τιμωρεί. Αντιμετωπίστε την τρέχουσα άποψή σας για την αιτία ως υπόθεση και δοκιμάστε την με μερικές συζητήσεις με μηχανικούς και μια ματιά σε πρόσφατα έγγραφα αξιολόγησης προτού δεσμευτείτε σε ένα πρόγραμμα.
2. Ορίστε τις λειτουργικές συνθήκες για την εξάσκηση
Μεταφέρετε ασκήσεις μόνο εάν ο χώρος εργασίας απαντά σε αυτές. Πριν από οποιαδήποτε πρόβα, συμφωνήστε τα εξής με τους ανθρώπους που διεξάγουν τις αξιολογήσεις:
- Εγκεκριμένες αρμοδιότητες. Ποιος συντονίζει, ποιος γράφει το χρονοδιάγραμμα, ποιος είναι υπεύθυνος για τις επακόλουθες ενέργειες; Κάντε τους ρόλους σαφείς, ώστε ο συντονιστής να μην αυτοσχεδιάζει ως φορέας εξουσίας.
- Πώς οι ηγέτες αντιμετωπίζουν τις ανησυχίες. Αν ένας μηχανικός πει «το εργαλείο ανάπτυξης με αφήνει να παραλείψω το καναρίνι», τι κάνει στη συνέχεια ο διευθυντής; Αποφασίστε την απάντηση εκ των προτέρων, για παράδειγμα: ευχαριστήστε τον, καταγράψτε το ως παράγοντα που συνέβαλε και αναθέστε μια ενέργεια.
- Η απάντηση του επόπτη. Η πρόβα του προσωπικού χρειάζεται μια αντίστοιχη απάντηση από τον προϊστάμενο. Αν εκπαιδεύετε μηχανικούς να μιλούν ανοιχτά στις αξιολογήσεις, αλλά οι διευθυντές τους εξακολουθούν να ρωτούν «ποιος έφταιγε;», η εκπαίδευση θα χάσει.
Μια σύντομη ενημέρωση των διευθυντών σχετικά με τη διαδικασία αξιολόγησης είναι εξίσου σημαντική με την εκπαίδευση των συμμετεχόντων. Συμπεριλάβετε μια σαφή δήλωση για το πώς χρησιμοποιούνται και δεν χρησιμοποιούνται τα έγγραφα αξιολόγησης στη διαχείριση της απόδοσης.
3. Σχεδιάστε ένα μαθησιακό ταξίδι βασισμένο στη συμπεριφορά
Οι οδηγίες του Κέντρου Carnegie Mellon Eberly σχετικά με τους μαθησιακούς στόχους τονίζουν το χρήσιμο σημείο ότι οι στόχοι, οι αξιολογήσεις και οι διδακτικές στρατηγικές θα πρέπει να ευθυγραμμίζονται μεταξύ τους (Κέντρο Eberly, Μαθησιακοί Στόχοι). Αυτές είναι οδηγίες σχεδιασμού, όχι στοιχεία για κάποιο συγκεκριμένο εργαλείο ή αποτέλεσμα, αλλά αποτελούν μια καλή δοκιμασία για αυτό το πρόγραμμα: εάν ο στόχος είναι η ανάλυση στοιχείων και η συμφωνία για ελέγξιμες βελτιώσεις, τότε οι ερωτήσεις ανάκλησης από μόνες τους δεν μπορούν να αποτελέσουν την αξιολόγηση.
Η ταξινόμηση του Bloom βοηθάει εδώ ως ένας τρόπος περιγραφής της γνωστικής απαίτησης της εργασίας: ανάλυση, αξιολόγηση, δημιουργία. Περιγράφει τι ζητά η εργασία από ένα άτομο. Δεν εξηγεί γιατί το κάνει ή δεν το κάνει, επομένως μην τη χρησιμοποιείτε για τη διάγνωση του κινήτρου.
Ένα λειτουργικό ταξίδι έχει τρία στάδια.
| Στάδιο | Δράση μαθητή | Παράδοση |
|---|---|---|
| Προετοιμασία | Διαβάστε την πολιτική σας για την αναθεώρηση περιστατικών και ένα σύντομο γλωσσάρι (ενεργοποιητής, παράγοντας που συμβάλλει, μετριασμός, στοιχείο δράσης). Μια σύντομη διαγνωστική εξέταση ελέγχει τις προϋποθέσεις. | Μελέτη με αυτορυθμιζόμενο ρυθμό. Ένας έλεγχος ανάκλησης επιβεβαιώνει μόνο τις προαπαιτούμενες γνώσεις, όχι την ικανότητα επανάληψης. |
| Πρακτική | Αναλύστε μια προετοιμασμένη περίπτωση περιστατικού και συμφωνήστε σε ελέγξιμες βελτιώσεις. Απαιτείται μια αιτιολογημένη απάντηση, όχι μια επιλογή πολλαπλών επιλογών. | Διαδραστική ή διευκολυνόμενη πρακτική εξάσκηση περιστατικών, με ανατροφοδότηση σχετικά με την ποιότητα της ανάλυσης συμβάλλοντων παραγόντων και την παρακολούθηση της συνέχειας. |
| Αναθεώρηση και μεταφορά | Συζητήστε μια διφορούμενη επιλογή και, στη συνέχεια, ολοκληρώστε μια νέα περίπτωση ή μια εποπτευόμενη πραγματική αξιολόγηση. | Ζωντανή καθοδήγηση ή ασύγχρονη αξιολόγηση. Ελέγξτε τη μεταφορά αφού οι άνθρωποι έχουν χρόνο να χρησιμοποιήσουν την δεξιότητα στην εργασία. |
Διατηρήστε την περίπτωση ρεαλιστική και ζητήστε από έναν έμπειρο μηχανικό να την επικυρώσει. Μια περίπτωση που είναι τεχνικά λανθασμένη διδάσκει στους κριτές να μην εμπιστεύονται την άσκηση.
4. Επεξεργασία του σεναρίου και απολογισμός
Δείτε πώς θα μπορούσε να εκτελεστεί μια εξάσκηση με το σενάριο 02:10. Το πακέτο αποδεικτικών στοιχείων περιέχει το αρχείο καταγραφής ανάπτυξης, τη χρονική γραμμή ειδοποιήσεων, την πολιτική σελιδοποίησης, το αίτημα έλξης και το βιβλίο εκτέλεσης, όλα φανταστικά.
Προτροπή προς τον συμμετέχοντα. «Εξηγήστε γιατί ο μηχανικός προώθησε την αλλαγή όταν το έκανε. Αναφέρετε τα στοιχεία που χρησιμοποιήσατε. Πείτε μας ποιες περαιτέρω πληροφορίες ή υποστήριξη θα χρειαστείτε πριν μπορέσετε να είστε σίγουροι.»
Μια αδύναμη απάντηση ακούγεται κάπως έτσι: «Ο μηχανικός θα έπρεπε να είχε ελέγξει τη σταδιοποίηση». Κατονομάζει ένα άτομο, δεν αναφέρει τίποτα και δεν προτείνει καμία αλλαγή.
Μια πιο ισχυρή απάντηση ακούγεται κάπως έτσι: "Το αρχείο καταγραφής ανάπτυξης δείχνει ότι η αλλαγή πραγματοποιήθηκε απευθείας επειδή το βήμα canary είναι προαιρετικό στο εργαλείο. Το αίτημα έλξης είχε έναν αναθεωρητή που το ενέκρινε μετά από ένα χρονικό διάστημα 20 λεπτών. Η σελίδα ενεργοποιήθηκε 18 λεπτά μετά την έναρξη των σφαλμάτων επειδή το όριο ειδοποίησης είχε οριστεί σε μέσο όρο πέντε λεπτών. Θα ήθελα να μάθω πόσες άλλες αλλαγές αυτόν τον μήνα παρέλειψαν το canary και αν οι μηχανικοί σε ετοιμότητα έχουν ενημερωθεί ποτέ ότι το βήμα είναι παραβλέφιμο. Προτεινόμενες ενέργειες: να γίνει το canary υποχρεωτικό για αυτό το επίπεδο υπηρεσίας, κάτοχος: ομάδα πλατφόρμας, έλεγχος: προσπάθεια ανάπτυξης canary που παραλείφθηκε στο στάδιο της σταδιοποίησης και επιβεβαίωση ότι είναι αποκλεισμένη. μείωση του παραθύρου ειδοποίησης, κάτοχος: επικεφαλής σε ετοιμότητα, έλεγχος: επανάληψη των σφαλμάτων της περασμένης εβδομάδας σε σχέση με το νέο όριο."
Παρατηρήστε τι το κάνει καλύτερο. Χρησιμοποιεί στοιχεία, κατονομάζει περιορισμούς και αβεβαιότητα και καταλήγει σε ενέργειες που μπορούν να δοκιμαστούν.
Τώρα η απολογιστική αξιολόγηση. Μην το βαθμολογείτε απλώς. Ρωτήστε:
- Τι υποστήριζαν τα στοιχεία και τι υποθέσατε;
- Ποιες από τις ενέργειές σας θα είχε στην πραγματικότητα η ομάδα την εξουσία να κάνει;
- Τι θα σας διευκόλυνε να επαναλάβετε αυτή τη συμπεριφορά στην επόμενη πραγματική σας αξιολόγηση; Τι θα την έκανε πιο δύσκολη;
Η τρίτη ερώτηση έχει τη μεγαλύτερη σημασία. Αναδεικνύει τις συνθήκες από την ενότητα 2. Εάν τρεις συμμετέχοντες πουν «ο διευθυντής μου θα ρωτήσει ποιος το έκανε», έχετε διαπιστώσει ότι μια εκπαίδευση περιορισμών δεν μπορεί να την καταργήσει.
5. Μετρήστε τη συμπεριφορά και ακολουθήστε την
Το βασικό ερώτημα είναι ποια στοιχεία θα έδειχναν ότι οι μαθητές μπορούν να αναλύσουν τα στοιχεία των περιστατικών και να συμφωνήσουν σε ελέγξιμες βελτιώσεις. Ακολουθεί μια ρουμπρίκα από την οποία μπορούμε να ξεκινήσουμε. Πρόκειται για μια πρόταση προσαρμογής με έναν έμπειρο μηχανικό, όχι για ένα επικυρωμένο πρότυπο ετοιμότητας.
| Κριτήριο | Παρατηρήσιμα στοιχεία | 0 | 1 | 2 |
|---|---|---|---|---|
| Εκτέλεση εργασιών | Αναλύει τα στοιχεία και συμφωνεί για βελτιώσεις· καταγράφει την ενέργεια και τα στοιχεία που την υποστηρίζουν. | Απουσία ή μη υποστήριξη | Μερική, με σχετικές παραλείψεις | Πλήρες και δικαιολογημένο με βάση τα συμφωνηθέντα κριτήρια |
| Αιτιολογία | Εξηγεί τους περιορισμούς, τις εναλλακτικές λύσεις και την αβεβαιότητα. Οι παράγοντες που συμβάλλουν ξεπερνούν την τελευταία ενέργεια. | Απουσία ή μη υποστήριξη | Μερική, με σχετικές παραλείψεις | Πλήρης και δικαιολογημένη |
| Όρια | Χρησιμοποιεί εγκεκριμένες διαδικασίες· ζητά βοήθεια όταν λείπουν πληροφορίες ή εξουσιοδοτήσεις | Απουσία ή μη υποστήριξη | Μερική, με σχετικές παραλείψεις | Πλήρης και δικαιολογημένη |
Ορίστε τα κρίσιμα σφάλματα ξεχωριστά, για παράδειγμα κατονομάζοντας ένα άτομο ως αιτία ή προτείνοντας μια ενέργεια χωρίς υπεύθυνο. Μια υψηλή συνολική βαθμολογία δεν πρέπει ποτέ να κρύβει μια κρίσιμη αποτυχία.
Για την ίδια τη μέτρηση:
- Ποιότητα της ανάλυσης συμβάλλοντων παραγόντων. Συγκρίνετε κριτικές που γράφτηκαν πριν από το πρόγραμμα με κριτικές που γράφτηκαν αργότερα, οι οποίες βαθμολογήθηκαν με βάση την ίδια βαθμολογία από κάποιον που δεν γνωρίζει ποια είναι ποια. Χρησιμοποιήστε άγνωστες επόμενες περιπτώσεις, καθώς και πραγματικές.
- Παρακολούθηση. Μετρήστε το μερίδιο των στοιχείων δράσης που έχουν κάτοχο, μια δοκιμή και ολοκληρώθηκαν, από όλα τα στοιχεία δράσης που τέθηκαν. Καθορίστε τον παρονομαστή και το χρονικό παράθυρο.
- Συνδυάστε την παρατήρηση με τις αλλαγές στη διαδικασία. Κάντε μια πραγματική ανασκόπηση. Δείτε τι συνέβη στα στοιχεία δράσης στη συνέχεια.
Να είστε προσεκτικοί με τον όγκο αναφορών. Εάν καταγράφονται περισσότερες ανησυχίες και παραλίγο ατυχήματα μετά το πρόγραμμα, αυτό θα μπορούσε να σημαίνει ότι η ασφάλεια έχει βελτιωθεί, η εμπιστοσύνη έχει βελτιωθεί ή ότι ένα νέο εργαλείο έχει διευκολύνει την καταγραφή. Μια πτώση θα μπορούσε να σημαίνει λιγότερα προβλήματα ή λιγότερη προθυμία για συζήτηση. Εξετάστε τι άλλαξε την ίδια περίοδο πριν αποδώσετε οποιαδήποτε κίνηση στην εκπαίδευση και αποφύγετε να ισχυρίζεστε ότι το μέγεθος της επίδρασης δεν το έχετε μετρήσει.
Η παραπάνω καθοδήγηση του Eberly για την ευθυγράμμιση των πλαισίων δεν αποτελεί απόδειξη ότι αυτή η προσέγγιση μειώνει τα περιστατικά. Διατηρήστε τα δικά σας δεδομένα αναφοράς και παρακολούθησης και αντιμετωπίστε τα ως τοπικά στοιχεία.
Ποιοι περιορισμοί μπορεί να παραμείνουν ακόμη και μετά τη βελτίωση των δεξιοτήτων
Να είστε ειλικρινείς σχετικά με αυτά με τους χορηγούς:
- Τα έγγραφα αναθεώρησης ενδέχεται να εξακολουθούν να τροφοδοτούν τις αποφάσεις απόδοσης.
- Οι ομάδες που βρίσκονται υπό πίεση για την υλοποίηση μπορεί να παραλείψουν ενέργειες που είναι δαπανηρές αλλά λογικές.
- Οι ενέργειες μεταξύ ομάδων ενδέχεται να καθυστερήσουν επειδή κανείς δεν κατέχει τα όρια.
- Οι ανώτεροι μηχανικοί μπορεί να εξακολουθούν να κυριαρχούν στη συζήτηση.
Η καλύτερη ανάλυση δεν τα εξαλείφει αυτά. Σχεδιάστε ξεχωριστές αλλαγές στη διαδικασία για αυτά.
Εφαρμογή στην πράξη με την AhaSlides
Το AhaSlides υποστηρίζει την προσαρμοστική μάθηση, τη διαδραστική μάθηση και τη μετάβαση από την ζωντανή και την αυτορυθμιζόμενη παράδοση. Σε αυτό το ταξίδι αυτό θα μπορούσε να σημαίνει ένα βήμα προετοιμασίας με αυτορυθμιζόμενο ρυθμό, μια ζωντανή ή διευκολυνόμενη συνεδρία περίπτωσης με ανοιχτές απαντήσεις, ώστε όλοι να δεσμευτούν σε μια ανάλυση πριν από τη συζήτηση της ομάδας, και μια εργασία παρακολούθησης μετά τη συνεδρία. Οι συγκεκριμένες λειτουργίες σύνταξης, βαθμολόγησης και αναφοράς θα πρέπει να ελέγχονται σε μια επίδειξη σε σχέση με τη δική σας περίπτωση πριν βασιστείτε σε αυτές, και οτιδήποτε περιλαμβάνει Τεχνητή Νοημοσύνη, προσομοιωτές ή ενσωματώσεις με τα εργαλεία περιστατικών σας θα πρέπει να αντιμετωπίζεται ως εξωτερικό μέχρι να εμφανιστεί.
Επόμενο βήμα: Πάρτε την παραπάνω ρουμπρίκα και προσαρμόστε την με έναν από τους ανώτερους μηχανικούς σας και, στη συνέχεια, δημιουργήστε την περίπτωση που θα χρησιμοποιήσετε. Αν θέλετε να δείτε πώς θα μπορούσε να λειτουργήσει μια ζωντανή και αυτορυθμιζόμενη εκδοχή αυτού του ταξιδιού, κλείστε μια επίδειξη ροής εργασίας AhaSlides μόλις συντάξετε την υπόθεση και τη ρουμπρίκα.
