Hvordan man strukturerer efterhandlingsevalueringer (AAR'er) for at fremme psykologisk tryghed, ærlig selvkritik og læring fra rodårsagerne

En efterevaluering (AAR) er en struktureret samtale, der afholdes kort efter en træningsøvelse eller en reel begivenhed for at fastslå, hvad der skulle ske, hvad der skete, hvorfor, og hvad man skal gøre derefter. Det lyder simpelt. I praksis går mange AAR'er galt på de samme to måder: folk forsvarer deres beslutninger, og registreringen af ​​begivenheden er tynd. Begge dele gør det svært at lære noget.

Denne vejledning er skrevet til ledere og træningsansvarlige inden for offentlig sikkerhed, der faciliterer årlige rapporter om hændelser (AAR'er). Den fokuserer på deeskalering og koordinering af hændelser, altid inden for den myndighed, dine medarbejdere har fået delegeret. Den viser, hvordan man adskiller et kompetencegab fra et klimaproblem, hvordan man skaber betingelserne for ærlig diskussion, hvordan man kører et fungerende scenarie, og hvordan man kan se, om evalueringen har ændret noget.

Start med adfærden, ikke foredraget

Forestil dig dette illustrative scenarie (ikke en virkelig case). Et hold afslutter en øvelse på en anspændt hændelse med deltagelse af flere myndigheder. I gennemgangen siger en betjent, at radiooverdragelsen "gik fint". En anden siger, at tidslinjen var "nogenlunde" som planlagt. Ingen nævner, at to personer var uenige om, hvem der traf den næste beslutning. Der er huller i den skriftlige hændelsesrapport, og samtalen glider hen på, hvad øvelsesdesignerne tog fejl af.

Før du planlægger et svar, så spørg, hvad der egentlig ligger bag den tavshed. Der er mindst fire forskellige forklaringer, og de kræver forskellige løsninger:

1. En manglende færdighed. Folk ved ikke, hvordan de skal beskrive en beslutning, citere, hvad de vidste på det tidspunkt, og sige, hvad der var uklart. Dette er et læringsbehov.
2. En autoritetsgradient. Juniormedarbejdere vil ikke udfordre en seniorkollegas beretning foran lokalet. Det hjælper ikke at øve færdigheden, før hældningen ændrer sig.
3. Incitamenter. Hvis resultaterne af evalueringen indgår i evaluering eller disciplinering, er ærlig selvkritik en risiko, uanset hvor godt den fremmes.
4. Historie. Hvis den sidste person, der talte, blev ignoreret eller sat til side, har rummet lært noget, og et nyt format vil ikke fortryde det.

Psykologisk tryghed er det udtryk, forskere bruger om dette klima. Amy Edmondsons undersøgelse af 51 arbejdsteams i en produktionsvirksomhed definerede det som en fælles overbevisning om, at teamet er sikkert for interpersonel risikotagning, og fandt, at det var forbundet med teamlæringsadfærd (Edmondson, 1999, Administrative Science Quarterly). Det er en association i én sammenhæng, ikke et bevis på, at et bestemt AAR-format vil skabe tryghed i din. Betragt det som en grund til at undersøge klimaet, ikke som et løfte.

Den praktiske konsekvens: en faciliteringsteknik kan kun gøre et vist mål. Psykologisk sikkerhed afhænger også af, hvordan ledere opfører sig uden for sessionen, så planlæg at se på begge dele.

Sæt betingelserne, før nogen taler

Den amerikanske hærs træningscirkulære om AAR'er (TC 25-20, En leders guide til evalueringer efter handling, 1993) beskriver en årlig aktivitetsrapport (AAR) som en professionel diskussion af en begivenhed med fokus på præstationsstandarder, der lader deltagerne selv opdage, hvad der skete, hvorfor det skete, og hvordan de kan opretholde styrker og forbedre svagheder. Bemærk udtrykket "opdage selv". En evaluering, der bliver til en dom afsagt af den mest erfarne person i rummet, er en debriefing af en anden art.

Aftal disse betingelser på forhånd, skriftligt, med deltagernes vejledere:

• Formål og afgrænsning. Angiv, om denne gennemgang kun er til læring, eller om noget af det sagte kan give næring til en separat formel proces. Hvis det ærlige svar er "det afhænger", så sig det ligeud. Folk vil ikke være ærlige på baggrund af en vag forsikring.
• Godkendte ansvarsområder. Vær tydelig omkring, hvad hver rolle var bemyndiget til at beslutte under øvelsen eller begivenheden. Medarbejdere kan kun reflektere ærligt over en beslutning, hvis de ved, om det var deres ansvar at træffe den. Hvor information eller bemyndigelse var utilstrækkelig, er den rigtige adfærd at sige det og eskalere, og evalueringen bør behandle det som god praksis.
• Hvordan lederne vil reagere. At øve sig i at tale med personalet er kun halvdelen af ​​arbejdet. Ledere har brug for et tilsvarende svar: takke personen, stille et opfølgende spørgsmål og ikke kommentere personen. Informer dem først, og bed dem om at tale sidst.
• Beviser først. Indsaml begivenhedsrapporten, tidslinjen, radio- eller loguddrag og eventuelle øvelsesindlæg før træningen. Defensivt spil udfylder ofte det hul, som manglende beviser efterlader.

Design en adfærdsbaseret læringsrejse

Personalet bliver ikke gode til ærlig evaluering ved at deltage i en. Godt design starter med den ønskede adfærd, og matcher derefter forberedelse, praksis og feedback med den. Carnegie Mellon Eberly Centers vejledning om overensstemmelse mellem evalueringer, mål og undervisningsstrategier understreger pointen godt: hvis man vil have folk til at analysere, øve sig og vurdere analyse, ikke bare huske. Det er designvejledning til at tilpasse læringsaktiviteter, ikke bevis for et sektorresultat eller nogen platform.

For denne opgave er adfærden: analysere, hvad der skete, og blive enige om en læringshandling. Med Blooms ord står det på anvend og evaluer. Disse betegnelser beskriver den nødvendige tænkning, ikke et formidlingsformat, og de forklarer ikke motivation. Hvis nogen ikke vil tale, vil Bloom ikke fortælle dig hvorfor.

En brugbar rejse har tre faser:

Forberedelse i eget tempo frigør live-sessionen til den del, der kræver folk til stede: tvetydighed. Fakta kan læres alene. Hvorvidt en beslutning truffet med delvise oplysninger var rimelig, er en samtale.

Et gennemført scenarie og en debriefing

Her er casen, som øvelsesfasen skal bygges op omkring. Den er illustrativ, og en kvalificeret medarbejder inden for offentlig sikkerhed bør validere casen og svarkriterierne, før du bruger den.

Sagen. I en deeskaleringsøvelse blev et indsatshold sendt til et anspændt og overfyldt offentligt rum. Holdlederen bad et yngre medlem om at holde verbal kontakt med en ophidset person, mens resten af ​​holdet koordinerede med en anden myndighed via radio. Bagefter viser den skriftlige protokol et mellemrum på 6 minutter og ingen notat om, hvem der bekræftede overdragelsen. I gennemgangen forsvarer holdet sekvensen, og protokollen diskuteres ikke.

Hvad facilitatoren beder deltageren om at gøre. Forklar beslutningen, angiv relevant dokumentation, og identificer, hvilke yderligere oplysninger eller støtte der var nødvendig.

En stærk reaktion lyder sådan her.

• Hvad jeg gjorde: "Jeg blev ved med at tale med personen, fordi jeg var den eneste, der havde verbal kontakt. Jeg stoppede ikke for at registrere overdragelsen."
• De beviser jeg havde: "Jeg kunne høre radioen, men ikke bekræftelsen. Tidslinjen viser min sidste tone før pausen."
• Hvad jeg ikke vidste, og hvad jeg havde brug for: "Jeg var usikker på, om jeg var bemyndiget til at bede den anden instans om at gentage overdragelsen. En tydeligere instruktion om det ville have hjulpet."

Hvordan modtageren reagerer. Facilitatoren hverken retter eller dømmer. De spørger: "Hvad gjorde det svært at gøre dengang?" og "Hvad ville gøre det lettere næste gang?" Teamlederen tilføjer derefter sin egen beretning, inklusive hvad de kunne have gjort tydeligere. At høre en erfaren person anerkende et hul er ofte det, der muliggør det andet og tredje bidrag.

Spørgsmålet om overførsel. Afslut med en fremadrettet prompt: "Hvad ville gøre det lettere at gentage denne adfærd på arbejdet?" Svarene er ofte procespunkter (en bekræftelseslinje for overlevering i loggen, en tydeligere erklæring om, hvem der kan anmode om gentagelser) snarere end individuelle mangler. Det er dine grundlæggende årsager.

Tilrettelæggelsesbevægelser, der beskytter ærlighed

Et par vaner gør forskellen mellem en evaluering og et afhør:

• Stil åbne spørgsmål om "hvad" og "hvordan" før ethvert "hvorfor". "Hvorfor gjorde du det?" indbyder til et forsvar. "Hvad så du på det tidspunkt?" indbyder til en redegørelse.
• Spørg først facilitatoren og den mest erfarne person om de svageste punkter. Det er hurtigere at modellere selvkritik end at anmode om det.
• Chase årsager forbi det første svar. Hvis forklaringen ender ved "nogen lavede en fejl", så bliv ved med at spørge, hvad der i processen gjorde, at fejlen fik betydning. Individuelle fejl er sjældent den grundlæggende årsag.
• Luk med navngivne handlinger, ejere og datoer. En anmeldelse, der slutter uden en læringshandling, lærer folk, at anmeldelser er teater.

Mål adfærd og følg op

Hvordan ved du, at eleverne nu kan analysere, hvad der skete, og blive enige om en læringshandling? Kig efter beviser, ikke fremmøde eller glæde:

1. Refleksionens kvalitet. Brug en rubrik til at score usete cases eller reelle anmeldelser baseret på, om deltagerne angiver beslutningen, citerer beviser, nævner usikkerhed og foreslår en specifik handling.
2. Kvaliteten af ​​opfølgende handlinger. Er de aftalte handlinger specifikke, tager de ansvar for dem og er de gennemførte? Spor dem.
3. Overførsel på arbejdet. Sammenlign en baseline-evaluering med en senere usete case, efter at have haft tilstrækkelig tid i jobbet til at øve sig.

Her er et eksempel på en rubrik. Giv hvert kriterium en score fra 0 til 2, og tilpas kriterierne sammen med en kvalificeret specialist. Dette er et foreslået rubrik, ikke en valideret parathedsstandard.

Ankre: 0 = fraværende eller ikke-underbygget; 1 = delvis, med relevante udeladelser; 2 = fuldstændig og begrundet i forhold til aftalte kriterier. Definer kritiske fejl separat, så en samlet score aldrig skjuler en kritisk fejl.

Vær især forsigtig med ét tal: rapporteringsvolumen. Hvis der rejses flere bekymringer, efter du har ændret dine anmeldelser, kan det betyde, at folk føler sig mere trygge, at mere går galt, eller at en ny formular er nemmere at udfylde. En stigning i rapportering kræver fortolkning, ikke fejring. Kombiner observation af evalueringssessioner med procesændringer og opfølgende handlinger, definer population, nævner og timing, før du starter, og kontroller for andre operationelle ændringer samtidig, før du tilskriver noget til træningen. Målevejledning, såsom CDC's ressourcer til træningsevaluering, er nyttig til at formulere læring og overførsel, men den forudsiger ikke operationel forbedring.

Begrænsninger, der kan forblive

To spørgsmål er værd at have med i din planlægning.

Hvilke begrænsninger kan forblive, selv efter at opgavens ydeevne er forbedret? Autoritetsforskelle, evalueringsforbindelser, arbejdsbyrde og den måde, ledere reagerer på i korridoren bagefter, kan alle vare ved. Bedre facilitering vil ikke ændre et incitament. Hvis folk stadig ikke har råd til at være ærlige, vil din rubrik vise god refleksion i træningslokalet og stilhed i felten.

Hvor dette passer ind, og hvad skal man gøre nu

Start med en opgaverubrik eller et rejselærred: vælg én tilbagevendende øvelse, skriv den ønskede evalueringsadfærd ned, og tjek, at hver fase af dit design praktiserer og vurderer denne adfærd. Test den derefter med en træningsansvarlig og en operationel specialist, før du kører den.

AhaSlides understøtter interaktiv læring, adaptiv læring og skift mellem live og selvstudier. Bekræft de specifikke funktioner til forfatterskab, feedback og rapportering, du har brug for, i forhold til din egen case, og behandl AI, VR, simulatorer og integrationer som eksterne eller ubekræftede, indtil du har set dem fungere.

For at se, hvordan disse funktioner kan håndtere en gennemgang som den ovenfor, kan du udforske AhaSlides.