Hoe structureer je evaluaties na afloop (After Action Reviews, AAR's) om psychologische veiligheid, eerlijke zelfkritiek en het leren van de onderliggende oorzaken te bevorderen?

Een evaluatie achteraf (After Action Review, AAR) is een gestructureerd gesprek dat kort na een trainingsoefening of een daadwerkelijke gebeurtenis plaatsvindt om vast te stellen wat de bedoeling was, wat er daadwerkelijk is gebeurd, waarom, en wat de volgende stappen moeten zijn. Het klinkt eenvoudig. In de praktijk gaan veel AAR's echter op twee dezelfde manieren mis: mensen verdedigen hun beslissingen en er is weinig verslag van de gebeurtenis. Beide factoren maken het moeilijk om er iets van te leren.

Deze handleiding is geschreven voor opleidingsdirecteuren en opleidingsfunctionarissen op het gebied van openbare veiligheid die evaluaties na incidenten (AAR's) begeleiden. De focus ligt op de-escalatie en incidentcoördinatie, altijd binnen de bevoegdheden die aan uw medewerkers zijn gedelegeerd. De handleiding laat zien hoe u een tekort aan vaardigheden kunt onderscheiden van een klimaatprobleem, hoe u de voorwaarden schept voor een eerlijke discussie, hoe u een scenario oefent en hoe u kunt vaststellen of de evaluatie iets heeft veranderd.

Begin met het gedrag, niet met het preken.

Stel je dit illustratieve scenario voor (geen echt geval). Een team rondt een simulatieoefening af over een gespannen incident waarbij meerdere instanties betrokken waren. Tijdens de evaluatie zegt een agent dat de overdracht via de radio "prima" verliep. Een andere agent zegt dat het tijdschema "ongeveer" volgens plan verliep. Niemand vermeldt dat twee mensen het oneens waren over wie de volgende beslissing moest nemen. Het schriftelijke verslag van het incident bevat hiaten en het gesprek dwaalt af naar wat de ontwerpers van de oefening verkeerd hebben gedaan.

Voordat je een antwoord bedenkt, vraag je eerst af wat er nu eigenlijk achter die stilte schuilgaat. Er zijn minstens vier verschillende verklaringen, en die vereisen elk een andere aanpak:

1. Een ontbrekende vaardigheid. Mensen weten niet hoe ze een beslissing moeten beschrijven, hoe ze moeten aangeven wat ze op dat moment wisten en wat onduidelijk was. Dit is een leerbehoefte.
2. Een gezagsgradiënt. Junior medewerkers zullen de bewering van een senior collega niet in het bijzijn van anderen tegenspreken. Het oefenen van deze vaardigheid zal pas helpen als de situatie verandert.
3. Stimulansen. Als de bevindingen van een evaluatie worden meegenomen in de beoordeling of disciplinaire maatregelen, is eerlijke zelfkritiek een risico, hoe goed die ook wordt gefaciliteerd.
4. Geschiedenis. Als de laatste persoon die zich uitsprak werd genegeerd of buitenspel gezet, heeft de zaal iets geleerd en zal een nieuwe opzet dat niet ongedaan maken.

Psychologische veiligheid is de term die onderzoekers gebruiken voor dit klimaat. Amy Edmondson definieerde het in haar onderzoek onder 51 teams in een productiebedrijf als een gedeelde overtuiging dat het team een ​​veilige omgeving biedt voor het nemen van interpersoonlijke risico's, en ontdekte dat dit verband hield met het leergedrag van het team.Edmondson, 1999, Administrative Science QuarterlyDat is een associatie in één specifieke context, geen bewijs dat een bepaald AAR-formaat in jouw context veiligheid zal creëren. Beschouw het als een reden om het klimaat te onderzoeken, niet als een belofte.

Het praktische gevolg: een facilitatietechniek kan maar tot op zekere hoogte helpen. Psychologische veiligheid hangt ook af van hoe leiders zich buiten de sessie gedragen, dus plan om beide aspecten in overweging te nemen.

Stel de voorwaarden vast voordat iemand iets zegt.

De trainingsrichtlijn van het Amerikaanse leger over AAR's (TC 25-20, Een handleiding voor leiders over evaluaties na afloop, 1993Een AAR (After Action Review) wordt omschreven als een professionele bespreking van een gebeurtenis, gericht op prestatienormen, waarbij deelnemers zelf ontdekken wat er is gebeurd, waarom het is gebeurd en hoe ze sterke punten kunnen behouden en zwakke punten kunnen verbeteren. Let op de zinsnede "zelf ontdekken". Een evaluatie die uitmondt in een oordeel uitgesproken door de meest senior persoon in de zaal is een debriefing van een andere aard.

Spreek deze voorwaarden vooraf schriftelijk af met de leidinggevenden van de deelnemers:

• Doel en begrenzing. Geef aan of deze beoordeling alleen bedoeld is om van te leren, of dat de opmerkingen ook relevant kunnen zijn voor een apart, formeel proces. Als het eerlijke antwoord "het hangt ervan af" is, zeg dat dan duidelijk. Mensen zullen niet openhartig zijn op basis van een vage geruststelling.
• Goedgekeurde verantwoordelijkheden. Wees duidelijk over welke beslissingen elke rol mocht nemen tijdens de oefening of het evenement. Medewerkers kunnen alleen eerlijk reflecteren op een beslissing als ze weten of ze die zelf mochten nemen. Wanneer de informatie of bevoegdheid ontoereikend was, is het juist om dit te melden en de kwestie te escaleren. De evaluatie dient dit als goede praktijk te beschouwen.
• Hoe leiders zullen reageren. Het oefenen van het aankaarten van problemen met medewerkers is slechts de helft van het werk. Leidinggevenden hebben een passende reactie nodig: de persoon bedanken, een vervolgvraag stellen en geen commentaar geven op de persoon zelf. Informeer hen eerst en vraag hen als laatste aan het woord te komen.
• Eerst het bewijs. Verzamel vóór de sessie het verslag van de gebeurtenis, de tijdlijn, radio- of logboekfragmenten en eventuele oefeninjecties. Een defensieve houding vult vaak het gat op dat ontbrekend bewijsmateriaal achterlaat.

Ontwerp een op gedrag gebaseerd leertraject.

Medewerkers worden niet goed in eerlijke beoordelingen door er zelf een bij te wonen. Goed ontwerp begint bij het gewenste gedrag en stemt vervolgens de voorbereiding, oefening en feedback daarop af. De richtlijnen van het Carnegie Mellon Eberly Center over dit onderwerp zijn hierbij relevant. het afstemmen van beoordelingen, doelstellingen en onderwijsstrategieën Het punt wordt goed verwoord: als je wilt dat mensen analyseren, oefenen en analyses beoordelen, en niet alleen reproduceren. Het is een ontwerprichtlijn voor het afstemmen van leeractiviteiten, geen bewijs over resultaten in een bepaalde sector of op een bepaald platform.

Voor deze taak geldt het volgende gedrag: Analyseer wat er is gebeurd en spreek een leeractie af. Volgens Bloom's taxonomie komt dat neer op toepassen en evalueren. Die labels beschrijven het denkproces dat vereist is, niet de manier waarop het gepresenteerd wordt, en ze verklaren de motivatie niet. Als iemand niet wil praten, zal Bloom je niet vertellen waarom.

Een haalbaar traject bestaat uit drie fasen:

Zelfstudie maakt de live sessie vrij voor het onderdeel waar mensen wel bij aanwezig moeten zijn: onduidelijkheid. Feiten kun je in je eentje leren. Of een beslissing die op basis van onvolledige informatie is genomen redelijk was, is een onderwerp voor een gesprek.

Een uitgewerkt scenario en nabespreking.

Dit is een casus om de oefenfase op te bouwen. Het is een illustratief voorbeeld en een gekwalificeerde medewerker op het gebied van openbare veiligheid moet de casus en de antwoordcriteria valideren voordat u deze gebruikt.

De zaak. Tijdens een de-escalatieoefening werd een interventieteam naar een gespannen, drukke openbare ruimte gestuurd. De teamleider vroeg een junior lid om verbaal contact te onderhouden met een geagiteerde persoon, terwijl de rest van het team via de radio contact opnam met een tweede instantie. Achteraf blijkt uit het schriftelijke verslag een gat van 6 minuten en staat er niet vermeld wie de overdracht heeft bevestigd. Tijdens de evaluatie verdedigt het team de gang van zaken en wordt het verslag niet besproken.

Wat de begeleider de deelnemer vraagt ​​te doen. Leg de beslissing uit, verwijs naar relevant bewijsmateriaal en geef aan welke aanvullende informatie of ondersteuning nodig was.

Een krachtig antwoord klinkt als volgt.

• Wat ik deed: "Ik bleef met de persoon praten omdat ik de enige was die verbaal contact had. Ik heb de overdracht niet officieel vastgelegd."
• Het bewijsmateriaal dat ik had: "Ik kon de radio horen, maar niet de bevestiging. De tijdlijn laat mijn laatste bericht zien vóór de onderbreking."
• Wat ik niet wist en wat ik nodig had: "Ik wist niet zeker of ik bevoegd was om het andere bureau te vragen de overdracht te herhalen. Een duidelijkere instructie daarover zou nuttig zijn geweest."

Hoe de ontvanger reageert. De facilitator corrigeert of oordeelt niet. Hij of zij vraagt: "Wat maakte het destijds moeilijk?" en "Wat zou het de volgende keer makkelijker maken?" De teamleider voegt vervolgens zijn of haar eigen verhaal toe, inclusief wat er duidelijker had gekund. Het feit dat een senior medewerker een tekortkoming erkent, maakt vaak de tweede en derde bijdrage mogelijk.

De overdrachtskwestie. Sluit af met een toekomstgerichte vraag: "Wat zou het makkelijker maken om dit gedrag op het werk te herhalen?" De antwoorden zijn vaak procespunten (een bevestigingsregel voor de overdracht in het logboek, een duidelijkere omschrijving van wie om herhaling mag vragen) in plaats van individuele tekortkomingen. Dat zijn de onderliggende oorzaken.

Facilitatiemaatregelen die de eerlijkheid beschermen

Een paar gewoontes maken het verschil tussen een beoordeling en een verhoor:

• Stel open vragen over "wat" en "hoe". Voordat er een "waarom" wordt gevraagd, nodigt de vraag "Waarom deed je dat?" uit tot een verdediging. "Wat zag je op dat moment?" nodigt uit tot een verklaring.
• Vraag eerst de begeleider en de meest ervaren persoon naar de zwakste punten. Zelfkritiek voordoen is sneller dan erom vragen.
• Chase veroorzaakt problemen die verder gaan dan het eerste antwoord. Als de verklaring stopt bij "iemand heeft een fout gemaakt", blijf dan vragen wat er in het proces voor zorgde dat die fout er toe deed. Een individuele fout is zelden de hoofdoorzaak.
• Sluit af met vermelding van de acties, verantwoordelijken en data. Een recensie die eindigt zonder dat er iets van geleerd wordt, leert mensen dat recensies theater zijn.

Meet het gedrag en volg het op.

Hoe weet je of leerlingen nu in staat zijn om te analyseren wat er is gebeurd en een leeractie te bedenken? Kijk naar bewijs, niet naar aanwezigheid of plezier:

1. Kwaliteit van de reflectie. Beoordeel aan de hand van een beoordelingsschema onbekende casussen of echte beoordelingen op basis van de mate waarin deelnemers hun beslissing formuleren, bewijsmateriaal aanhalen, onzekerheid benoemen en een specifieke actie voorstellen.
2. Kwaliteit van de vervolgacties. Zijn de overeengekomen acties specifiek, worden ze gedragen en zijn ze voltooid? Houd ze bij.
3. Overplaatsing op het werk. Vergelijk een basisbeoordeling met een latere, onbekende casus, nadat je voldoende tijd in de functie hebt doorgebracht om te oefenen.

Hier is een voorbeeld van een beoordelingsschema. Geef elk criterium een ​​score van 0 tot 2 en pas de criteria aan in overleg met een gekwalificeerde specialist. Dit is een voorgesteld beoordelingsschema, geen gevalideerde standaard voor paraatheid.

Ankers: 0 = afwezig of niet onderbouwd; 1 = gedeeltelijk, met relevante weglatingen; 2 = volledig en gerechtvaardigd op basis van overeengekomen criteria. Definieer kritieke fouten afzonderlijk, zodat een algemene score nooit een kritieke tekortkoming verbergt.

Wees vooral voorzichtig met één getal: het aantal meldingen. Als er meer meldingen binnenkomen nadat je de beoordelingsmethoden hebt aangepast, kan dat betekenen dat mensen zich veiliger voelen, dat er meer misgaat, of dat een nieuw formulier makkelijker in te vullen is. Een toename in meldingen moet worden geïnterpreteerd, niet gevierd. Combineer observatie van beoordelingssessies met proceswijzigingen en vervolgacties, definieer de doelgroep, de noemer en de timing voordat je begint, en controleer tegelijkertijd op andere operationele veranderingen voordat je iets aan de training toeschrijft. Richtlijnen voor meting, zoals de evaluatietools van de CDC voor trainingen, zijn nuttig om het leerproces en de kennisoverdracht in kaart te brengen, maar ze voorspellen geen operationele verbetering.

Mogelijke beperkingen die kunnen blijven bestaan

Twee vragen zijn het overwegen waard bij uw planning.

Welke beperkingen zouden kunnen blijven bestaan, zelfs nadat de taakprestaties verbeteren? Hiërarchische verhoudingen, beoordelingsmechanismen, werkdruk en de manier waarop leiders achteraf in de wandelgangen reageren, kunnen allemaal blijven bestaan. Betere begeleiding zal de motivatie niet veranderen. Als mensen zich nog steeds niet openhartig durven uit te spreken, zal uw beoordelingsschema aantonen dat er in de trainingsruimte goed wordt gereflecteerd, maar dat er in de praktijk geen reactie komt.

Waar dit in past en wat de volgende stappen zijn.

Begin met een taakrubriek of een trajectcanvas: kies één terugkerende oefening, beschrijf het gewenste evaluatiegedrag en controleer of elke fase van uw ontwerp dat gedrag oefent en beoordeelt. Test het vervolgens met een opleidingsfunctionaris en een operationeel specialist voordat u het in de praktijk brengt.

AhaDia's Het ondersteunt interactief leren, adaptief leren en de overgang tussen live training en training in eigen tempo. Als u wilt zien hoe dit een beoordeling zoals de bovenstaande zou aanpakken, Vraag een demo aan van AhaSlides. Vraag het team om het te bespreken aan de hand van jouw eigen situatie. Bevestig tijdens de demo welke specifieke functies voor het maken van content, feedback en rapportage je nodig hebt, en beschouw AI, VR, simulators en integraties als extern of onbevestigd totdat je ze in werking hebt gezien.