Az utólagos értékelés (AAR) egy strukturált beszélgetés, amelyet egy gyakorlat vagy egy valós esemény után röviddel tartanak, hogy megállapítsák, minek kellett volna történnie, mi történt, miért, és mit kell tenni ezután. Egyszerűen hangzik. A gyakorlatban sok AAR ugyanazon két módon sül el rosszul: az emberek védik a döntéseiket, és az eseményről hiányos a feljegyzés. Mindkettő megnehezíti a bárminek a megtanulását.
Ez az útmutató közbiztonsági képzési igazgatók és képzési tisztek számára készült, akik az éves felülvizsgálatokat (AAR) vezetik. A deeszkalációra és az incidensek koordinálására összpontosít, mindig a munkatársaid által delegált hatáskörön belül. Bemutatja, hogyan lehet elkülöníteni a készségbeli hiányosságokat a klímaproblémáktól, hogyan kell megteremteni az őszinte párbeszéd feltételeit, hogyan kell egy kidolgozott forgatókönyvet lefuttatni, és hogyan lehet megállapítani, hogy a felülvizsgálat változtatott-e bármit is.
A viselkedéssel kezdd, ne az előadással
Képzeljük el ezt a szemléltető forgatókönyvet (ami nem egy valós eset). Egy csapat befejez egy feszült, több ügynökséget érintő incidens kapcsán folytatott asztali gyakorlatot. A beszámolóban az egyik tiszt azt mondja, hogy a rádióátadás „rendben ment”. Egy másik szerint az ütemterv „nagyjából” a tervek szerint haladt. Senki sem említi, hogy két ember nem értett egyet abban, hogy kié a következő döntés. Az írásos eseményjegyzőkönyv hiányos, és a beszélgetés oda terelődik, hogy mit rontottak el a gyakorlat tervezői.
Mielőtt választ tervezel, kérdezd meg magadtól, hogy mi áll valójában a csend mögött. Legalább négy különböző magyarázat létezik, és mindegyikhez más-más megoldásra van szükség:
- Egy hiányzó készség. Az emberek nem tudják, hogyan írják le a döntéseket, hogyan idézzék azt, amit akkor tudtak, és hogyan mondják el, mi nem volt világos. Ez egy tanulási igény.
- Egy tekintélygradiens. A fiatalabb beosztású munkatársak nem fogják a teremben vitatkozni egy idősebb kolléga beszámolójával. A készség gyakorlása nem segít, amíg a stádiuma meg nem változik.
- Ösztönzők. Ha a felülvizsgálat megállapításai beépülnek az értékelésbe vagy a fegyelmi eljárásba, az őszinte önkritika kockázatos, bármennyire is jól van elősegítve.
- Történelem. Ha az utolsó megszólalót figyelmen kívül hagyták vagy félreállították, a terem tanult valamit, és egy új formátum nem fogja ezt helyrehozni.
A kutatók a pszichológiai biztonság kifejezést használják erre a légkörre. Amy Edmondson egy gyártóvállalat 51 munkacsoportját vizsgáló tanulmánya úgy határozta meg ezt, mint egy közös meggyőződést, miszerint a csapat biztonságos az interperszonális kockázatvállalás szempontjából, és megállapította, hogy ez összefüggésben áll a csapatban tanulási viselkedéssel (Edmondson, 1999, Közigazgatási Tudományok Szemle). Ez egy adott környezetben fennálló összefüggés, nem pedig annak bizonyítéka, hogy bármelyik AAR-formátum biztonságot teremtene a tiédben. Tekintsd úgy, mint egy okot a klíma vizsgálatára, ne pedig ígéretként.
A gyakorlati következmény: egy facilitációs technika csak korlátozott mértékben tud működni. A pszichológiai biztonság attól is függ, hogyan viselkednek a vezetők a foglalkozáson kívül, ezért tervezzük meg, hogy mindkettőt megvizsgáljuk.
Mielőtt bárki megszólalna, állítsd fel a feltételeket
Az amerikai hadsereg AAR-ekről szóló kiképzési körlevele (TC 25-20, Vezetői útmutató az utólagos felülvizsgálatokhoz, 1993) az éves értékelést (AAR) egy esemény professzionális megbeszéléseként írja le, amely a teljesítmény-szabványokra összpontosít, és lehetővé teszi a résztvevők számára, hogy maguk fedezzék fel, mi történt, miért történt, és hogyan őrizzék meg erősségeiket, illetve hogyan javítsanak a gyengeségeiken. Figyeljük meg a „felfedezzék maguk” kifejezést. Egy olyan értékelés, amely a teremben legidősebb személy által kimondott ítéletté válik, egy másfajta kibeszélés.
Előzetesen, írásban egyezzen meg a résztvevők témavezetőivel a következő feltételekről:
- Cél és határ. Mondd el, hogy ez az áttekintés csak tanulási célokat szolgál-e, vagy a benne foglaltak egy különálló hivatalos folyamatot is alátámaszthatnak. Ha az őszinte válasz az, hogy „attól függ”, mondd ki nyíltan. Az emberek nem lesznek őszinték egy homályos megnyugtatás erejében.
- Jóváhagyott felelősségi körök. Legyen egyértelmű, hogy az egyes szerepkörök milyen döntésekre voltak felhatalmazva a gyakorlat vagy esemény során. A személyzet csak akkor tud őszintén reflektálni egy döntésre, ha tudja, hogy az az övé volt-e. Amennyiben az információ vagy a hatáskör nem volt elegendő, a helyes viselkedés az, ha ezt kimondják és eszkalálják, és a felülvizsgálat során ezt jó gyakorlatként kell kezelni.
- Hogyan fognak reagálni a vezetők. A beosztottakkal való megszólalás gyakorlása csak a munka fele. A feletteseknek ennek megfelelő választ kell kapniuk: megköszönni a személynek, további kérdést feltenni, és nem szabad megjegyzéseket tenni az illetőre. Először tájékoztassák őket, és kérjék meg, hogy utoljára beszéljenek.
- Először a bizonyíték. Gyűjtsd össze az esemény feljegyzését, az idővonalat, a rádió- vagy naplókivonatokat és az esetleges gyakorlati injekciókat az ülés előtt. A védekezés gyakran kitölti az űrt, amelyet a hiányzó bizonyítékok hagynak.
Tervezzen viselkedésalapú tanulási folyamatot
A személyzet nem attól válik jóvá az őszinte értékelésben, hogy részt vesz egy ilyenen. A jó tervezés a kívánt viselkedésből indul ki, majd ehhez igazítja a felkészülést, a gyakorlást és a visszajelzést. A Carnegie Mellon Eberly Központ útmutatása a következőkről: az értékelések, a célok és az oktatási stratégiák összehangolása jól megfogalmazza a lényeget: ha azt szeretnéd, hogy az emberek elemezzenek, gyakorolják és értékeljék az elemzést, ne csak emlékezzenek vissza. Ez egy tervezési útmutató a tanulási tevékenységek összehangolásához, nem pedig bizonyíték bármilyen ágazati eredményre vagy platformra vonatkozóan.
Ennél a feladatnál a viselkedés a következő: elemezzék a történteket, és állapodjanak meg egy tanulási lépésben. Bloom szavaival élve ez az alkalmazás és az értékelés feladatát foglalja magában. Ezek a címkék a megkövetelt gondolkodásmódot írják le, nem pedig a megvalósítás formáját, és nem magyarázzák a motivációt. Ha valaki nem hajlandó megszólalni, Bloom nem fogja megmondani, hogy miért.
Egy működőképes utazásnak három szakasza van:
| Színpad | Tanulói cselekvés | Bizonyítékok és kézbesítés |
|---|---|---|
| Előkészítés | Tekintse át az eset alapjául szolgáló szabályzatot, eljárásokat és koncepciókat. Készítsen egy rövid diagnosztikát az előfeltételek megerősítéséhez. | Célzott, önálló tempójú tanulás. A felidéző ellenőrzés csak az előfeltételek teljesülését igazolja, nem az ismétlés elvégzésének képességét. |
| Gyakorlat | Esetelemzés: mondd el, mi történt, idézd a bizonyítékokat, nevezd meg, mi bizonytalan, és javasolj egy tanulási tevékenységet. | Interaktív vagy facilitált esettanulmány, visszajelzéssel a reflexió minőségéről és az azt követő intézkedésekről. |
| Felülvizsgálat és átutalás | Beszéljetek meg egy kétértelmű választási lehetőséget élőben, majd fejezzetek be egy új esetet vagy egy felügyelt munkafeladatot. | Élő coaching vagy aszinkron értékelés, szükség szerint. Az áthelyezés ellenőrzése megfelelő munkaidő után. |
Az önálló tempójú felkészülés felszabadítja az élő közvetítést arra a részre, amelyhez szükség van a teremben lévő emberekre: a kétértelműségre. A tények önmagukban is megtudhatók. Az, hogy egy részleges információk alapján hozott döntés ésszerű volt-e, egy beszélgetés kérdése.
Egy kidolgozott forgatókönyv és kiértékelés
Íme egy eset, amelyre a gyakorlási szakasz épülhet. Ez csak szemléltető jellegű, és egy képzett közbiztonsági szakembernek validálnia kell az esetet és a válaszkritériumokat, mielőtt használnád.
Az eset. Egy deeszkalációs gyakorlat során egy reagáló csapatot küldtek egy feszült, zsúfolt nyilvános helyre. A csapatvezető megkért egy fiatalabb tagot, hogy tartsa a szóbeli kapcsolatot egy izgatott személlyel, miközben a csapat többi tagja rádión egyeztetett egy másik ügynökséggel. Ezt követően az írásos feljegyzés 6 perces kihagyást mutat, és nincs feljegyzés arról, hogy ki erősítette meg az átadást. A felülvizsgálat során a csapat megvédi a sorozatot, és a feljegyzést nem vitatják meg.
Amit a vezető kér a résztvevőtől. Indokolja meg a döntést, hivatkozzon releváns bizonyítékokra, és azonosítsa, milyen további információkra vagy alátámasztásra volt szükség.
Egy erős válasz így hangzik.
- Amit tettem: „Tovább beszéltem az illetővel, mert én voltam az egyetlen, akivel szóban kapcsolatban voltunk. Nem álltam meg, hogy feljegyezzem az átadást.”
- A bizonyítékaim a következők voltak: „Hallottam a rádiót, de a megerősítést nem. Az idővonal mutatja az utolsó hangjegyemet a szünet előtt.”
- Amit nem tudtam, és amire szükségem volt: „Nem voltam biztos benne, hogy jogosult vagyok-e megkérni a másik ügynökséget az átadás megismétlésére. Egy egyértelműbb utasítás ebben segített volna.”
Hogyan reagál a címzett. A csoportvezető nem javít ki és nem ítélkezik. Azt kérdezi: „Mi nehezítette meg ezt akkor?” és „Mi tenné könnyebbé legközelebb?”. A csoportvezető ezután hozzáteszi a saját beszámolóját, beleértve azt is, hogy mit tehetett volna világosabbá. Gyakran az teszi lehetővé a második és harmadik hozzájárulást, ha egy vezető beismeri, hogy hiányosságai vannak.
Az áthelyezés kérdése. Fejezd be egy előremutató kérdéssel: „Mi tenné könnyebbé ennek a viselkedésnek az ismétlését a munkahelyen?” A válaszok gyakran folyamatbeli pontok (átadás-megerősítő sor a naplóban, egyértelműbb megfogalmazás arról, hogy ki kérheti az ismétlést), nem pedig egyéni hiányosságok. Ezek a kiváltó okok.
Az őszinteséget védő elősegítő lépések
Néhány szokás teszi a különbséget az áttekintés és a kihallgatás között:
- Tegyél fel nyílt „mit” és „hogyan” kérdéseket mielőtt bármilyen „miért”-öt kérdezne. A „Miért tetted ezt?” védekezésre késztet. A „Mit láttál akkor?” beszámolóra késztet.
- Először a facilitátortól és a legidősebb személytől kérdezd meg a leggyengébb pontokat. Az önkritika modellezése gyorsabb, mint annak kérése.
- Chase az első válaszon túli okokat okoz. Ha a magyarázat megáll annál, hogy „valaki hibázott”, akkor továbbra is kérdezd meg, hogy mi tette lehetővé a folyamat során, hogy ez a hiba számítson. Az egyéni hiba ritkán a kiváltó ok.
- Zárja le a megnevezett műveletekkel, tulajdonosokkal és dátumokkal. Egy olyan kritika, amely tanulási folyamat nélkül ér véget, megtanítja az embereknek, hogy a kritika színház.
Mérd a viselkedést és kövesd nyomon
Honnan tudhatnád, hogy a tanulók most már képesek elemezni a történteket, és megegyezni egy tanulási tevékenységben? A bizonyítékokat keresd, ne a jelenlétet vagy az élvezetet:
- A tükröződés minősége. Egy rubrika segítségével pontozzon nem látott eseteket vagy valós értékeléseket arról, hogy a résztvevők megfogalmazzák-e a döntésüket, bizonyítékokat idéznek-e, megnevezik-e a bizonytalanságot, és javasolnak-e egy konkrét intézkedést.
- A nyomon követési intézkedések minősége. A megállapodott intézkedések konkrétak, vállaltak-e és végrehajtottak? Kövesse nyomon őket.
- Áthelyezés munkahelyen. Hasonlítson össze egy alapállapot-felmérést egy később, még nem látott esettel, miután elegendő időt töltött a munkában a gyakorlásra.
Íme egy minta értékelési útmutató. Értékeljen minden kritériumot 0-tól 2-ig, és egy képzett szakemberrel együtt adaptálja a kritériumokat. Ez egy javasolt értékelési útmutató, nem pedig egy validált felkészültségi szabvány.
| Kritérium | Megfigyelhető bizonyítékok |
|---|---|
| Feladat végrehajtása | Elemzi a történteket, és tanulási tevékenységben állapodik meg. A tevékenységet és az azt alátámasztó bizonyítékokat rögzíti. |
| Érvelés | Elmagyarázza a releváns korlátokat, alternatívákat és bizonytalanságot. A reflexió a feljegyzéseken alapul. |
| Határok | Jóváhagyott eljárásokat alkalmaz, és segítséget kér, ha az információ vagy a felhatalmazás nem elegendő. |
Horgonypontok: 0 = hiányzik vagy nem támogatott; 1 = részleges, releváns hiányosságokkal; 2 = teljes és a megállapodás szerinti kritériumok alapján indokolt. A kritikus hibákat külön kell meghatározni, hogy az összesített pontszám soha ne rejtsen el egy kritikus hiányosságot.
Különösen egy számmal légy óvatos: a jelentések mennyiségével. Ha a vélemények módosítása után több aggály merül fel, az azt jelentheti, hogy az emberek biztonságosabbnak érzik magukat, vagy hogy több hiba történik, vagy hogy egy új űrlapot könnyebb kitölteni. A jelentések számának növekedése értelmezést igényel, nem ünneplést. Párosítsd a véleményezési ülések megfigyelését a folyamatváltozásokkal és a nyomon követési intézkedésekkel, határozd meg a populációt, a nevezőt és az időzítést a kezdés előtt, és ellenőrizd a többi működési változást is, mielőtt bármit is a képzésnek tulajdonítanál. A mérési útmutató, mint például a CDC képzési értékelési forrásai, hasznosak a tanulás és az átadás keretezéséhez, de nem jelzik előre a működési javulást.
Maradhatnak korlátok
Két kérdést érdemes figyelembe venni a tervezés során.
Milyen korlátok maradhatnak fenn a feladatteljesítmény javulása után is? A tekintélykülönbségek, az értékelési kapcsolatok, a munkaterhelés és a vezetők reakciói a képzés után mind fennmaradhatnak. A jobb lebonyolítás nem változtatja meg az ösztönzőket. Ha az emberek továbbra sem engedhetik meg maguknak az őszinteséget, a rubrikád a tréningteremben jó visszajelzést, a terepen pedig csendet fog mutatni.
Hová illik ez, és mit kell tenni ezután
Kezdj egy feladat rubrikával vagy egy folyamatvászonnal: válassz ki egy ismétlődő gyakorlatot, írd le a kívánt értékelési viselkedést, és ellenőrizd, hogy a tervezés minden szakasza gyakorolja és értékeli-e ezt a viselkedést. Ezután teszteld egy képzési felelőssel és egy operatív szakemberrel, mielőtt lefuttatnád.
AhaSlides támogatja az interaktív tanulást, az adaptív tanulást, valamint az élő és az önálló ütemű képzés közötti váltást. Ha szeretné látni, hogyan reagálnának egy olyan értékelésre, mint a fenti, Foglaljon egy AhaSlides demót és kérd meg a csapatot, hogy a saját eseteddel összehasonlítva mutassák be. A demó során erősítsd meg a szükséges szerzői, visszajelzési és jelentéskészítési funkciókat, és kezeld a mesterséges intelligenciát, a VR-t, a szimulátorokat és az integrációkat külső vagy nem megerősített forrásként, amíg nem látod őket működni.
