Az önálló gyakorlatra való felkészültség számos megfigyelt teljesítmény, nem pedig egyetlen pontszám alapján történő megítélés. Az a hallgató, aki egy szimulált esetben jól, egy másikban pedig következetlenül teljesít, már mondott valamit, de nem eleget. Ez az útmutató az orvosképzés igazgatóinak és a rezidensprogramok vezetőinek szól. Öt döntést tárgyal: az értékelt, megfigyelhető feladatot, egy ismeretlen és reprezentatív esetet, megfigyelhető kritériumokat horgonyokkal, az értékelők kalibrálásának módját és az eredmények felhasználását. Az értékelés tervezéséről szól, nem a klinikai útmutatásról. Az önálló gyakorlat engedélyezése az intézmény saját folyamataihoz tartozik, és a program egy szakértőjének a használat előtt át kell tekintenie az esetet és a rubrikát.
Amit a kutatás mond, és amit nem mond
Két publikált módszert érdemes ismerni. 2005-ben tíz Cate javasolta megbízható szakmai tevékenységek: olyan munkaegységek, amelyeket a felügyelő a megfigyelt kompetencia alapján felügyelet nélkül el tud végezni. 1997-ben Martin és kollégái leírták a A műszaki készségek objektív strukturált értékelése (OSATS), amely egy feladatspecifikus ellenőrzőlistát párosít egy globális értékelő skálával sebészeti rezidensek számára.
Mindkettő leírja, hogyan kell strukturálni az ítélkezést. Egyik sem mutatja, hogy egy adott társ felkészült, és egyik sem helyettesíti a szakértői felügyeletet. Használd őket a kritériumaid kialakításához, majd teszteld a kritériumokat a saját értékelőiddel.
Gyors tények
| Kérdés | Rövid válasz |
|---|---|
| Mit ítélsz el? | Felkészültség, több megfigyelt teljesítmény alapján. |
| Mennyi egy szimulátor pontszáma? | Egy adat. Ez nem felhatalmazás független praxisra. |
| Mi teszi használhatóvá a kritériumokat? | Megfigyelhető viselkedési formák gyenge, fejlődő és jártas munkavégzésre utaló példákkal. |
| Mi teszi a pontszámokat megbízhatóvá? | Az értékelők egymástól függetlenül pontoznak, majd összehasonlítják a bizonyítékokat. |
| Mit kell kerülni a pontozásnál? | Csak önbizalom vagy gyorsaság. |
| Mit nem tud eldönteni? | Engedélyezés. Ez az intézmény saját folyamatához tartozik. |
1. Határozza meg az értékelt teljesítményt
Fogalmazza meg a megfigyelhető feladatot: a felkészültség megítélése több megfigyelt teljesítmény alapján. Adja meg a szerepet, a kontextust és a jogosultsági határokat, mielőtt pontszámot adna meg. Az „önálló kompetencia” valami mást jelent egy munkatárs számára az egyik eljárásban, az egyik környezetben és az egyik felügyeleti szinten, mint egy másikban. Írja le, hogy mit kell tennie a munkatársnak, kivel együtt, és mi történik, ha felkészültnek ítélik. Útmutatónk a következőhöz: tanulási tevékenységek illesztése Bloom taxonómiájához segít elkülöníteni az elemzést igénylő feladatokat azoktól, amelyek megítélést igényelnek.
2. Válasszon egy ismeretlen, reprezentatív feladatot
Válasszon egy olyan esetet, amelyet a munkatárs még nem gyakorolt, például egy második szimulált esetet, amely abban különbözik az elsőtől, ahogyan a valós esetek. Magyarázza el, hogyan mutatja be a tényleges munkát, és mit nem tud megállapítani. Egyetlen ismeretlen eset is megmutathatja, hogy történik-e készségátadás, de nem fedhet le minden variációt, minden csapatot vagy minden komplikációt. Ezért egy döntés több megfigyelt teljesítményen alapul, amelyek esetekre és időre oszlanak el, és nem egyetlen teljesítményen.
3. Írj megfigyelhető kritériumokat és horgonypontokat
A kritériumokat két dolog köré kell felépíteni: a teljesítmény konzisztenciája az esetek között és az értékelők egyetértése. Írja le, hogyan néz ki az egyes pontszámok a viselkedésben. Az egyik kritériumhoz a következőket írhatja le:
- Gyenge (0). Ismételt felszólításra van szüksége, kihagy egy lépést, vagy nem tud elmagyarázni egy választást.
- Fejlődő (1). A feladatot hiányosan vagy az esetek között eltérő minőségben fejezi be.
- Jártas (2). Elvégzi a feladatot, elmagyarázza a választási lehetőségeket, és kezeli az eset egy variációját.
Kerüld a kizárólag a magabiztosságon vagy a sebességen alapuló pontszámokat. Egy magabiztos ember tévedhet, egy lassú pedig óvatos lehet. Mindkét tulajdonság szerepelhet egy pontszám mellett, de nem helyettesítheti a tett bizonyítékát. Használd a Martin és kollégái által leírt struktúrát, egy feladatspecifikus ellenőrzőlistát egy globális értékelés mellett, ha az segít az értékelőknek elkülöníteni a lépéseket az általános minőségtől.
4. Értékelők kalibrálása és kísérleti projekt lebonyolítása
A kalibráció az, ahol az eredmények összehasonlíthatóvá válnak:
- Pontozás függetlenül. Két vagy több értékelő pontozza ugyanazt a rögzített vagy megfigyelt példát beszélgetés nélkül.
- Hasonlítsa össze a bizonyítékokat. Kérd meg mindegyiküket, hogy mondják el, mit láttak, ami az adott pontszámhoz vezetett. Az egyet nem értés általában egy kétértelmű kritériumban rejlik.
- Módosítsa a kritériumot. Írd át a megfogalmazást, vagy adj hozzá egy példát, majd pontozz egy új példát.
- Kísérleti program egy kis csoporton. Mielőtt döntéshozatalhoz használnád, végezd el az értékelést néhány kollégáddal, és ellenőrizd, hogy az értékelők továbbra is nem értenek-e egyet.
Írja le a szakértői felügyeletet: ki vizsgálja felül a határeseti eredményeket, és kié a végső döntés joga.
Egy kidolgozott eset visszajelzéssel és újrapróbálkozással
Szemléltető példa. A rezidensprogram vezetőjének és egy sebészeti szakorvosnak validálnia kell az esetet és a válaszkritériumokat használat előtt.
Az eset. Egy munkatárs jól teljesít az egyik szimulált esetben, de következetlenül egy másikban.
A feladat. Bírói felkészültség. Indokolja meg döntését, idézze a bizonyítékokat, és mondja el, milyen további információkra van szüksége.
Első próbálkozás. „A diák magas pontszámot ért el az első esetben, tehát készen állnak.” A bíráló megkérdezi, mi történt a második esetben, hány teljesítményen alapul az ítélet, és hogy a két értékelő egyetértett-e. A tanulónak egyikre sincs válasza.
Visszajelzés és újrapróbálás. A bíráló megjegyzi, hogy egy erős pontszámot ítélkezésként kezeltek, és az ellentmondást figyelmen kívül hagyták. A tanulót felkérik, hogy gondolja át újra a döntését.
Egy erősebb próbálkozás. A tanuló kijelenti, hogy két eset nem elég, megjegyzi az ellentmondásos második esetet, és megkérdezi, hogy mi a különbség benne. Javaslatot tesz egy további, megfigyelt teljesítményre egy harmadik, ismeretlen esetben, egy független második értékelő bevonására, és célzott felkészítésre a rosszul sikerült lépésre. Azt mondják, hogy egyelőre nem javasolnának felkészültségi döntést, és amire még szükségük van: az értékelők bizonyítékaira, a felügyeleti folyamatra és a program független gyakorlatról alkotott definíciójára.
Miért védhető vagy hiányos az egyes válaszok? Az elfogadott kritériumok, ne a bíráló preferenciája alapján ítélj. Az első próbálkozás egy pontszámot tekint felhatalmazásnak, ami kritikus hiba. A második több előadást használ fel, elkülöníti a bizonyítékokat a következtetésektől, és meghatározza a döntés korlátait.
5. Az eredményeket felhasználhatja a nyomon követés során
Válassza ki a következő lépést a megfigyelt résből:
- Célzott felkészülés amikor egy koncepció vagy lépés hiányzott.
- Interaktív gyakorlat amikor a készség megvan, de nem állandó.
- Felügyelt coaching amikor a kollégának visszajelzésre van szüksége a valódi munkában.
Tervezze meg az újraértékelést, és mondja meg, hogy mit nem tud tenni az eredmény: a felkészültségi értékelés a megfigyelt esetekben nyújtott teljesítményt írja le, az értékelők egy adott időpontban történő bevonásával.
| Kritérium | 0: hiányzik vagy nem támogatott | 1: részleges, kihagyásokkal | 2: teljes és indokolt |
|---|---|---|---|
| Feladat végrehajtása | A bírók felkészültsége egy pontszámtól. | Több pontszámot használ összehasonlítás nélkül. | A bírák több megfigyelt előadás alapján rögzítik a bizonyítékokat. |
| Érvelés | Nem ad okot. | Indoklást ad anélkül, hogy megnevezné az ellentmondást. | Elmagyarázza az alternatívákat, a korlátokat és a bizonytalanságot. |
| Határok | A pontszámot felhatalmazásként kezeli. | A jegyzetek korlátai terv nélkül. | A jóváhagyott eljárást alkalmazza, és szakértői véleményt kér, ha a bizonyítékok nem elegendőek. |
Ez a rubrika egy javasolt kiindulópont, nem pedig egy validált felkészültségi szabvány. A kritikus hibákat külön kell meghatározni, például egy szimulátorpontszámot önálló gyakorlásra jogosítóként kell feltüntetni. Az összesített pontszám soha nem rejthet el egy kritikus hibát.
A folyamat ellenőrzéséhez hasonlítsa össze az alap- és a nem látott nyomon követési feladatokat. Mérje fel a teljesítmény konzisztenciáját és az értékelők egyetértését. A kezdés előtt határozza meg a populációt, a nevezőt és az időzítést, és a képzés kreditálása előtt keressen egyidejű változásokat, például új esetösszetételt vagy az értékelők változását.
Ahol az interaktív közvetítés segít
Az interaktív formátumok segítik a kalibrálási lépést. Egy élő ülésen bemutathat egy példát, és megkérheti az értékelőket, hogy négyszemközt adjanak be egy pontszámot, majd a bizonyítékok megvitatása előtt bemutathatja a táblázatot. Az önálló tempójú előadásmód illeszkedik a kritériumok előzetes áttekintéséhez és az előfeltételek ellenőrzéséhez. AhaSlides, egy mindent egyben tartalmazó platform csapatok és osztálytermek számára, támogatja az interaktív tanulást és az élő, valamint az önálló ütemű megvalósítást. Mielőtt a kalibrációra hagyatkozna, ellenőrizze, hogyan futtatná a saját munkafolyamatában.
Amit egy kompetenciafelmérés nem old meg
- A függetlenség homályos definíciója. Enélkül a pontszámoknak nincs mihez viszonyítaniuk.
- Túl kevés megfigyelés. Egy-két eset nem mutathat következetességet.
- Olyan értékelők, akik soha nem kalibrálnak. A megállapodás önmagában nem jelenik meg.
- Bizonyítéki korlátok. A fenti két forrás módszereket ír le, nem pedig a társaid számára elért eredményeket.
Gyakran Ismételt Kérdések
Mi a sebészeti kompetenciafelmérés?
A megfigyelt teljesítmény meghatározott kritériumokhoz viszonyított értékelése annak megállapítására, hogy a gyakornok képes-e egy meghatározott sebészeti feladatot a program által megkövetelt színvonalon elvégezni.
Egy szimulátoros pontszám elég a felkészültség eldöntéséhez?
Nem. Ez egyetlen adatpont. A felkészültségi döntés számos megfigyelt teljesítményen és az intézmény jóváhagyott folyamatán alapul.
Mi az OSATS?
A műszaki készségek objektív strukturált értékelése, egy olyan módszer, amely egy feladatspecifikus ellenőrzőlistát egy globális értékelési skálával kombinál.
Hogyan ellenőrizhető, hogy az értékelők egyetértenek-e?
Kérd meg őket, hogy pontozzák ugyanazt a példát függetlenül, hasonlítsák össze a bizonyítékaikat, és vizsgálják felül azokat a kritériumokat, amelyek eltérnek tőlük.
Kinek kell felülvizsgálnia az esetet és a rubrikát?
Egy sebészeti szakorvos és a rezidensképzés vezet, mielőtt bárkit pontoznának.
Hol kezdjem
Válassz ki egy eljárást, és írd le a megfigyelhető feladatot. Válassz ki két ismeretlen esetet, kérj meg két értékelőt, hogy mindegyiket egymástól függetlenül pontozzák, és hasonlítsd össze a bizonyítékaikat. Módosítsd a kritériumokat ott, ahol eltérnek, majd teszteld le néhány kollégával, mielőtt a pontszámokat bármilyen döntéshez használnád.
Ha szeretnéd megtudni, hogyan futtatható élőben vagy önállóan egy kalibrációs munkamenet, fedezd fel a következőt: AhaSlides.








