Pripravenosť na samostatnú prax je úsudok vychádzajúci z niekoľkých pozorovaných výkonov, nie z jedného skóre. Člen, ktorý si v jednom simulovanom prípade počínal dobre a v inom nekonzistentne, vám niečo povedal, ale nie dosť. Táto príručka je určená pre riaditeľov lekárskeho vzdelávania a vedúcich rezidenčných programov. Zahŕňa päť rozhodnutí: hodnotenú pozorovateľnú úlohu, neznámy a reprezentatívny prípad, pozorovateľné kritériá s kotvami, ako kalibrovať hodnotiteľov a ako používať výsledky. Ide o návrh hodnotenia, nie o klinické usmernenie. Autorizácia na samostatnú prax zostáva v rámci vlastných procesov vašej inštitúcie a špecialista z vášho programu by mal pred použitím skontrolovať prípad a rubriku.
Čo výskum hovorí a čo nie
Za zmienku stoja dve publikované metódy. V roku 2005 navrhol ten Cate dôveryhodné profesionálne činnosti: pracovné jednotky, o ktorých sa supervízor rozhodne, že ich môže stážista vykonávať bez dozoru na základe pozorovanej kompetencie. V roku 1997 Martin a kolegovia opísali Objektívne štruktúrované hodnotenie technických zručností (OSATS), ktorý spája kontrolný zoznam špecifických úloh s globálnou hodnotiacou stupnicou pre chirurgických rezidentov.
Oba popisujú, ako štruktúrovať úsudok. Ani jeden z nich nepreukazuje, že konkrétny kolega je pripravený, a ani jeden nenahrádza dohľad špecialistu. Použite ich na formovanie vlastných kritérií a potom ich otestujte s vlastnými hodnotiteľmi.
Rýchle fakty
| Otázka | Stručná odpoveď |
|---|---|
| Čo súdiš? | Pripravenosť z viacerých pozorovaných výkonov. |
| Aké je jedno skóre simulátora? | Jeden údaj. Nejde o povolenie na nezávislú prax. |
| Čo robí kritériá použiteľnými? | Pozorovateľné správanie s príkladmi slabej, rozvíjajúcej sa a zdatnej práce. |
| Čo robí skóre dôveryhodným? | Hodnotitelia hodnotia nezávisle a potom porovnávajú dôkazy. |
| Čomu by ste sa mali vyhnúť pri bodovaní? | Sebavedomie alebo rýchlosť. |
| O čom nemôže rozhodnúť? | Autorizácia. To je v súlade s vlastným procesom vašej inštitúcie. |
1. Definujte hodnotený výkon
Uveďte pozorovateľnú úlohu: posúdenie pripravenosti na základe viacerých pozorovaných výkonov. Pred definovaním skóre špecifikujte rolu, kontext a hranice oprávnení. „Nezávislá kompetencia“ znamená pre člena v jednom postupe, jednom prostredí a na jednej úrovni dohľadu niečo iné ako v inom. Zapíšte si, čo má člen robiť, s kým a čo sa stane, ak bude posúdený ako pripravený. Náš sprievodca priraďovanie vzdelávacích aktivít k Bloomovej taxonómii pomáha vám oddeliť úlohy, ktoré si vyžadujú analýzu, od tých, ktoré si vyžadujú posúdenie.
2. Vyberte si neznámu, reprezentatívnu úlohu
Vyberte si prípad, ktorý si kolega nenacvičoval, napríklad druhý simulovaný prípad, ktorý sa od prvého líši v spôsobe, akým to robia skutočné prípady. Vysvetlite, ako simuluje skutočnú prácu a čo nedokáže zistiť. Jeden neznámy prípad môže ukázať, či sa zručnosti prenášajú, ale nemôže pokryť každú variáciu, každý tím alebo každú komplikáciu. Preto rozhodnutie závisí od niekoľkých pozorovaných výkonov, rozložených naprieč prípadmi a časom, a nie od jedného.
3. Napíšte pozorovateľné kritériá a kotvy
Kritériá vytvorte na základe dvoch vecí: konzistentnosť výkonu v rôznych prípadoch a zhoda hodnotiteľov. Napíšte, ako každé skóre vyzerá v správaní. Ako jedno kritérium môžete opísať:
- Slabý (0). Potrebuje opakované nabádanie, vynechá krok alebo nevie vysvetliť svoju voľbu.
- Rozvíjanie (1). Dokončí úlohu s opomenutiami alebo nekonzistentnou kvalitou v rôznych prípadoch.
- Zdatný (2). Dokončí úlohu, vysvetlí možnosti a rieši variáciu prípadu.
Vyhnite sa hodnoteniu založenému iba na sebavedomí alebo rýchlosti. Sebavedomý človek sa môže mýliť a pomalý môže byť opatrný. Obe vlastnosti môžu byť súčasťou skóre, ale nemali by nahrádzať dôkazy o tom, čo bolo vykonané. Použite štruktúru, ktorú opisujú Martin a kolegovia, kontrolný zoznam špecifický pre danú úlohu vedľa globálneho hodnotenia, ak to pomôže vašim hodnotiteľom oddeliť kroky od celkovej kvality.
4. Kalibrujte hodnotiteľov a spustite pilotný projekt
Kalibrácia je miesto, kde sa skóre stáva porovnateľným:
- Bodujte nezávisle. Nechajte dvoch alebo viacerých hodnotiteľov ohodnotiť ten istý zaznamenaný alebo pozorovaný príklad bez toho, aby sa rozprávali.
- Porovnajte dôkazy. Požiadajte každého, aby povedal, čo videl a čo viedlo k tomuto skóre. Nezhoda zvyčajne spočíva v nejednoznačnom kritériu.
- Prehodnoťte kritérium. Prepíšte znenie alebo pridajte príklad a potom zaznamenajte nový príklad.
- Pilotujte v malej skupine. Pred použitím hodnotenia na rozhodnutie ho vykonajte s niekoľkými kolegami a overte si, či hodnotitelia stále nesúhlasia.
Opíšte dohľad špecialistu: kto kontroluje hraničné výsledky a kto je zodpovedný za konečné rozhodnutie.
Vyriešený prípad so spätnou väzbou a opakovaným pokusom
Ilustrácia. Vedúci rezidenčného programu a chirurgický špecialista by mali pred použitím overiť prípad a kritériá odpovede.
Púzdro. Chlapík podáva dobrý výkon v jednom simulovanom prípade, ale nekonzistentný v inom.
Úloha. Pripravenosť na posúdenie. Vysvetlite svoje rozhodnutie, uveďte dôkazy a uveďte, aké ďalšie informácie potrebujete.
Prvý pokus. „Chlapík dosiahol v prvom prípade vysoké skóre, takže je pripravený.“ Recenzent sa pýta, čo sa stalo v druhom prípade, na koľkých výkonoch sa hodnotenie zakladá a či sa dvaja hodnotitelia zhodli. Študent nemá na žiadnu z nich odpoveď.
Spätná väzba a pokus znova. Recenzent poznamenáva, že jedno silné skóre bolo považované za verdikt a nezrovnalosť bola ignorovaná. Študent je požiadaný, aby si to prehodnotil.
Silnejší pokus. Študent uvádza, že dva prípady nestačia, všíma si nekonzistentný druhý prípad a pýta sa, čo sa v ňom líšilo. Navrhuje ďalšie pozorovanie na treťom neznámom prípade, nezávislého druhého hodnotiteľa a cielenú prípravu na krok, ktorý sa pokazil. Hovorí, že by zatiaľ neodporúčal rozhodnutie o pripravenosti a čo ešte potrebuje: dôkazy hodnotiteľov, proces dohľadu a definíciu nezávislej praxe v programe.
Prečo je každá odpoveď obhájiteľná alebo neúplná. Posudzujte podľa schválených kritérií, nie podľa preferencií recenzenta. Prvý pokus považuje jedno skóre za autorizáciu, čo je kritická chyba. Druhý používa niekoľko výkonov, oddeľuje dôkazy od inferencie a uvádza hranice rozhodnutia.
5. Použite výsledky na následné kroky
Z pozorovanej medzery vyberte ďalší krok:
- Cielená príprava keď chýbal koncept alebo krok.
- Interaktívna prax keď zručnosť síce existuje, ale je nekonzistentná.
- Supervízovaný koučing keď kolega potrebuje spätnú väzbu v skutočnej práci.
Naplánujte opätovné hodnotenie a uveďte, čo výsledok nedokáže: posúdenie pripravenosti opisuje výkonnosť pozorovaných prípadov so zapojenými hodnotiteľmi v danom časovom okamihu.
| kritérium | 0: chýba alebo nie je podporované | 1: čiastočné, s vynechanými časťami | 2: úplné a odôvodnené |
|---|---|---|---|
| Vykonanie úlohy | Posudzuje pripravenosť z jedného skóre. | Používa niekoľko skóre bez ich porovnávania. | Posudzuje niekoľko pozorovaných vystúpení a zaznamenáva dôkazy. |
| uvažovanie | Neuvádza žiadny dôvod. | Uvádza dôvod bez toho, aby pomenoval nezrovnalosť. | Vysvetľuje alternatívy, obmedzenia a neistotu. |
| Hranice | Považuje skóre za autorizáciu. | Poznamenáva si obmedzenia bez plánu. | Používa schválený postup a v prípade nedostatočných dôkazov vyhľadáva odborný názor. |
Táto rubrika je navrhovaným východiskovým bodom, nie validovaným štandardom pripravenosti. Kritické chyby definujte samostatne, napríklad prezentujte jedno skóre simulátora ako autorizáciu pre samostatný tréning. Celkové skóre nesmie nikdy zakrývať kritické zlyhanie.
Ak chcete skontrolovať proces, porovnajte východiskové a neviditeľné následné úlohy. Zmerajte konzistentnosť výkonu a zhodu hodnotiteľov. Pred začatím definujte populáciu, menovateľa a načasovanie a predtým, ako školenie započítate, hľadajte súbežné zmeny, ako napríklad novú zmes prípadov alebo zmenu hodnotiteľov.
Kde pomáha interaktívne doručovanie
Interaktívne formáty pomáhajú v kroku kalibrácie. V živej relácii môžete ukázať príklad a požiadať každého hodnotiteľa, aby súkromne odoslal skóre, potom zobraziť rozpätie pred diskusiou o dôkazoch. Vlastné tempo prednášky vyhovuje predchádzajúcej kontrole kritérií a predpokladov. AhaSlides, komplexná platforma pre zapojenie tímov a tried, podporuje interaktívne učenie a výučbu naživo aj vlastným tempom. Predtým, ako sa na ňu spoľahnete, si overte, ako by ste kalibráciu spustili vo svojom vlastnom pracovnom postupe.
Čo hodnotenie kompetencií nevyrieši
- Nejasná definícia nezávislosti. Bez neho sa skóre nemá s čím porovnávať.
- Príliš málo pozorovaní. Jeden alebo dva prípady nemôžu preukázať konzistentnosť.
- Hodnotitelia, ktorí nikdy nekalibrujú. Dohoda sa neobjaví sama od seba.
- Obmedzenia dôkazov. Dva vyššie uvedené zdroje opisujú metódy, nie výsledky pre vašich kolegov.
Často kladené otázky
Čo je to hodnotenie chirurgickej spôsobilosti?
Posudzovanie, na základe pozorovaného výkonu podľa definovaných kritérií, či môže stážista vykonať definovanú chirurgickú úlohu na úrovni požadovanej vaším programom.
Stačí jedno skóre zo simulátora na určenie pripravenosti?
Nie. Je to jeden údaj. Rozhodnutie o pripravenosti závisí od niekoľkých pozorovaných výkonov a schváleného procesu vašej inštitúcie.
Čo je OSATS?
Objektívne štruktúrované hodnotenie technických zručností, metóda, ktorá kombinuje kontrolný zoznam špecifický pre danú úlohu s globálnou hodnotiacou stupnicou.
Ako overíte, či sa hodnotitelia zhodujú?
Nechajte ich nezávisle ohodnotiť ten istý príklad, porovnať dôkazy a prepracovať akékoľvek kritérium, v ktorom sa líšia.
Kto by mal preskúmať prípad a rubriku?
Pred hodnotením kohokoľvek vedie chirurgický špecialista a rezidenčný program.
Kde začať
Vyberte si jeden postup a napíšte pozorovateľnú úlohu. Vyberte dva neznáme prípady, nechajte dvoch hodnotiteľov, aby každý z nich ohodnotili nezávisle, a porovnajte ich dôkazy. Prehodnoťte kritériá, v ktorých sa nezhodujú, a potom ich otestujte s niekoľkými kolegami predtým, ako použijete skóre na akékoľvek rozhodnutie.
Ak chcete vidieť, ako môže kalibračná relácia prebiehať naživo alebo vlastným tempom, preskúmajte AhaSlides.








