Parathed til selvstændig praksis er en vurdering bygget på flere observerede præstationer, ikke én score. En kandidat, der klarer sig godt i én simuleret case og inkonsekvent i en anden, har fortalt dig noget, men ikke nok. Denne vejledning er til ledere af medicinske uddannelser og ledere af residency-programmer. Den dækker fem beslutninger: den observerbare opgave, der vurderes, en ukendt og repræsentativ case, observerbare kriterier med ankre, hvordan man kalibrerer assessorer, og hvordan man bruger resultaterne. Det handler om vurderingsdesign, ikke klinisk vejledning. Autorisation til selvstændig praksis forbliver inden for din institutions egne processer, og en specialist fra dit program bør gennemgå casen og rubrikken før brug.
Hvad forskningen siger, og hvad den ikke siger
To publicerede metoder er værd at kende. I 2005 foreslog ti Cate betroede professionelle aktiviteter: arbejdsenheder, som en supervisor beslutter, at en praktikant kan udføre uden supervision, baseret på observeret kompetence. I 1997 beskrev Martin og kolleger Objektiv struktureret vurdering af tekniske færdigheder (OSATS), som kombinerer en opgavespecifik tjekliste med en global vurderingsskala for kirurgiske residenter.
Begge beskriver, hvordan man strukturerer vurderingen. Ingen af dem viser, at en bestemt kandidat er klar, og ingen af dem erstatter specialiseret tilsyn. Brug dem til at forme dine kriterier, og test derefter kriterierne med dine egne bedømmere.
hurtige fakta
| Spørgsmål | Kort svar |
|---|---|
| Hvad dømmer du? | Parathed, fra flere observerede præstationer. |
| Hvad er én simulatorscore? | Ét datapunkt. Det er ikke autorisation til uafhængig praksis. |
| Hvad gør kriterier brugbare? | Observerbar adfærd med eksempler på svagt, udviklende og kompetent arbejde. |
| Hvad gør scorer troværdige? | Bedømmere scorer uafhængigt og sammenligner derefter beviser. |
| Hvad skal du undgå at score? | Alene selvtillid eller hastighed. |
| Hvad kan den ikke bestemme? | Autorisation. Det er en del af din institutions egen proces. |
1. Definer den præstation, der vurderes
Angiv den observerbare opgave: at vurdere parathed ud fra flere observerede præstationer. Angiv rollen, konteksten og autorisationsgrænserne, før du definerer en score. "Uafhængig kompetence" betyder noget forskelligt for en stipendiat i én procedure, én setting og ét supervisionsniveau end for en anden. Skriv ned, hvad stipendiaten vurderes til at gøre, med hvem, og hvad der sker, hvis de vurderes som parate. Vores guide til Matching af læringsaktiviteter med Blooms taksonomi hjælper dig med at adskille opgaver, der kræver analyse, fra dem, der kræver vurdering.
2. Vælg en ukendt, repræsentativ opgave
Vælg en case, som stipendiaten ikke har øvet sig på, såsom en anden simuleret case, der adskiller sig fra den første på samme måde som virkelige cases gør. Forklar, hvordan den udvælger det faktiske arbejde, og hvad den ikke kan fastslå. En enkelt ukendt case kan vise, om der overføres færdigheder, men den kan ikke dække alle variationer, alle teams eller alle komplikationer. Derfor hviler en beslutning på flere observerede præstationer, spredt på tværs af cases og tid, og ikke på én.
3. Skriv observerbare kriterier og ankre
Byg kriterier omkring to ting: præstationskonsistens på tværs af sager og enighed mellem bedømmere. Skriv, hvordan hver score ser ud i adfærd. For ét kriterium kan du beskrive:
- Svag (0). Har brug for gentagne opfordringer, springer et trin over eller kan ikke forklare et valg.
- Udvikling (1). Fuldfører opgaven med udeladelser eller inkonsistent kvalitet på tværs af sager.
- Dygtig (2). Færdiggør opgaven, forklarer valgmuligheder og håndterer en variation i casen.
Undgå scorer baseret udelukkende på selvtillid eller hastighed. En selvsikker fyr kan tage fejl, og en langsom fyr kan være forsigtig. Begge egenskaber kan stå ved siden af en score, men bør ikke erstatte bevis for, hvad der blev gjort. Brug den struktur, Martin og kolleger beskriver, en opgavespecifik tjekliste ved siden af en global vurdering, hvis det hjælper dine bedømmere med at adskille trin fra den overordnede kvalitet.
4. Kalibrer assessorer og kør et pilotprojekt
Kalibrering er der, hvor scorer bliver sammenlignelige:
- Score uafhængigt. Få to eller flere bedømmere til at bedømme det samme registrerede eller observerede eksempel uden at tale sammen.
- Sammenlign beviserne. Bed hver enkelt om at fortælle, hvad de så, der førte til scoren. Uenighed ligger normalt i et tvetydigt kriterium.
- Revider kriteriet. Omskriv formuleringen eller tilføj et eksempel, og giv derefter et nyt eksempel.
- Pilot i en lille gruppe. Kør evalueringen med et par kolleger, før du bruger den til beslutninger, og tjek om bedømmerne stadig er uenige.
Beskriv det specialistiske tilsyn: hvem gennemgår grænseresultater, og hvem ejer den endelige beslutning.
En bearbejdet sag med feedback og et nyt forsøg
Illustrativt. Lederen af residency-programmet og en kirurgisk specialist bør validere casen og svarkriterierne før brug.
Sagen. En fyr klarer sig godt i én simuleret case, men inkonsekvent i en anden.
Opgaven. Dommerberedskab. Forklar din afgørelse, angiv beviserne, og angiv, hvilke yderligere oplysninger du har brug for.
Et første forsøg. "Kandidaten scorede højt på den første case, så de er klar." En anmelder spørger, hvad der skete på den anden case, hvor mange præstationer vurderingen hviler på, og om de to bedømmere var enige. Den studerende har intet svar på nogen af dem.
Feedback og forsøg igen. Anmelderen bemærker, at én stærk score blev behandlet som en dom, og at uoverensstemmelsen blev ignoreret. Den studerende bedes om at genoverveje.
Et stærkere forsøg. Den studerende angiver, at to cases ikke er nok, bemærker den inkonsistente anden case og spørger, hvad der var forskellig i den. De foreslår en yderligere observeret præstation på en tredje ukendt case, en uafhængig anden assessor og målrettet forberedelse på det trin, der gik galt. De siger, at de ikke vil anbefale en parathedsbeslutning endnu, og hvad de stadig har brug for: assessorernes beviser, tilsynsprocessen og programmets definition af uafhængig praksis.
Hvorfor hvert svar er forsvarligt eller ufuldstændigt. Bedøm ud fra godkendte kriterier, ikke anmelderens præference. Det første forsøg behandler én score som godkendelse, hvilket er en kritisk fejl. Det andet forsøg bruger flere præstationer, adskiller beviser fra inferens og angiver grænserne for beslutningen.
5. Brug resultaterne til opfølgning
Vælg det næste trin fra det observerede mellemrum:
- Målrettet forberedelse når et koncept eller trin manglede.
- Interaktiv praksis når færdigheden er der, men inkonsekvent.
- Superviseret coaching når medarbejderne har brug for feedback i det virkelige arbejde.
Planlæg en revurdering, og angiv, hvad resultatet ikke kan: en parathedsvurdering beskriver præstationen i de observerede sager med de involverede assessorer på et givet tidspunkt.
| Kriterium | 0: fraværende eller ikke understøttet | 1: delvis, med udeladelser | 2: fuldstændig og begrundet |
|---|---|---|---|
| Opgaveudførelse | Bedømmer beredskab fra én pointtælling. | Bruger flere scorer uden at sammenligne dem. | Dommere fra adskillige observerede forestillinger og optegnelser af beviserne. |
| Ræsonnement | Giver ingen grund. | Giver en begrundelse uden at nævne inkonsekvens. | Forklarer alternativer, begrænsninger og usikkerhed. |
| Grænser | Behandler en score som en godkendelse. | Noterer grænser uden en plan. | Anvender den godkendte proces og søger specialistindsats, når beviserne er utilstrækkelige. |
Denne rubrik er et foreslået udgangspunkt, ikke en valideret parathedsstandard. Definer kritiske fejl separat, for eksempel ved at præsentere én simulatorscore som autorisation til uafhængig praksis. En samlet score må aldrig skjule en kritisk fejl.
For at kontrollere processen skal du sammenligne baseline- og usete opfølgningsopgaver. Mål præstationskonsistens og enighed mellem bedømmere. Definer population, nævner og timing, før du starter, og se efter samtidige ændringer, såsom en ny casemix eller en ændring af bedømmere, før du krediterer træningen.
Hvor interaktiv levering hjælper
Interaktive formater hjælper i kalibreringstrinnet. I en live-session kan du vise et eksempel og bede hver assessor om at indsende en score privat og derefter vise spredningen, før du diskuterer beviserne. Selvstyret levering passer til kriteriegennemgangen og forudsætningskontrollerne på forhånd. AhaSlides, en alt-i-en engagementsplatform for teams og klasseværelser, understøtter interaktiv læring og både live og selvstændig undervisning. Tjek, hvordan du ville køre kalibreringen i din egen arbejdsgang, før du bruger den.
Hvad en kompetencevurdering ikke vil afhjælpe
- En vag definition af uafhængighed. Uden en er der intet at sammenligne scorer med.
- For få observationer. Et eller to tilfælde kan ikke vise konsistens.
- Vurderingsmænd, der aldrig kalibrerer. Enighed opstår ikke af sig selv.
- Bevisgrænser. De to ovenstående kilder beskriver metoder, ikke resultater for dine medstuderende.
Ofte stillede spørgsmål
Hvad er en vurdering af kirurgisk kompetence?
At vurdere, ud fra observeret præstation i forhold til definerede kriterier, om en praktikant kan udføre en defineret kirurgisk opgave i henhold til den standard, dit program kræver.
Er én simulatorscore nok til at afgøre, om man er parat?
Nej. Det er ét datapunkt. En beslutning om parathed hviler på flere observerede præstationer og din institutions godkendte proces.
Hvad er OSATS?
Den objektive strukturerede vurdering af tekniske færdigheder, en metode, der kombinerer en opgavespecifik tjekliste med en global vurderingsskala.
Hvordan kontrollerer man, at bedømmerne er enige?
Lad dem score det samme eksempel uafhængigt af hinanden, sammenligne deres beviser og revidere eventuelle kriterier, hvor de afviger.
Hvem skal gennemgå sagen og rubrikken?
En kirurgisk specialist og lederen af residency-programmet, før nogen scores.
Hvor skal man begynde
Vælg én procedure og skriv den observerbare opgave. Vælg to ukendte cases, lad to assessorer score hver for sig, og sammenlign deres beviser. Revider kriterierne, hvor de er uenige, og afprøv derefter med et par kolleger, før du bruger scorerne til en beslutning.
For at se, hvordan en kalibreringssession kan køre live eller i dit eget tempo, kan du udforske AhaSlides.








