Beredskap for selvstendig praksis er en vurdering bygget på flere observerte prestasjoner, ikke én poengsum. En stipendiat som gjør det bra på ett simulert tilfelle og inkonsekvent på et annet, har fortalt deg noe, men ikke nok. Denne veiledningen er for direktører for medisinsk utdanning og ledere av residency-programmer. Den dekker fem avgjørelser: den observerbare oppgaven som vurderes, et ukjent og representativt tilfelle, observerbare kriterier med ankere, hvordan man kalibrerer vurderere og hvordan man bruker resultatene. Det handler om vurderingsdesign, ikke klinisk veiledning. Autorisasjon for selvstendig praksis forblir innenfor institusjonens egne prosesser, og en spesialist fra programmet ditt bør gjennomgå tilfellet og rubrikken før bruk.
Hva forskningen sier, og ikke sier
To publiserte metoder er verdt å kjenne til. I 2005 foreslo ten Cate pålitelige profesjonelle aktiviteter: arbeidsenheter som en veileder bestemmer at en trainee kan gjøre uten veiledning, basert på observert kompetanse. I 1997 beskrev Martin og kolleger Objektiv strukturert vurdering av tekniske ferdigheter (OSATS), som kombinerer en oppgavespesifikk sjekkliste med en global vurderingsskala for kirurgiske overleger.
Begge beskriver hvordan man strukturerer vurderingen. Ingen av dem viser at en bestemt kandidat er klar, og ingen av dem erstatter spesialisttilsyn. Bruk dem til å forme kriteriene dine, og test deretter kriteriene med dine egne vurderere.
Kjappe fakta
| Spørsmål | Kort svar |
|---|---|
| Hva dømmer du? | Beredskap, fra flere observerte prestasjoner. |
| Hva er én simulatorpoengsum? | Ett datapunkt. Det er ikke autorisasjon for uavhengig praksis. |
| Hva gjør kriteriene brukbare? | Observerbar atferd med eksempler på svakt, utviklende og dyktig arbeid. |
| Hva gjør poengsummer troverdige? | Vurderingspersoner vurderer uavhengig av hverandre, og sammenligner deretter bevis. |
| Hva bør du unngå å score? | Selvtillit eller fart alene. |
| Hva kan den ikke bestemme? | Autorisasjon. Det er en del av institusjonens egen prosess. |
1. Definer ytelsen som vurderes
Angi den observerbare oppgaven: å bedømme beredskap ut fra flere observerte prestasjoner. Spesifiser rollen, konteksten og autorisasjonsgrensene før du definerer en poengsum. «Uavhengig kompetanse» betyr noe annet for en stipendiat i én prosedyre, én setting og ett veiledningsnivå enn for en annen. Skriv ned hva stipendiaten vurderes til å gjøre, med hvem, og hva som skjer hvis de vurderes som klare. Vår veiledning til matche læringsaktiviteter med Blooms taksonomi hjelper deg med å skille oppgaver som trenger analyse fra de som krever vurdering.
2. Velg en ukjent, representativ oppgave
Velg et case stipendiaten ikke har øvd på, for eksempel et andre simulert case som avviker fra det første på samme måte som virkelige caser gjør. Forklar hvordan det sampler det faktiske arbeidet, og hva det ikke kan fastslå. Et enkelt ukjent case kan vise om ferdighetsoverføring skjer, men det kan ikke dekke alle variasjoner, hvert team eller alle komplikasjoner. Derfor hviler en beslutning på flere observerte prestasjoner, spredt over caser og tid, og ikke på én.
3. Skriv observerbare kriterier og ankere
Bygg kriterier rundt to ting: konsistens i ytelse på tvers av saker og enighet mellom vurderere. Skriv hvordan hver poengsum ser ut i atferd. For ett kriterium kan du beskrive:
- Svak (0). Trenger gjentatte oppfordringer, går glipp av et trinn eller kan ikke forklare et valg.
- Utvikling (1). Fullfører oppgaven med utelatelser eller inkonsekvent kvalitet på tvers av saker.
- Dyktig (2). Fullfører oppgaven, forklarer valg og håndterer en variasjon i saken.
Unngå poengsummer basert kun på selvtillit eller hastighet. En selvsikker person kan ta feil, og en treg person kan være forsiktig. Begge egenskapene kan stå ved siden av en poengsum, men bør ikke erstatte bevis på hva som ble gjort. Bruk strukturen Martin og kollegene beskriver, en oppgavespesifikk sjekkliste ved siden av en global vurdering, hvis det hjelper vurdererne dine med å skille trinn fra den generelle kvaliteten.
4. Kalibrer vurderingspersoner og kjør et pilotprosjekt
Kalibrering er der poengsummer blir sammenlignbare:
- Poeng uavhengig. La to eller flere vurderere vurdere det samme registrerte eller observerte eksemplet uten å snakke sammen.
- Sammenlign bevisene. Be hver av dem om å si hva de så som førte til poengsummen. Uenighet ligger vanligvis i et tvetydig kriterium.
- Revider kriteriet. Skriv ordlyden på nytt eller legg til et eksempel, og skriv deretter poeng for et nytt eksempel.
- Pilot i en liten gruppe. Kjør vurderingen med noen få deltakere før du bruker den til avgjørelser, og sjekk om vurdererne fortsatt er uenige.
Beskriv spesialisttilsynet: hvem gjennomgår grenseresultater og hvem har den endelige avgjørelsen.
En bearbeidet sak med tilbakemelding og et nytt forsøk
Illustrativt. Leder for residency-programmet og en kirurgisk spesialist bør validere case- og svarkriteriene før bruk.
Saken. En stipendiat presterer bra på én simulert case, men inkonsekvent på en annen.
Oppgaven. Dommerberedskap. Forklar avgjørelsen din, siter bevisene og si hvilken ytterligere informasjon du trenger.
Et første forsøk. «Kandidaten scoret høyt på det første tilfellet, så de er klare.» En anmelder spør hva som skjedde på det andre tilfellet, hvor mange prestasjoner vurderingen hviler på, og om de to vurdererne var enige. Studenten har ikke noe svar på noen av dem.
Tilbakemelding og prøv på nytt. Sensoren bemerker at én sterk poengsum ble behandlet som en dom, og inkonsekvensen ble ignorert. Studenten blir bedt om å revurdere.
Et sterkere forsøk. Studenten oppgir at to caser ikke er nok, bemerker det inkonsistente andre caset og spør hva som var annerledes ved det. De foreslår en ytterligere observert ytelse på et tredje ukjent case, en uavhengig andre vurderer og målrettet forberedelse på trinnet som gikk galt. De sier at de ikke vil anbefale en beredskapsbeslutning ennå, og hva de fortsatt trenger: vurderernes bevis, tilsynsprosessen og programmets definisjon av uavhengig praksis.
Hvorfor hvert svar er forsvarlig eller ufullstendig. Bedøm etter godkjente kriterier, ikke anmelderens preferanse. Det første forsøket behandler én poengsum som autorisasjon, noe som er en kritisk feil. Det andre forsøket bruker flere resultater, skiller bevis fra slutning og angir grensene for avgjørelsen.
5. Bruk resultatene til oppfølging
Velg neste trinn fra det observerte gapet:
- Målrettet forberedelse når et konsept eller trinn manglet.
- Interaktiv praksis når ferdigheten er der, men inkonsekvent.
- Veiledet coaching når stipendiaten trenger tilbakemeldinger i det virkelige arbeidet.
Planlegg revurdering, og angi hva resultatet ikke kan gjøre: en beredskapsvurdering beskriver ytelsen på de observerte sakene, med de involverte vurdererne, på et gitt tidspunkt.
| Criterion | 0: fraværende eller ikke støttet | 1: delvis, med utelatelser | 2: fullstendig og begrunnet |
|---|---|---|---|
| Oppgaveutførelse | Dømmerberedskap fra én poengsum. | Bruker flere poengsummer uten å sammenligne dem. | Dommere fra flere observerte forestillinger og registrerer bevisene. |
| Argumentasjon | Gir ingen grunn. | Gir en begrunnelse uten å navngi inkonsekvens. | Forklarer alternativer, begrensninger og usikkerhet. |
| Grenser | Behandler en poengsum som autorisasjon. | Noterer grenser uten en plan. | Bruker den godkjente prosessen og søker spesialisthjem når bevisene ikke er tilstrekkelige. |
Denne rubrikken er et foreslått utgangspunkt, ikke en validert beredskapsstandard. Definer kritiske feil separat, for eksempel ved å presentere én simulatorpoengsum som autorisasjon for uavhengig praksis. En samlet poengsum må aldri skjule en kritisk feil.
For å sjekke prosessen, sammenlign grunnleggende og usett oppfølgingsoppgaver. Mål konsistens i ytelse og enighet mellom vurderere. Definer populasjon, nevner og tidspunkt før du starter, og se etter samtidige endringer, for eksempel en ny casemiks eller et bytte av vurderere, før du godskriver opplæringen.
Der interaktiv levering hjelper
Interaktive formater hjelper i kalibreringstrinnet. I en live-sesjon kan du vise et eksempel og be hver vurderer om å sende inn en poengsum privat, og deretter vise spredningen før du diskuterer bevisene. Selvstyrt levering passer til kriteriegjennomgangen og forkunnskapskontrollene på forhånd. AhaSlides, en alt-i-ett-plattform for engasjement for team og klasserom, støtter interaktiv læring og både live og selvstyrt undervisning. Sjekk hvordan du ville kjørt kalibreringen i din egen arbeidsflyt før du stoler på den.
Hva en kompetansevurdering ikke vil fikse
- En vag definisjon av uavhengighet. Uten en har poengsummer ingenting å sammenlignes med.
- For få observasjoner. Ett eller to tilfeller kan ikke vise konsistens.
- Vurderingsmenn som aldri kalibrerer. Enighet oppstår ikke av seg selv.
- Bevisgrenser. De to kildene ovenfor beskriver metoder, ikke resultater for dine medstudenter.
Ofte stilte spørsmål
Hva er vurdering av kirurgisk kompetanse?
Å bedømme, ut fra observert ytelse mot definerte kriterier, om en trainee kan utføre en definert kirurgisk oppgave til den standarden programmet ditt krever.
Er én simulatorpoengsum nok til å avgjøre om man er klar?
Nei. Det er ett datapunkt. En avgjørelse om beredskap hviler på flere observerte resultater og institusjonens godkjente prosess.
Hva er OSATS?
Den objektive strukturerte vurderingen av tekniske ferdigheter, en metode som kombinerer en oppgavespesifikk sjekkliste med en global vurderingsskala.
Hvordan sjekker du at vurdererne er enige?
La dem vurdere det samme eksemplet uavhengig av hverandre, sammenligne bevisene sine og revidere eventuelle kriterier der de er forskjellige.
Hvem skal gjennomgå saken og vurderingsmatrisen?
En kirurgisk spesialist og lederen av residency-programmet, før noen blir vurdert.
Hvor skal jeg starte
Velg én prosedyre og skriv den observerbare oppgaven. Velg to ukjente tilfeller, la to vurderere vurdere hver av dem uavhengig av hverandre, og sammenlign bevisene deres. Revider kriteriene der de er uenige, og test deretter med noen få deltakere før du bruker poengsummene til en avgjørelse.
For å se hvordan en kalibreringsøkt kan kjøres live eller i eget tempo, utforsk AhaSlides.








