De gereedheid voor zelfstandige praktijkvoering wordt beoordeeld op basis van meerdere geobserveerde prestaties, niet op basis van één score. Een arts in opleiding die goed presteert in de ene gesimuleerde casus en inconsistent in de andere, zegt wel iets, maar niet genoeg. Deze handleiding is bedoeld voor directeuren van medische opleidingen en opleidingsleiders van specialisaties. Het behandelt vijf beslissingen: de te beoordelen observeerbare taak, een onbekende en representatieve casus, observeerbare criteria met referentiepunten, hoe beoordelaars te kalibreren en hoe de resultaten te gebruiken. Het gaat hier om het ontwerp van de beoordeling, niet om klinische richtlijnen. De autorisatie voor zelfstandige praktijkvoering blijft de verantwoordelijkheid van uw eigen instelling, en een specialist van uw opleiding dient de casus en het beoordelingsschema te beoordelen voordat deze worden gebruikt.
Wat het onderzoek wel en niet zegt
Twee gepubliceerde methoden zijn het vermelden waard. In 2005 stelde Ten Cate voor betrouwbare professionele activiteiten: werkeenheden waarvan een supervisor bepaalt dat een stagiair deze zelfstandig kan uitvoeren, gebaseerd op geobserveerde competentie. In 1997 beschreven Martin en collega's de Objectieve gestructureerde beoordeling van technische vaardigheden (OSATS), dat een taakspecifieke checklist combineert met een algemene beoordelingsschaal voor chirurgische assistenten.
Beide methoden beschrijven hoe je een beoordeling kunt structureren. Geen van beide geeft aan of een bepaalde persoon er klaar voor is, en geen van beide vervangt specialistisch toezicht. Gebruik ze om je criteria vorm te geven en toets deze vervolgens met je eigen beoordelaars.
Faktenüberblick
| Vraag | Kort antwoord |
|---|---|
| Waarover oordeel je? | Bereidheid, gebaseerd op meerdere geobserveerde prestaties. |
| Wat is één simulatorscore? | Eén gegeven. Het is geen vergunning voor zelfstandige beroepsuitoefening. |
| Wat maakt criteria bruikbaar? | Observeerbaar gedrag met voorbeelden van zwak, zich ontwikkelend en bekwaam werk. |
| Wat maakt scores betrouwbaar? | De beoordelaars scoren onafhankelijk van elkaar en vergelijken vervolgens het bewijsmateriaal. |
| Wat moet je absoluut vermijden om te scoren? | Zelfvertrouwen of snelheid alleen. |
| Wat kan het niet beslissen? | Autorisatie. Dat is onderdeel van de eigen procedure van uw instelling. |
1. Definieer de prestatie die wordt beoordeeld.
Formuleer de observeerbare taak: het beoordelen van de paraatheid op basis van meerdere geobserveerde prestaties. Specificeer de rol, de context en de bevoegdheidsgrenzen voordat u een score definieert. "Zelfstandige competentie" betekent iets anders voor een arts in de ene procedure, de ene setting en het ene supervisieniveau dan voor een andere. Beschrijf wat de arts moet doen, met wie en wat er gebeurt als hij of zij klaar wordt bevonden. Onze handleiding voor Leeractiviteiten afstemmen op de taxonomie van Bloom Het helpt je om taken die analyse vereisen te scheiden van taken die beoordeling vereisen.
2. Kies een onbekende, representatieve taak.
Kies een casus die de deelnemer niet heeft geoefend, bijvoorbeeld een tweede gesimuleerde casus die op een bepaalde manier verschilt van de eerste, zoals dat ook in echte casussen het geval is. Leg uit hoe deze casus een representatie is van het daadwerkelijke werk en wat er niet mee kan worden vastgesteld. Een enkele onbekende casus kan aantonen of vaardigheden overdraagbaar zijn, maar kan niet elke variant, elk team of elke complicatie dekken. Daarom is een beslissing gebaseerd op meerdere geobserveerde prestaties, verspreid over verschillende casussen en tijdsperioden, en niet op één enkele.
3. Formuleer waarneembare criteria en ankers.
Stel criteria op rond twee zaken: consistentie in prestaties over verschillende gevallen heen en overeenstemming tussen beoordelaars. Beschrijf hoe elke score zich in de praktijk manifesteert. Voor één criterium zou je bijvoorbeeld het volgende kunnen beschrijven:
- Zwak (0). Heeft herhaaldelijk aanmoediging nodig, slaat een stap over of kan een keuze niet uitleggen.
- In ontwikkeling (1). De taak wordt voltooid, maar met weglatingen of inconsistente kwaliteit in de verschillende gevallen.
- Bekwaam (2). Voltooit de taak, legt de keuzes uit en behandelt een variant op de casus.
Vermijd scores die alleen gebaseerd zijn op zelfvertrouwen of snelheid. Iemand met zelfvertrouwen kan zich vergissen, en iemand die langzaam werkt kan voorzichtig te werk gaan. Beide eigenschappen kunnen naast een score staan, maar mogen bewijs van wat er is gedaan niet vervangen. Gebruik de structuur die Martin en collega's beschrijven, een taakspecifieke checklist naast een algemene beoordeling, als dit uw beoordelaars helpt om de stappen te onderscheiden van de algehele kwaliteit.
4. Kalibreer beoordelaars en voer een pilot uit
Kalibratie is het proces waarbij scores vergelijkbaar worden gemaakt:
- Beoordeel zelfstandig. Laat twee of meer beoordelaars hetzelfde opgenomen of geobserveerde voorbeeld beoordelen zonder te overleggen.
- Vergelijk het bewijsmateriaal. Vraag ieder van hen te vertellen wat ze zagen dat tot de score leidde. Meningsverschillen ontstaan meestal door een onduidelijk criterium.
- Herzie het criterium. Herschrijf de tekst of voeg een voorbeeld toe, en beoordeel vervolgens het nieuwe voorbeeld.
- Piloot in een kleine groep. Voer de beoordeling eerst uit met een paar collega's voordat je de resultaten gebruikt voor besluitvorming, en controleer of de beoordelaars het nog steeds oneens zijn.
Beschrijf het specialistisch toezicht: wie beoordeelt grensgevallen en wie neemt de uiteindelijke beslissing.
Een uitgewerkte casus met feedback en een nieuwe poging.
Ter illustratie. De coördinator van het opleidingsprogramma en een chirurgisch specialist dienen de casus en de antwoordcriteria te valideren alvorens deze te gebruiken.
De zaak. Een deelnemer presteert goed bij de ene gesimuleerde casus, maar inconsistent bij een andere.
De taak. Rechtvaardigheid van de rechter. Licht uw beslissing toe, citeer het bewijsmateriaal en geef aan welke aanvullende informatie u nodig heeft.
Een eerste poging. "De leerling scoorde hoog op de eerste casus, dus hij is er klaar voor." Een beoordelaar vraagt wat er in de tweede casus is gebeurd, op hoeveel prestaties het oordeel is gebaseerd en of de twee beoordelaars het eens waren. De leerling heeft op geen van deze vragen een antwoord.
Feedback en opnieuw proberen. De beoordelaar merkt op dat één hoge score als een definitief oordeel werd beschouwd en dat de inconsistentie werd genegeerd. De leerling wordt verzocht zijn/haar beoordeling te heroverwegen.
Een serieuzere poging. De cursist geeft aan dat twee casussen niet voldoende zijn, wijst op de inconsistentie in de tweede casus en vraagt wat daarin anders was. Ze stellen voor om een derde, onbekende casus te laten beoordelen, een onafhankelijke tweede beoordelaar in te schakelen en gerichte voorbereiding te bieden op de stap die misging. Ze geven aan dat ze nog geen definitief oordeel over de bekwaamheid van de cursist willen vellen en dat ze nog het volgende nodig hebben: de verklaringen van de beoordelaars, het toezichtproces en de definitie van zelfstandige praktijkvoering binnen het programma.
Waarom elk antwoord verdedigbaar of onvolledig is. Beoordeel aan de hand van goedgekeurde criteria, niet op basis van de voorkeur van de recensent. De eerste poging beschouwt één score als autorisatie, wat een cruciale fout is. De tweede poging gebruikt meerdere prestaties, scheidt bewijs van gevolgtrekkingen en geeft de grenzen van de beslissing aan.
5. Gebruik de resultaten voor vervolgonderzoek.
Kies de volgende stap uit de waargenomen kloof:
- Gerichte voorbereiding wanneer een concept of stap ontbrak.
- Interactieve oefening wanneer de vaardigheid er wel is, maar inconsistent.
- Begeleide coaching wanneer de collega feedback nodig heeft tijdens het werk.
Plan een herbeoordeling en geef aan wat het resultaat niet kan doen: een gereedheidsbeoordeling beschrijft de prestaties op de geobserveerde gevallen, met de betrokken beoordelaars, op een bepaald moment.
| Criterium | 0: afwezig of niet ondersteund | 1: gedeeltelijk, met weglatingen | 2: volledig en gerechtvaardigd |
|---|---|---|---|
| Taakuitvoering | De gereedheid van de jury wordt beoordeeld aan de hand van één score. | Gebruikt meerdere scores zonder ze met elkaar te vergelijken. | Juryleden hebben diverse voorstellingen geobserveerd en het bewijsmateriaal vastgelegd. |
| Redenering | Geeft geen reden. | Geeft een reden zonder de inconsistentie te benoemen. | Legt alternatieven, beperkingen en onzekerheid uit. |
| Grenzen | Beschouwt een score als autorisatie. | Aantekeningen beperken de mogelijkheden zonder plan. | Volgt de goedgekeurde procedure en vraagt om deskundig advies wanneer het bewijsmateriaal ontoereikend is. |
Deze beoordelingscriteria zijn een voorgesteld uitgangspunt, geen gevalideerde standaard voor paraatheid. Definieer kritieke fouten afzonderlijk, bijvoorbeeld door één simulatorscore te gebruiken als autorisatie voor zelfstandige oefening. Een algemene score mag nooit een kritieke fout verbergen.
Om het proces te controleren, vergelijk je de beginsituatie met de niet-geïnspecteerde vervolgtaken. Meet de consistentie van de prestaties en de overeenstemming tussen de beoordelaars. Definieer de populatie, de noemer en de timing voordat je begint en let op gelijktijdige veranderingen, zoals een nieuwe casusmix of een wisseling van beoordelaars, voordat je de training crediteert.
Waar interactieve levering helpt
Interactieve formats zijn nuttig bij de kalibratiestap. Tijdens een live sessie kunt u een voorbeeld laten zien en elke beoordelaar vragen om privé een score in te dienen. Vervolgens kunt u de spreiding weergeven voordat u het bewijsmateriaal bespreekt. Een zelfgestuurde aanpak is geschikt voor het vooraf controleren van de criteria en de vereisten. AhaSlides, een alles-in-één platform voor teams en klaslokalen, ondersteunt interactief leren en zowel live als zelfgestuurd onderwijs. Controleer hoe je de kalibratie in je eigen workflow zou uitvoeren voordat je erop vertrouwt.
Wat een competentiebeoordeling niet zal oplossen
- Een vage definitie van onafhankelijkheid. Zonder een vergelijkingsmateriaal zijn scores met niets te vergelijken.
- Te weinig waarnemingen. Eén of twee gevallen kunnen geen consistentie aantonen.
- Beoordelaars die nooit kalibreren. Overeenstemming ontstaat niet vanzelf.
- Beperkingen van het bewijsmateriaal. De twee bovenstaande bronnen beschrijven methoden, niet de resultaten voor uw collega's.
Veelgestelde vragen
Wat is een beoordeling van chirurgische bekwaamheid?
Het beoordelen, op basis van geobserveerde prestaties en vastgestelde criteria, of een stagiair een bepaalde chirurgische taak kan uitvoeren volgens de norm die uw opleiding vereist.
Is één simulatorscore voldoende om te bepalen of iemand klaar is voor de strijd?
Nee. Het is slechts één gegeven. Een besluit over de gereedheid is gebaseerd op meerdere waargenomen prestaties en de goedgekeurde procedure van uw instelling.
Wat is OSATS?
De objectief gestructureerde beoordeling van technische vaardigheden (OSTA) is een methode die een taakspecifieke checklist combineert met een algemene beoordelingsschaal.
Hoe controleer je of de beoordelaars het met elkaar eens zijn?
Laat hen hetzelfde voorbeeld onafhankelijk van elkaar beoordelen, vergelijk hun bevindingen en pas eventuele criteria aan waar ze van mening verschillen.
Wie moet de casus en de beoordelingscriteria nakijken?
Een chirurgisch specialist en de programmaleider van de opleiding, voordat iemand een score krijgt.
Waar te beginnen
Kies één procedure en beschrijf de observeerbare taak. Kies twee onbekende casussen, laat twee beoordelaars elke casus onafhankelijk van elkaar beoordelen en vergelijk hun bevindingen. Herzie de criteria waar ze het niet mee eens zijn en test de casus vervolgens met een paar collega's voordat de scores worden gebruikt voor een definitieve beslissing.
Om te zien hoe een kalibratiesessie live of in eigen tempo kan verlopen, kunt u verder lezen. AhaSlides.








