La valutazione dell'idoneità alla pratica indipendente si basa su diverse prestazioni osservate, non su un singolo punteggio. Un medico specializzando che ottiene buoni risultati in un caso simulato e prestazioni incoerenti in un altro fornisce informazioni, ma non sufficienti. Questa guida è destinata ai direttori della formazione medica e ai responsabili dei programmi di specializzazione. Tratta cinque aspetti fondamentali: il compito osservabile da valutare, un caso clinico rappresentativo e non familiare, i criteri osservabili con i relativi punti di riferimento, le modalità di calibrazione dei valutatori e l'utilizzo dei risultati. Si tratta di progettazione della valutazione, non di linee guida cliniche. L'autorizzazione alla pratica indipendente rimane di competenza delle procedure interne del vostro istituto e uno specialista del vostro programma dovrebbe esaminare il caso e la griglia di valutazione prima dell'utilizzo.
Cosa dice e cosa non dice la ricerca
Due metodi pubblicati meritano di essere conosciuti. Nel 2005, ten Cate ha proposto attività professionali affidabili: unità di lavoro che un supervisore decide che un tirocinante può svolgere senza supervisione, sulla base della competenza osservata. Nel 1997, Martin e colleghi hanno descritto il Valutazione oggettiva e strutturata delle competenze tecniche (OSATS), che abbina una lista di controllo specifica per il compito a una scala di valutazione globale per i medici specializzandi in chirurgia.
Entrambi descrivono come strutturare il giudizio. Nessuno dei due dimostra che un determinato candidato sia pronto, e nessuno dei due sostituisce la supervisione di uno specialista. Utilizzateli per definire i vostri criteri, quindi testateli con i vostri valutatori.
I fatti in breve
| La Domanda | Risposta breve |
|---|---|
| Cosa stai giudicando? | Prontezza, valutata sulla base di molteplici prestazioni osservate. |
| Che punteggio ha un simulatore? | Si tratta di un singolo dato. Non costituisce un'autorizzazione all'esercizio autonomo della professione. |
| Cosa rende utilizzabili i criteri? | Comportamenti osservabili con esempi di lavoro debole, in via di sviluppo e competente. |
| Cosa rende affidabili i punteggi? | I valutatori assegnano i punteggi in modo indipendente, quindi confrontano le prove. |
| Quali gol dovresti evitare? | Fiducia o velocità soltanto. |
| Che cosa non può decidere? | Autorizzazione. Questa procedura rientra nelle competenze specifiche del vostro istituto. |
1. Definire la prestazione da valutare
Indicare il compito osservabile: valutare la prontezza da molteplici prestazioni osservate. Specificare il ruolo, il contesto e i limiti di autorizzazione prima di definire un punteggio. "Competenza indipendente" ha un significato diverso per un medico specializzando in una procedura, in un contesto e a un livello di supervisione rispetto a un altro. Scrivere cosa il medico specializzando è in grado di fare, con chi e cosa succede se viene giudicato pronto. La nostra guida a abbinamento delle attività di apprendimento alla tassonomia di Bloom Ti aiuta a separare i compiti che richiedono analisi da quelli che richiedono giudizio.
2. Seleziona un compito rappresentativo e non familiare
Scegliete un caso che il candidato non abbia provato, ad esempio un secondo caso simulato che differisce dal primo per le caratteristiche tipiche dei casi reali. Spiegate in che modo rappresenta il lavoro effettivo e cosa non può stabilire. Un singolo caso non familiare può dimostrare se le competenze sono trasferibili, ma non può coprire ogni variante, ogni team o ogni complessità. Per questo motivo, la decisione si basa su diverse prestazioni osservate, distribuite nel tempo e tra diversi casi, e non su una sola.
3. Scrivere criteri e ancoraggi osservabili
Definisci i criteri in base a due elementi: coerenza delle prestazioni tra i diversi casi e concordanza tra i valutatori. Descrivi come si manifesta ciascun punteggio in termini di comportamento. Per un criterio, potresti descrivere:
- Debole (0). Richiede ripetuti solleciti, salta un passaggio o non sa spiegare una scelta.
- Sviluppo (1). Completa il compito con omissioni o con una qualità incoerente tra i vari casi.
- Competente (2). Porta a termine il compito, spiega le opzioni e gestisce una variante del caso.
Evitate di basare i punteggi solo sulla sicurezza o sulla velocità. Una persona sicura di sé può sbagliare, e una lenta può essere prudente. Entrambe le caratteristiche possono essere associate a un punteggio, ma non dovrebbero sostituire le prove di ciò che è stato effettivamente fatto. Utilizzate la struttura descritta da Martin e colleghi, ovvero una checklist specifica per ogni attività accanto a una valutazione globale, se aiuta i vostri valutatori a distinguere le singole fasi dalla qualità complessiva.
4. Calibrare i valutatori ed eseguire un progetto pilota
La calibrazione è il momento in cui i punteggi diventano confrontabili:
- Assegnazione dei punteggi in modo indipendente. Due o più valutatori devono assegnare un punteggio allo stesso esempio registrato o osservato, senza comunicare tra loro.
- Confronta le prove. Chiedete a ciascuno di spiegare cosa ha visto che ha portato a quel punteggio. Il disaccordo di solito nasce da criteri ambigui.
- Rivedere il criterio. Riscrivi la formulazione o aggiungi un esempio, quindi valuta un nuovo esempio.
- Pilota su un piccolo gruppo. Prima di utilizzare il test per prendere decisioni, sottoponetelo a una piccola sessione di valutazione e verificate se i risultati sono ancora in disaccordo.
Descrivi la supervisione specialistica: chi esamina i risultati al limite e a chi spetta la decisione finale.
Un caso pratico con feedback e possibilità di riprovare
A scopo illustrativo. Il responsabile del programma di specializzazione e uno specialista in chirurgia devono convalidare il caso e i criteri di risposta prima dell'utilizzo.
Il caso. Un partecipante ottiene buoni risultati in una simulazione, ma prestazioni altalenanti in un'altra.
Il compito. Giudice pronto. Spiega la tua decisione, cita le prove e indica quali ulteriori informazioni ti servono.
Un primo tentativo. "Il candidato ha ottenuto un punteggio alto nel primo caso, quindi sono pronti." Un valutatore chiede cosa sia successo nel secondo caso, su quante prestazioni si basi il giudizio e se i due valutatori fossero d'accordo. Lo studente non ha risposta a nessuna di queste domande.
Invia feedback e riprova. Il revisore osserva che un punteggio elevato è stato interpretato come un verdetto definitivo e l'incoerenza è stata ignorata. Si chiede allo studente di riconsiderare la propria posizione.
Un tentativo più deciso. Il discente afferma che due casi non sono sufficienti, rileva l'incoerenza del secondo caso e chiede cosa lo differisca. Propone un'ulteriore osservazione della prestazione su un terzo caso non familiare, un secondo valutatore indipendente e una preparazione mirata sulla fase in cui si è riscontrato l'errore. Afferma di non voler ancora raccomandare una decisione di idoneità e che necessita ancora delle seguenti informazioni: le prove fornite dai valutatori, il processo di supervisione e la definizione di pratica indipendente prevista dal programma.
Perché ciascuna risposta è difendibile o incompleta. Valutare in base a criteri approvati, non alle preferenze del revisore. Il primo tentativo considera un singolo punteggio come autorizzazione, il che rappresenta un errore critico. Il secondo utilizza diverse prestazioni, separa le prove dalle inferenze e definisce i limiti della decisione.
5. Utilizzare i risultati per il follow-up
Scegli il passo successivo in base al divario osservato:
- Preparazione mirata quando mancava un concetto o un passaggio.
- Pratica interattiva quando l'abilità c'è ma è incostante.
- Allenamento supervisionato quando il collega ha bisogno di un riscontro sul lavoro reale.
Pianifica una nuova valutazione e specifica cosa il risultato non può fare: un giudizio di prontezza descrive le prestazioni sui casi osservati, con i valutatori coinvolti, in un determinato momento.
| Criterio | 0: assente o non supportato | 1: parziale, con omissioni | 2: completo e giustificato |
|---|---|---|---|
| Esecuzione dell'attività | La preparazione dei giudici è valutata con un unico punteggio. | Utilizza diversi punteggi senza confrontarli. | I giudici si basano su diverse esibizioni osservate e registrano le prove. |
| Ragionamento | Non fornisce alcuna motivazione. | Fornisce una motivazione senza però nominare l'incoerenza. | Spiega le alternative, i vincoli e l'incertezza. |
| Confini | Considera il punteggio come autorizzazione. | Limiti delle note senza un piano. | Si attiene alla procedura approvata e richiede il parere di esperti quando le prove sono insufficienti. |
Questa griglia di valutazione rappresenta un punto di partenza proposto, non uno standard di preparazione validato. Gli errori critici vanno definiti separatamente, ad esempio presentando un punteggio ottenuto al simulatore come autorizzazione per la pratica autonoma. Un punteggio complessivo non deve mai nascondere un errore critico.
Per verificare il processo, confronta le attività di base con quelle di follow-up non viste in precedenza. Misura la coerenza delle prestazioni e la concordanza tra i valutatori. Definisci la popolazione, il denominatore e la tempistica prima di iniziare e verifica la presenza di cambiamenti concomitanti, come una nuova tipologia di casi o un cambio di valutatori, prima di accreditare la formazione.
Dove la consegna interattiva aiuta
I formati interattivi sono utili nella fase di calibrazione. In una sessione dal vivo, è possibile mostrare un esempio e chiedere a ciascun valutatore di inviare un punteggio in privato, per poi visualizzare la distribuzione dei risultati prima di discutere le prove. La modalità di erogazione a ritmo personalizzato si presta alla revisione dei criteri e alla verifica dei prerequisiti in anticipo. AhaSlides, una piattaforma di coinvolgimento completa per team e classi, supporta l'apprendimento interattivo e la fruizione sia in diretta che in modalità autoapprendimento. Verifica come eseguiresti la calibrazione nel tuo flusso di lavoro prima di farvi affidamento.
Cosa non risolverà una valutazione delle competenze
- Una definizione vaga di indipendenza. Senza di esso, i punteggi non hanno alcun termine di paragone.
- Numero di osservazioni insufficiente. Uno o due casi non possono dimostrare la coerenza.
- Valutatori che non effettuano mai la calibrazione. L'accordo non si crea da solo.
- Limiti delle prove. Le due fonti citate sopra descrivono i metodi, non i risultati per i vostri colleghi.
Domande frequenti
Che cos'è la valutazione della competenza chirurgica?
Valutare, in base alle prestazioni osservate rispetto a criteri definiti, se un tirocinante è in grado di svolgere un determinato compito chirurgico secondo gli standard richiesti dal programma.
È sufficiente un solo punteggio ottenuto al simulatore per stabilire l'idoneità?
No. Si tratta di un singolo dato. La decisione sull'idoneità si basa su diverse prestazioni osservate e sulla procedura approvata dal vostro istituto.
Che cos'è OSATS?
La Valutazione Strutturata Oggettiva delle Competenze Tecniche è un metodo che combina una lista di controllo specifica per il compito con una scala di valutazione globale.
Come si verifica che i valutatori siano d'accordo?
Chiedi loro di valutare lo stesso esempio in modo indipendente, confronta le loro valutazioni e rivedi i criteri in caso di discrepanze.
Chi dovrebbe esaminare il caso e i criteri di valutazione?
Uno specialista in chirurgia e il responsabile del programma di specializzazione, prima che venga assegnato un punteggio a chiunque.
Dove iniziare
Scegliete una procedura e descrivete il compito osservabile. Scegliete due casi non familiari, fate in modo che due valutatori assegnino un punteggio a ciascuno in modo indipendente e confrontate le loro valutazioni. Rivedete i criteri laddove vi siano divergenze, quindi effettuate una prova con alcuni colleghi prima di utilizzare i punteggi per qualsiasi decisione.
Per vedere come una sessione di calibrazione può essere eseguita in diretta o a ritmo personalizzato, esplora AhaSlides.








