Griglia di valutazione delle prestazioni: come valutare la capacità di giudizio e di risoluzione dei problemi nella formazione

Due formatori guardano la stessa registrazione di una nuova team leader che decide se inoltrare un reclamo di un cliente a un livello superiore. Il primo le dà il massimo dei voti: è rimasta calma e ha scelto l'opzione più sensata. Il secondo le dà un punteggio medio: non ha mai spiegato il motivo della sua scelta né cosa non sapesse. Entrambi i formatori sono esperti. Entrambi hanno utilizzato lo stesso modulo. Nessuno dei due ha torto, ed è proprio questo il problema. Il modulo non indicava cosa osservare.

Questo è uno scenario esemplificativo, non un caso documentato di un cliente. Dimostra perché la capacità di giudizio e di risoluzione dei problemi sia difficile da valutare: la prova risiede nel ragionamento, e il ragionamento è facilmente soggetto a valutazioni diverse.

Questa guida è pensata per progettisti didattici, responsabili della formazione e direttori di L&D che necessitano di una griglia di valutazione delle prestazioni affidabile e vincolante. Si articola in cinque fasi: definizione delle evidenze, formulazione dei criteri osservabili, descrizione degli indicatori di prestazione, calibrazione dei valutatori e sperimentazione della griglia. Si conclude con un esempio pratico e l'indicazione dei limiti rimanenti.

Che cos'è una griglia di valutazione delle prestazioni?

Una griglia di valutazione delle prestazioni è una guida per l'assegnazione dei punteggi a un compito in cui lo studente esegue un'azione anziché limitarsi a ricordare qualcosa. Elenca i criteri rilevanti, descrive l'aspetto di ciascun livello di punteggio e fornisce ai valutatori una base condivisa per la decisione. Per le attività di giudizio e risoluzione dei problemi, il compito è solitamente un caso: lo studente decide cosa fare, spiega la decisione e indica quali altre informazioni avrebbe bisogno di conoscere.

Una griglia di valutazione non è un test di conoscenza. Un quiz mnemonico può confermare che qualcuno conosce le regole. Una griglia di valutazione mostra se è in grado di applicare tali regole in una situazione disordinata.

I fatti in breve

1. Definire la prova della prestazione

Iniziate dal compito, non dalla forma. Descrivete la situazione che lo studente si troverà ad affrontare, la decisione che dovrà prendere e cosa renderebbe evidente una prestazione competente. Siate precisi riguardo al contesto e ai limiti: quale autorità ha lo studente, quali informazioni gli vengono fornite e cosa viene volutamente omesso?

Un test utile consiste nel chiedersi cosa potrebbe indicare un osservatore. "Mostra buon giudizio" non può essere indicato. "Indica quale procedura si applica, nomina un fatto mancante e dice a chi si rivolgerebbe" sì.

Se non riesci a descrivere le prove in frasi semplici, il compito non è pronto per essere valutato. Prima di tutto, correggi il compito. Un compito vago produce una griglia di valutazione vaga, per quanto ben fatta possa sembrare.

2. Scrivere criteri osservabili

Scegliete un numero limitato di criteri che corrispondano all'obiettivo di apprendimento. Per il giudizio e la risoluzione dei problemi, tre criteri funzionano bene in molti ruoli:

• Esecuzione del compito. Lo studente prende una decisione nell'ambito delle proprie competenze e documenta la scelta e le prove a supporto.
• Ragionamento. Lo studente spiega i vincoli, le alternative e ciò che è ancora incerto.
• Confini. Lo studente utilizza procedure approvate e chiede aiuto quando mancano informazioni o l'autorità necessaria.

Descrivi ciascun criterio come qualcosa che si osserva in una decisione, una spiegazione o un risultato. Evita parole che indicano una caratteristica, come "solido", "maturo" o "buono". Due valutatori potrebbero interpretare queste parole in modo diverso.

Mantieni basso il numero. Ogni criterio aggiuntivo introduce un motivo di disaccordo tra i valutatori e una ragione per cui gli studenti sono spinti a inseguire il voto anziché riflettere. Se un criterio non cambia il modo in cui interpreteresti il ​​risultato, eliminalo.

3. Descrivere gli indicatori di prestazione

Un punto di riferimento è una breve descrizione di come si presenta un livello di punteggio. Senza punti di riferimento, un punteggio di 1 o 2 significa ciò che il valutatore vuole che significhi.

Una semplice scala a tre livelli è spesso sufficiente per una prima versione:

Per ogni criterio, aggiungi un breve esempio di come suonano 0, 1 e 2 nel contesto del tuo compito. Laddove possibile, utilizza un linguaggio reale tratto da tentativi pratici. Gli ancoraggi scritti in astratto tendono a trasformarsi in aggettivi vaghi.

Trattare gli errori critici separatamente. Alcuni errori non dovrebbero essere semplicemente ignorati. Ad esempio, agire al di fuori delle proprie competenze, trascurare una procedura di sicurezza o violare un limite di conformità. È opportuno elencarli separatamente dai criteri di valutazione e specificarne le conseguenze: un errore critico viene registrato e approfondito, indipendentemente dal punteggio totale. Altrimenti, un discente potrebbe ottenere un buon punteggio in ragionamento e rispetto dei limiti, pur compiendo un'azione inaccettabile sul posto di lavoro.

4. Calibrare i valutatori utilizzando esempi

Una griglia di valutazione non si auto-valuta. I valutatori devono comunque interpretarla, quindi è necessario calibrarla prima di assegnare un punteggio a un gruppo.

1. Scegli due o tre esempi di risposte di qualità diversa. I tentativi reali di un pilota sono i migliori.
2. Prima di qualsiasi discussione, ogni valutatore deve assegnare un punteggio in modo indipendente.
3. Confronta i punteggi e, soprattutto, le prove citate da ciascuna persona.
4. Laddove i punteggi differiscono, individuare la formulazione che ha causato la discrepanza e modificare il criterio o il parametro di riferimento.
5. Ripetere il procedimento con un nuovo esempio finché i valutatori non assegnano lo stesso punteggio per le stesse ragioni.

L'obiettivo è una lettura condivisa dei criteri, non un accordo fine a se stesso. Se due valutatori assegnano lo stesso punteggio per motivi diversi, la griglia di valutazione rimane comunque ambigua.

Cosa dice la ricerca? Le prove sono contrastanti, quindi preparatevi a qualche disaccordo e misuratelo. In uno studio del 2022 su esami clinici videoregistrati nel Fujita Medical Journal, due valutatori hanno valutato quaranta video. Per i primi dieci hanno valutato senza moderazione, e per i restanti hanno discusso la loro valutazione rispetto ai criteri della rubrica ogni volta. L'accordo, misurato con un coefficiente kappa ponderato, è aumentato da 0.49 sui primi dieci video a 0.82 sugli ultimi dieci (Watari e colleghi, 2022Si trattava di un piccolo studio su una singola prova d'esame, quindi va considerato come un segnale che la moderazione può essere d'aiuto, non come una promessa.

Nemmeno la sola formazione è una garanzia. Uno studio randomizzato del 2014 condotto su 21 valutatori che hanno esaminato 242 studenti di medicina ha rilevato che una breve sessione di formazione sul quadro di riferimento non ha migliorato in modo misurabile l'accuratezza dei singoli valutatori, sebbene i valutatori formati abbiano assegnato punteggi più rigorosi e più vicini a un gruppo di riferimento. Gli autori hanno concluso che la valutazione delle prestazioni è altamente individuale.Weitz e colleghi, 2014La lettura pratica consiste nel continuare la calibrazione su esempi reali, verificare la concordanza durante la valutazione e non dare per scontato che una singola sessione informativa sia sufficiente.

5. Effettuare un test pilota e rivedere la rubrica

Prima di utilizzare la griglia di valutazione per decisioni importanti, testatela.

• Svolgetelo con un piccolo gruppo di partecipanti e due o più valutatori.
• Annotate i punti in cui i valutatori non concordano e chiedete a ciascuno di spiegare il proprio punteggio.
• Verificate che i criteri distinguono tra risposte valide e risposte deboli. Se tutti gli studenti ottengono un punteggio di 2, il compito o i criteri di valutazione sono troppo facili.
• Chiedete agli studenti cosa la griglia di valutazione ha chiarito e cosa li ha confusi.
• Rivedi il progetto, poi esegui un nuovo test pilota con un nuovo caso.

Siate onesti riguardo a ciò che emerge dal progetto pilota. Una griglia di valutazione non convalidata è una bozza di lavoro. Non rappresenta uno standard di certificazione universale e non dovrebbe essere utilizzata per prendere decisioni importanti sulle persone finché non sia stata esaminata da un professionista del settore e non si abbiano prove della sua efficacia per la popolazione di riferimento.

Un esempio pratico: una decisione di escalation

A scopo illustrativo. Il professionista che svolge questo lavoro dovrebbe convalidare il caso e i criteri di risposta prima dell'uso.

Il caso. Un cliente segnala un ordine in ritardo e richiede un rimborso completo. L'addetto può offrire un credito fino a un importo prestabilito senza necessità di approvazione. Il rimborso è superiore a tale importo. Il responsabile non è disponibile per due ore. Le note indicano quattro ordini effettuati quest'anno.

Cosa fa chi apprende. Scegli una risposta, spiega la decisione, cita le prove e indica quali ulteriori informazioni o supporto sarebbero necessari.

La risposta ha ottenuto un punteggio di 1 in termini di ragionamento. "Offrirei il rimborso perché il cliente è insoddisfatto." La decisione è dichiarata, ma non ci sono prove, non si menziona il limite e non si indica cosa manchi.

La risposta ha ottenuto un punteggio di 2 in termini di ragionamento. “Non effettuerei rimborsi superiori al mio limite senza autorizzazione. Dalle note risultano quattro ordini effettuati quest'anno, quindi questo cliente è importante, ma non ho ancora verificato dove si trovi il pacco. Offrirei subito un credito entro i limiti previsti, comunicherei al cliente quando il responsabile risponderà e chiederei al corriere un aggiornamento del tracking in modo da poter accelerare l'approvazione.”

Un errore critico. L'emissione di un rimborso senza autorizzazione viene registrata come errore critico, a prescindere dagli altri punteggi, perché esula dalle competenze dell'operatore.

Osservate cosa hanno fatto i conduttori. I due valutatori dell'apertura ora cercherebbero le stesse cose: la decisione, le prove citate, l'incertezza dichiarata e il confine.

Dove la consegna interattiva aiuta

I formati interattivi facilitano la pratica e la calibrazione perché ogni persona si impegna a fornire una risposta prima di vedere quella del gruppo. In una sessione live, un facilitatore può mostrare una risposta di esempio, chiedere a ogni valutatore di valutarla privatamente e quindi rivelare la distribuzione prima della discussione. Gli stessi casi possono essere utilizzati in modalità autoapprendimento per la preparazione. AhaSlides supporta l'apprendimento interattivo e il passaggio tra la modalità live e quella autoapprendimento. Verifica qualsiasi funzione specifica di authoring, feedback o reporting su cui intendi fare affidamento rispetto al tuo flusso di lavoro e considera le funzionalità di IA, simulazione e integrazione come esterne o non confermate finché non ne hai verificato il funzionamento. Per indicazioni sulla scelta tra i formati, consulta quando utilizzare l'apprendimento adattivo, interattivo e in direttaPer abbinare le attività al livello di pensiero che si desidera valutare, consultare la nostra guida a abbinamento delle attività di apprendimento alla tassonomia di Bloom.

Misurare ciò che è cambiato

Stabilisci in anticipo quali prove dimostrerebbero che gli studenti sono in grado di svolgere il compito. Confronta le prestazioni su un caso nuovo e inedito con un valore di riferimento, valutando sia la qualità del ragionamento che quella della decisione. Definisci chi è incluso, il denominatore e la tempistica. Se i punteggi migliorano, verifica cos'altro è cambiato nello stesso periodo, come ad esempio un nuovo strumento o una diversa combinazione di attività, prima di attribuire il merito alla formazione.

Vincoli che potrebbero rimanere

Nemmeno una griglia di valutazione ben strutturata risolve tutti i problemi:

• Tempo del valutatore. La calibrazione e il pilotaggio richiedono tempo che deve essere pianificato.
• Autorità nel vero lavoro. Uno studente può ragionare bene durante l'esercizio, ma non avere comunque l'autorità per agire in quel modo sul lavoro.
• Copertura del caso. Un singolo caso illustra una decisione. Un punteggio singolo non descrive il giudizio di una persona in generale.
• Trasferimento. Le prestazioni in un ambiente sicuro non sono le stesse delle prestazioni sul posto di lavoro. Verificare il trasferimento dopo un'adeguata esposizione.

Pianifica soluzioni separate per questi problemi e comunicale agli sponsor. Una griglia di valutazione rende la valutazione più chiara ed equa. Non trasforma un punteggio in una garanzia.

Domande frequenti

Qual è la differenza tra una rubrica e una lista di controllo?

Una checklist registra se un'attività è stata svolta. Una rubrica descrive la qualità dell'attività, a diversi livelli, quindi è adatta a compiti che richiedono giudizio e spiegazione.

Quanti criteri dovrebbe avere una griglia di valutazione?

Pochi, di solito da tre a cinque. Scegli quelli che corrispondono all'obiettivo di apprendimento ed elimina quelli che non cambierebbero il modo in cui utilizzerai il risultato.

Una griglia di valutazione può eliminare i disaccordi tra i valutatori?

No. Può ridurlo, soprattutto con ancoraggi e calibrazione su esempi reali, ma dovresti comunque verificare la concordanza durante la valutazione e rivedere la formulazione poco chiara.

Dovrei utilizzare una griglia di valutazione per le decisioni ad alto rischio?

Solo dopo un progetto pilota e una revisione da parte di un professionista del settore. Considerate una nuova griglia di valutazione come una bozza finché non avrete la prova che funziona per i vostri studenti e per il compito da svolgere.

Dove iniziare

Scegliete una decisione che i vostri studenti devono prendere bene. Descrivete le prove che una prestazione competente dovrebbe dimostrare, scegliete tre criteri, create un sistema di valutazione da 0 a 2 per ciascuno ed elencate gli errori critici. Quindi, fate valutare lo stesso esempio in modo indipendente da due valutatori, confrontate le loro valutazioni e correggete la formulazione prima di assegnare un punteggio.

Per scoprire come un caso di studio può essere gestito in tempo reale con il tuo team e riutilizzato in seguito in autonomia, esplora AhaSlides.