Un responsabile della formazione apre la dashboard di apprendimento il lunedì. Il tasso di completamento è del 96%. Il livello medio di soddisfazione è di 4.5 su 5. Poi un team leader pone la domanda imbarazzante: "Le persone gestiscono in modo diverso questi reclami dei clienti?". La dashboard non può rispondere. Registra che il corso è stato completato, non che qualcosa sia cambiato sul lavoro.
Questa è la lacuna che la maggior parte delle metriche di formazione lascia aperta. Il completamento indica chi ha raggiunto la fine del percorso, ma non chi ha appreso la competenza, chi l'ha utilizzata o se l'azienda ha tratto beneficio da tale esperienza. Questa guida offre una gerarchia di evidenze e un piano di misurazione di una pagina, compilabile per qualsiasi programma, senza la pretesa che ogni corso richieda uno studio completo sul ROI e sulle sue implicazioni causali.
Lo scenario iniziale sopra descritto è a scopo illustrativo e non rappresenta un caso documentato di un cliente.
I fatti in breve
| La Domanda | Risposta breve |
|---|---|
| Cosa c'è di sbagliato nei tassi di completamento? | Misurano la partecipazione, non l'apprendimento o i cambiamenti sul posto di lavoro. |
| Cosa dovresti misurare invece? | Apprendimento per obiettivi, applicazione sul lavoro, quindi risultati operativi contestualizzati. |
| È necessaria un'analisi del ritorno sull'investimento (ROI) per ogni corso? | No. Adeguare la profondità delle prove alla decisione da prendere. |
| Cosa comprende un piano di misurazione? | Risultato, misura, fonte, denominatore, tempistica e proprietario |
1. Definire la decisione che i dati devono supportare
Prima di scegliere una metrica, è necessario definire la decisione che essa servirà a supportare. Tre metriche comuni richiedono prove diverse:
- Migliorare il programma. È fondamentale capire in quali aree gli studenti hanno incontrato difficoltà, pertanto i risultati a livello di singolo elemento e di compito contano più del voto di superamento.
- Confermare la disponibilità. È necessario dimostrare che una persona sia in grado di svolgere un compito definito secondo uno standard concordato, solitamente tramite osservazione o una prova valutata.
- Valutare un'implementazione. È necessario confrontare gruppi o periodi, quindi la coerenza delle misure, dei denominatori e delle tempistiche è fondamentale.
Se non si riesce a stabilire quale decisione sia supportata dai dati, si raccoglieranno tutte le informazioni possibili per trarre poche conclusioni. Un breve test: se il risultato fosse negativo, cosa fareste di diverso? Se la risposta è "nulla", significa che l'indicatore non è all'altezza.
2. Misurare l'apprendimento rispetto agli obiettivi
Parti dal compito lavorativo, non dal contenuto del corso. Scrivi l'obiettivo come qualcosa che una persona fa ("valutare un reclamo di livello superiore utilizzando i criteri concordati"), quindi progetta la valutazione in modo che corrisponda. Il Carnegie Mellon Eberly Center chiarisce il punto fondamentale: valutazioni, obiettivi e attività didattiche dovrebbero rafforzarsi a vicenda, e insegnare le capacità analitiche valutando solo il ricordo dei fatti porta gli studenti a praticare la cosa sbagliata.Linee guida dell'Eberly Center sull'allineamento di valutazioni, obiettivi e strategie didattiche.).
In pratica, questo ti offre tre opzioni di progettazione:
- Stabilisci una linea di base. Valuta il compito prima dell'addestramento, oppure utilizza una breve diagnosi, in modo da sapere da dove parte ogni partecipante. Senza un punto di riferimento iniziale, un buon punteggio al termine dell'addestramento potrebbe semplicemente riflettere le competenze pregresse.
- Utilizzare un follow-up adeguato. La valutazione successiva dovrebbe testare lo stesso compito e lo stesso standard, utilizzando un caso nuovo anziché quello già svolto. Ripetere gli stessi quesiti premia la memorizzazione delle risposte.
- Tenete separate le soddisfazioni. Le reazioni degli studenti aiutano a migliorare l'esperienza, ma i Centri statunitensi per il controllo e la prevenzione delle malattie (CDC) specificano nelle loro linee guida per la valutazione della formazione che la soddisfazione degli studenti non determina se una formazione è efficace.CDC, valutazione della formazione: misurare l'efficacia). Segnalalo, ma mai come sostituto dell'apprendimento.
Una semplice griglia di valutazione a tre punti può essere utile in questo caso. Assegna a ciascun criterio un punteggio di 0 (assente o non supportato), 1 (parziale, con omissioni rilevanti) o 2 (completo e giustificato), e definisci separatamente gli errori critici in modo che il punteggio complessivo non possa nascondere una grave mancanza. Adatta i criteri con uno specialista della materia; una griglia di valutazione da te redatta è un punto di partenza, non uno standard validato.
3. Valutare il trasferimento dopo l'esposizione lavorativa
Imparare qualcosa in un corso e metterlo in pratica sul lavoro sono due cose diverse. Le linee guida del CDC distinguono la valutazione dell'apprendimento dalla valutazione del trasferimento dell'apprendimento, che si interroga su quanto efficacemente un discente applichi ciò che ha appreso una volta tornato sul posto di lavoro.
Per dimostrare l'apprendimento è necessario del tempo. Pianifica un follow-up dopo che il discente ha avuto una reale opportunità di mettere in pratica l'abilità, il che potrebbe richiedere due settimane per un'attività quotidiana e diversi mesi per un'attività occasionale. Successivamente, raccogli le prove in uno o più dei seguenti modi:
- Osservazione o revisione di un campione di lavoro rispetto alla stessa griglia di valutazione utilizzata nella formazione.
- Contributo del manager o dei colleghi Utilizzare domande specifiche basate sul comportamento, piuttosto che domande del tipo "sono migliorati?".
- Evidenza del sistema dove l'attività lascia una traccia, come un modulo compilato o un caso registrato.
Registra gli ostacoli con la stessa attenzione riservata ai risultati. Un discente che riesce a svolgere un compito durante la formazione ma non sul lavoro potrebbe non disporre degli strumenti, dell'autorità, del tempo o del supporto del responsabile necessari. Tali limitazioni possono persistere anche dopo un miglioramento delle prestazioni in aula e sono proprio questi gli elementi che più probabilmente influenzeranno le tue decisioni future. Chiediti "cosa ti ha impedito di applicare questa competenza?" e categorizza le risposte.
4. Interpretare i risultati operativi nel contesto appropriato
Le metriche operative come i tassi di errore, i tempi di gestione o i tassi di risoluzione sono importanti perché rappresentano ciò che interessa all'organizzazione. Sono anche quelle che più facilmente vengono interpretate in modo errato.
Tre abitudini ti aiutano a rimanere onesto:
- Utilizzare un tasso comparabile. I conteggi possono essere fuorvianti quando i volumi variano. Confrontate i tassi con un denominatore prestabilito: errori ogni cento casi, non errori totali.
- Elenca le spiegazioni alternative. La stagionalità, un nuovo strumento, un cambiamento nell'organico o un aggiornamento delle politiche possono tutti influenzare lo stesso valore nello stesso trimestre. Annotali prima di guardare il risultato.
- Specifica di che tipo di reclamo si tratta. Se il personale formato mostra un tasso di successo migliore rispetto al personale non formato, si tratta di un'associazione osservata. Un'affermazione causale richiede un disegno di ricerca che escluda le alternative, come un gruppo di confronto o un'implementazione scaglionata. La maggior parte dei programmi non necessita di questo livello di rigore, ed è lecito affermarlo chiaramente: "i risultati si sono mossi nella direzione sperata; ecco cos'altro è cambiato".
Evitate di promettere un ritorno sull'investimento basandovi esclusivamente sulla formazione. Riportate ciò che avete osservato, il contesto e i limiti.
5. Elaborare un piano di misurazione pratico
Inserisci i dati in una tabella per ciascun programma. Ogni riga rappresenta una domanda a cui i dati devono rispondere.
| Settore | Cosa scrivere | Perché è importante |
|---|---|---|
| Risultato | Il cambiamento che ti aspetti, in termini osservabili | Evita obiettivi vaghi |
| Misura | Il punteggio specifico della metrica o della rubrica | Lo rende testabile |
| Fonte | Da dove provengono i dati | Mostra se esiste ed è affidabile |
| Denominatore | Chi o cosa è fuori dalla misura | Previene conteggi grezzi fuorvianti |
| Sincronizzazione | Quando viene raccolto | Distingue l'apprendimento dal trasferimento |
| Proprietario | La persona indicata responsabile | Lo fa accadere |
Esempio pratico (a scopo illustrativo, senza risultati mostrati)
Immaginate un programma per aiutare il personale dell'assistenza clienti a gestire i reclami più complessi. La decisione: verificare la propria preparazione prima che gli operatori prendano in carico i reclami più complessi senza un collega di supporto.
| Risultato | Misura | Fonte | Denominatore | Sincronizzazione | Proprietario |
|---|---|---|---|---|---|
| Gli agenti valutano un'escalation utilizzando i criteri concordati | Punteggio della rubrica (da 0 a 2 per criterio, nessun errore critico) su un nuovo caso | Caso di studio valutato | Agenti che completano il programma | Fine del programma, rispetto a un livello di riferimento pre-formazione | Responsabile della formazione |
| Gli agenti applicano le fasi di triage ai casi in corso | Punteggio della rubrica sulle escalation reali campionate | Esempio di revisione della qualità | Esempi di escalation per agente | Da quattro a sei settimane dopo le prime escalation dal vivo | Guida della squadra |
| Sono noti gli ostacoli all'applicazione delle fasi | Ragioni categorizzate da un breve follow-up | Controllo di follow-up dell'agente | Agenti che hanno gestito un'escalation | Stessa finestra temporale per il follow-up | Responsabile della formazione |
| Gli esiti dell'escalation vengono monitorati nel contesto | Tasso di riapertura dei casi, con annotazioni relative alle modifiche concomitanti. | Sistema di casi | Escalation chiuse nel periodo | Trimestrale, rispetto al periodo precedente | analista operativo |
Notate cosa manca: nessuna promessa di miglioramento percentuale e nessuna affermazione che l'allenamento da solo sia la chiave per raggiungere l'ultimo risultato. Il piano vi impegna a raccogliere dati concreti, non a fornire una risposta specifica.
Dove si inseriscono la didattica interattiva e adattiva
La misurazione è più semplice quando l'apprendimento stesso genera dati. Le attività interattive, come domande con punteggio, sondaggi su scenari e brevi verifiche delle conoscenze, forniscono dati per ogni studente e per ogni elemento durante la formazione, e l'apprendimento adattivo può indirizzare le persone in base alle loro prestazioni. I modelli di apprendimento misto, che alternano sessioni dal vivo e studio individuale, consentono di svolgere un test diagnostico in autonomia, esercitarsi su un caso dal vivo con feedback e completare una revisione di follow-up in modo asincrono.
Queste funzionalità supportano le evidenze riportate nelle righe uno e due del piano. Non sostituiscono le righe relative al trasferimento e ai risultati, che dipendono da quanto accade sul posto di lavoro. Prima di definire un progetto, verifica quali funzionalità specifiche di reporting e authoring ti servono tramite una dimostrazione e considera qualsiasi strumento esterno o integrazione come separato dal flusso di lavoro principale finché non ne avrai verificato il corretto funzionamento.
Provalo con il tuo programma
Compila il piano a sei campi per un programma che gestisci attualmente, iniziando dalla decisione che dovrebbe supportare.
Per scoprire come le prove di apprendimento previste nel tuo piano potrebbero essere raccolte in una sessione dal vivo o in modalità autoapprendimento, esplora AhaSlides.
Domande frequenti
Che cosa sono le metriche di efficacia della formazione?
Si tratta dei parametri che si utilizzano per valutare se la formazione ha raggiunto il suo scopo. Un insieme utile comprende l'apprendimento rispetto agli obiettivi, l'applicazione sul posto di lavoro e i risultati operativi, valutati nel contesto, piuttosto che il semplice completamento e il grado di soddisfazione.
Il tasso di completamento è un parametro utile?
È utile per monitorare la partecipazione e individuare eventuali problemi di accesso. Non può dimostrare che qualcuno abbia appreso o applicato una competenza, quindi è consigliabile abbinarlo a una valutazione e a un follow-up.
Quanto tempo dopo l'allenamento dovrei misurare i benefici?
Un periodo sufficientemente lungo da dare agli studenti la possibilità concreta di mettere in pratica l'abilità appresa. Un'attività quotidiana potrebbe richiedere un paio di settimane, mentre un'attività occasionale potrebbe richiederne di più. Definisci questo lasso di tempo nel tuo piano prima dell'inizio della formazione.
Devo dimostrare il ritorno sull'investimento (ROI) per ogni corso?
No. Bisogna far corrispondere le prove alla decisione. Molti programmi traggono grande beneficio dalle prove di apprendimento e trasferimento, oltre che dai risultati operativi riportati nel loro contesto. L'analisi causale va riservata ai programmi ad alto rischio o ad alto costo, laddove la progettazione lo consenta.
