Un progetto pilota si conclude. Dodici persone vi hanno partecipato, quasi tutte lo hanno trovato utile e il facilitatore è soddisfatto. Poi il responsabile delle operazioni pone una domanda legittima: "Qualcuno ha cambiato il proprio modo di lavorare?". Nessuno aveva misurato le modalità di lavoro prima del progetto pilota, nessuno le aveva confrontate con quelle di altri, e il team ha modificato i propri processi nello stesso mese. Il progetto pilota ha generato buona volontà, non prove concrete.
Questo è uno scenario esemplificativo, non un caso documentato di un cliente. Mostra un errore comune che si commette nella valutazione dei programmi di formazione: il progetto pilota viene realizzato, ma non è mai stato concepito per rispondere a una domanda specifica.
Questa guida è pensata per i responsabili della formazione e dello sviluppo, i progettisti didattici e i responsabili della gestione della formazione. Si articola in cinque fasi: definire la domanda pilota, scegliere i partecipanti e i parametri di riferimento, documentare il percorso di apprendimento, valutare le prestazioni e il trasferimento delle nuove competenze e concordare come i risultati influiranno sull'implementazione. Si conclude con un modello adattabile e con l'indicazione dei vincoli rimanenti.
Che cos'è un pilota addestramento?
Un progetto pilota di addestramento è una fase di test su piccola scala e a tempo limitato di un modello di apprendimento, prima di implementarlo su vasta scala. Il suo scopo è quello di verificare la fattibilità del modello e la sua validità, non di dimostrare che funzioni ovunque.
Tale distinzione è importante. Il National Center for Complementary and Integrative Health degli Stati Uniti descrive uno studio pilota come un test su piccola scala dei metodi e delle procedure da utilizzare su scala più ampia e avverte che uno studio pilota non è dimensionato per rispondere a domande sull'efficacia, quindi qualsiasi effetto che sembra mostrare è instabile.NCCIH, Studi pilota: usi comuni e abusiQueste linee guida sono state scritte per la ricerca sanitaria, ma la logica è applicabile anche a questo ambito. Uno studio pilota con dodici persone può dirti se sei in grado di reclutare, realizzare, misurare e monitorare i risultati. Non può dirti, con certezza, quale sarà l'entità dell'effetto sull'intera organizzazione.
I fatti in breve
| La Domanda | Risposta breve |
|---|---|
| A cosa serve un pilota? | Verificare le ipotesi di apprendimento e di erogazione prima di estendere la scalabilità. |
| Di cosa hai bisogno prima che inizi? | Una domanda verificabile, un compito, un punto di riferimento e criteri decisionali. |
| Che cosa costituisce prova di trasferimento? | La prestazione in un nuovo compito dopo l'esperienza lavorativa, non la soddisfazione. |
| Hai bisogno di un gruppo di controllo? | Non sempre. Un gruppo di confronto o un'implementazione graduale sono utili quando fattibili ed equi. |
| Quando si definiscono i criteri decisionali? | Prima di guardare i risultati. |
| Cosa non può dirti il pilota? | Quanto sarà grande l'effetto su larga scala. |
1. Definire la domanda pilota
Inizia con una domanda a cui si può rispondere con un sì o un no, oppure con un numero, e indica la decisione che ne deriverà.
Una domanda debole: "Il nuovo programma di onboarding funziona?" Una domanda verificabile: "Dopo l'onboarding riprogettato, i nuovi assunti sono in grado di gestire un problema standard con un cliente senza aiuto? E il progetto pilota è realizzabile con il tempo di formazione a nostra disposizione?"
Annota tre cose:
- Il compito. Cosa potranno fare le persone che prima non potevano fare, o non facevano bene?
- La decisione. Intendete rivedere il progetto, avviare un altro progetto pilota o estenderlo su scala più ampia?
- I presupposti relativi all'apprendimento e all'erogazione dei servizi. Quali presupposti dai permessi relativi a prerequisiti, tempi, capacità di coaching e strumenti che il progetto pilota dovrebbe testare?
Se non sai definire la decisione, non sei pronto per avviare il progetto pilota. Il risultato arriverà senza che nessuno sia pronto ad agire di conseguenza.
2. Selezionare i partecipanti e le misure di base
Un parametro di riferimento è la prova di come le persone svolgono il compito prima dell'addestramento. Senza di esso, il "miglioramento" non ha alcun termine di paragone.
Scegliete i partecipanti con attenzione. Seleziona persone che svolgano effettivamente il compito e che siano simili al gruppo a cui intendi rivolgerti. Un progetto pilota condotto solo con i volontari più entusiasti non farà altro che migliorare l'efficacia del progetto.
Cattura la linea di base. Utilizzate lo stesso tipo di misurazione che userete in seguito, in modo che i due risultati siano confrontabili. Le opzioni includono un breve campione di lavoro, un'osservazione strutturata, una revisione dei risultati recenti o un caso di studio valutato. Annotate chi ha partecipato, quanti erano idonei e quando è stata effettuata la misurazione.
Pensa a un paragone. Il modello più efficace prevede il confronto tra chi ha partecipato al progetto pilota e un gruppo simile che non vi ha partecipato. Tuttavia, questo non è sempre possibile o equo, soprattutto quando la formazione è necessaria per motivi di sicurezza o conformità. Un'alternativa pratica è un'implementazione graduale: un gruppo inizia subito, un gruppo simile inizia in un secondo momento e quest'ultimo funge da termine di paragone per il primo. Qualunque sia la scelta, è fondamentale specificare nel piano perché la si ritiene equa per tutti i partecipanti.
3. Consegnare e documentare il percorso di apprendimento
Le prove sono utili solo se si sa cosa è stato effettivamente consegnato. Tenete un registro chiaro di quanto accaduto, perché i costi e l'impegno profuso nella consegna sono parte integrante dei test del progetto pilota.
Disco:
- Preparazione. Cosa facevano le persone prima delle sedute e quanto tempo duravano?
- Pratica. Quali casi o esercizi hanno affrontato e quale feedback hanno ricevuto?
- Istruire. Chi ha svolto il ruolo di coach, per quanto tempo e si è svolto in diretta o in modalità asincrona?
- Modifiche operative. Qualsiasi altro elemento che si sia modificato durante la fase pilota, come ad esempio un nuovo strumento, una modifica delle politiche aziendali, un picco stagionale o un cambio di responsabile.
- Configurazione del prodotto e costi. La configurazione effettiva che hai utilizzato, e il tempo e il denaro necessari per la consegna.
Gli ultimi due sono i più importanti per la decisione di implementazione. Un progetto che funziona solo con un livello di coaching che non ci si può permettere su larga scala vi ha insegnato qualcosa di prezioso, e il registro lo dimostra.
4. Valutare le prestazioni del nuovo compito e il trasferimento
La valutazione della formazione viene spesso descritta con i quattro livelli del modello Kirkpatrick: reazione, apprendimento, comportamento e risultati (Kirkpatrick PartnersUn pilota dovrebbe andare oltre il primo livello. Le reazioni, ovvero se le persone lo hanno trovato utile, si raccolgono rapidamente ma dicono poco sul fatto che si comporteranno diversamente.
Metti alla prova l'apprendimento su un nuovo compito. Presentate ai partecipanti un caso che non hanno mai affrontato prima e valutatelo con gli stessi criteri utilizzati nella fase iniziale. Un nuovo compito dimostra se le persone sono in grado di applicare ciò che hanno imparato, non se ricordano un esempio.
Effettuare un follow-up dopo l'esposizione sul luogo di lavoro. Il trasferimento significa applicare ciò che è stato appreso sul lavoro e mantenerlo nel tempo. La revisione del 1988 di Baldwin e Ford, spesso citata, definisce il trasferimento sia come la generalizzazione del materiale appreso al lavoro sia come il suo mantenimento nel tempo, e analizza come la progettazione della formazione, le caratteristiche del tirocinante e l'ambiente di lavoro lo influenzano.Baldwin e Ford, 1988Quindi, pianificate un follow-up dopo che le persone abbiano avuto un lavoro effettivo da svolgere, ad esempio qualche settimana dopo, e misurate nuovamente lo stesso compito.
Barriere record. Se qualcuno non utilizza il nuovo approccio sul lavoro, chiedete il perché. La risposta potrebbe essere la mancanza di uno strumento, un responsabile che si aspetta ancora il vecchio metodo o la mancanza di tempo. Si tratta di considerazioni sull'ambiente di lavoro, non di mancanze di chi apprende.
Non dedurre il trasferimento dalla soddisfazione. Un buon punteggio di feedback è importante da registrare, ma non dimostra che il comportamento sia cambiato.
5. Decidere in che modo i risultati influiscono sull'implementazione
Scrivi i criteri di decisione prima di esaminare i risultati. Altrimenti, sarà facile trovare una ragione per procedere in base a ciò che si osserva.
Una struttura semplice:
| Se il pilota mostra | Poi |
|---|---|
| Le prestazioni del compito sono migliorate, il trasferimento è stato mantenuto, la consegna è stata fattibile. | Pianifica un'implementazione su più ampia scala e continua a monitorare i risultati. |
| Le prestazioni nello svolgimento del compito sono migliorate, ma il trasferimento è stato bloccato dall'ambiente di lavoro. | Ripara la barriera, poi avvia un secondo progetto pilota. |
| Poche modifiche al nuovo incarico | Rivedere il progetto prima di procedere con qualsiasi ulteriore esecuzione. |
| I costi di consegna o i tempi di coaching non erano fattibili | Riprogettare le modalità di erogazione, quindi avviare un nuovo progetto pilota. |
Siate onesti riguardo a ciò che un piccolo gruppo può effettivamente supportare. Considerate i numeri come indicativi, riportate la dimensione del gruppo e il denominatore ed evitate di parlare di dimensioni dell'effetto o di fornire garanzie. Indicate quali altri cambiamenti si sono verificati contemporaneamente prima di attribuire il merito alla formazione.
Un modello di misurazione pilota
A scopo illustrativo. Il professionista che esegue questo lavoro dovrebbe esaminarlo attentamente prima dell'uso.
| Sezione | Cosa scrivere |
|---|---|
| Domanda pilota | La questione da verificare e la decisione che ne deriva. |
| Task | Il nuovo compito che le persone dovranno svolgere e i criteri di valutazione. |
| A chi e' rivolto | Chi è incluso, quanti erano idonei e se esiste un gruppo di confronto. |
| Linea di base | La misura, la data e i punteggi prima dell'allenamento. |
| Viaggio di apprendimento | Preparazione, pratica, allenamento, tempo e costi. |
| Modifiche simultanee | Cos'altro è cambiato durante l'episodio pilota? |
| Nuovo risultato dell'attività | Punteggi ottenuti in un compito non praticato durante la fase pilota. |
| Follow-up | Tempistiche, persone raggiunte e punteggi dopo l'esposizione al lavoro. |
| Barriere | Cosa ha impedito alle persone di mettere in pratica quanto appreso? |
| Criteri di decisione | Le soglie che imposti prima di esaminare i risultati. |
| Risultato | Rivedere, testare nuovamente o implementare su larga scala, e spiegarne i motivi. |
Dove la consegna interattiva aiuta
I formati interattivi sono adatti alla fase pratica di un progetto pilota perché ogni persona si impegna a fornire una risposta prima di vedere quella del gruppo, il che consente di registrare il ragionamento anziché limitarsi alla sola presenza. Un facilitatore può gestire un caso in diretta e lo stesso caso può essere utilizzato in modalità autogestita per la preparazione o il follow-up. AhaSlides supporta l'apprendimento interattivo e il passaggio tra la modalità in diretta e quella autogestita. Verifica qualsiasi funzione specifica di authoring, feedback o reporting su cui intendi fare affidamento confrontandola con il tuo flusso di lavoro e considera le funzionalità di IA, simulazione e integrazione come esterne o non confermate finché non ne avrai verificato il funzionamento. Per scegliere tra i formati, consulta quando utilizzare l'apprendimento adattivo, interattivo e in direttaPer abbinare le attività al pensiero che si desidera misurare, consultare la nostra guida a abbinamento delle attività di apprendimento alla tassonomia di Bloom.
Vincoli che potrebbero rimanere
Anche un episodio pilota ben progettato lascia alcune questioni irrisolte:
- Numeri esigui. Un progetto pilota dimostra la fattibilità e la direzione da seguire, non l'entità dell'impatto su larga scala.
- Ambiente di lavoro. Le persone possono svolgere bene un nuovo compito, ma non utilizzarlo comunque sul lavoro se il loro responsabile, gli strumenti a disposizione o gli incentivi le spingono in quella direzione.
- Timing. Un controllo effettuato dopo poche settimane non permette di vedere cosa rimane dopo sei mesi.
- Cambiamento simultaneo. Altri cambiamenti avvenuti nello stesso periodo possono spiegare in parte il miglioramento.
- Selezione. Le persone che si sono offerte volontarie potrebbero essere diverse dalle persone a cui è destinato il progetto.
Pianifica soluzioni separate per questi problemi e comunica agli sponsor quali questioni il progetto pilota non ha risolto.
Domande frequenti
Quanto deve essere grande un aereo da addestramento?
Abbastanza grande da permettere di verificare la fattibilità e la misurabilità del progetto, ma anche sufficientemente piccolo da consentire modifiche a basso costo. Non esiste una singola dimensione ideale. Riportate la dimensione del gruppo e considerate qualsiasi risultato come indicativo.
Ho bisogno di un gruppo di controllo per valutare un programma di formazione?
Un gruppo di confronto rafforza le prove, ma non è sempre fattibile o equo. Un'alternativa pratica è rappresentata da una valutazione iniziale seguita da un'implementazione graduale, in cui un gruppo simile inizia in un secondo momento.
Quando devo misurare il trasferimento?
Dopo aver dato alle persone il tempo e l'opportunità di mettere in pratica quanto appreso sul lavoro, quindi aspettate almeno qualche settimana. Valutate nuovamente lo stesso compito e chiedete quali ostacoli hanno impedito a qualcuno di utilizzarlo.
La soddisfazione è un indicatore utile?
È utile per migliorare l'esperienza, ma non è una prova di trasferimento delle competenze. È preferibile affiancarlo alla valutazione delle prestazioni in un nuovo compito.
Dove iniziare
Scegli un compito importante e scrivi la decisione che verrà presa durante il progetto pilota. Descrivi come un piccolo gruppo di persone lo svolge attualmente, utilizzando un breve esempio di lavoro o un caso di studio valutato. Quindi, scrivi i criteri decisionali prima dell'inizio del progetto pilota e segna la data del follow-up in agenda.
Per scoprire come un caso di studio pratico può essere eseguito dal vivo con il tuo team e riutilizzato in seguito in autonomia, esplora AhaSlides.
