Lundi, un responsable de formation consulte le tableau de bord d'apprentissage. Le taux d'achèvement est de 96 %. La satisfaction moyenne est de 4.5 sur 5. Un chef d'équipe pose alors la question délicate : « Les équipes gèrent-elles différemment ces escalades clients ? » Le tableau de bord ne peut répondre. Il indique simplement que la formation a été terminée, sans préciser si cela a eu un impact sur les pratiques de travail.
C’est là la lacune que la plupart des indicateurs de formation laissent en suspens. Le taux d’achèvement indique qui a atteint le terme, mais pas qui a acquis la compétence, qui l’a utilisée, ni si l’entreprise a évolué. Ce guide propose une hiérarchie des preuves et un plan de mesure d’une page, adaptable à tout programme, sans pour autant exiger une étude complète du retour sur investissement pour chaque formation.
Le scénario d'ouverture ci-dessus est donné à titre illustratif et ne constitue pas un cas client documenté.
Faits rapides
| Questionne toi | Réponse courte |
|---|---|
| Qu'est-ce qui ne va pas avec les taux d'achèvement ? | Ils mesurent la participation, et non l'apprentissage ou le changement en milieu de travail |
| Que devriez-vous mesurer à la place ? | Apprentissage par rapport aux objectifs, transfert au poste de travail, puis résultats opérationnels dans leur contexte |
| Chaque cours nécessite-t-il une analyse du retour sur investissement ? | Non. La profondeur des preuves doit être adaptée à la décision prise. |
| Que doit contenir un plan de mesure ? | Résultat, mesure, source, dénominateur, calendrier et propriétaire |
1. Définir la décision que les données doivent étayer
Avant de choisir un indicateur, définissez la décision qu'il permettra d'éclairer. Trois exemples courants nécessitent des données différentes :
- Améliorer le programme. Il est essentiel de savoir où les apprenants ont rencontré des difficultés ; les résultats au niveau des items et des tâches sont donc plus importants qu'une note de passage.
- Confirmer l'état de préparation. Vous avez besoin de preuves qu'une personne est capable d'accomplir une tâche définie selon une norme convenue, généralement par le biais d'une observation ou d'une tâche notée.
- Évaluer un déploiement. Il vous faut comparer des groupes ou des périodes, il est donc primordial d'avoir des mesures, des dénominateurs et un calendrier cohérents.
Si vous ne pouvez pas déterminer quelle décision les données justifient, vous collecterez toutes les informations pour en tirer peu de conclusions. Un test rapide : si le résultat était mauvais, que feriez-vous différemment ? Si la réponse est « rien », cet indicateur n’est pas pertinent.
2. Mesurer l'apprentissage par rapport aux objectifs
Partez de la tâche professionnelle, et non du contenu du cours. Formulez l'objectif comme une action concrète (« trier une plainte escaladée en utilisant les critères convenus »), puis concevez l'évaluation en conséquence. Le Centre Eberly de Carnegie Mellon souligne clairement ce point fondamental : les évaluations, les objectifs et les activités pédagogiques doivent se renforcer mutuellement, et enseigner des compétences analytiques tout en n'évaluant que la restitution de faits conduit les apprenants à pratiquer la mauvaise chose (Conseils du Eberly Center sur l'alignement des évaluations, des objectifs et des stratégies pédagogiques).
En pratique, cela vous donne trois choix de conception :
- Définir une ligne de base. Évaluez la tâche avant la formation, ou utilisez un diagnostic rapide, afin de connaître le niveau initial de chaque apprenant. Sans point de départ, un bon score après la formation pourrait simplement refléter des compétences antérieures.
- Utilisez un suivi adapté. L'évaluation ultérieure devrait porter sur la même tâche et le même niveau, mais avec un cas différent de celui utilisé lors des exercices. La répétition des mêmes exercices favorise la mémorisation des réponses.
- Gardez la satisfaction séparée. Les réactions des apprenants vous aident à améliorer l'expérience, mais les Centres américains de contrôle et de prévention des maladies (CDC) indiquent clairement dans leurs directives d'évaluation de la formation que la satisfaction des apprenants ne détermine pas si une formation est efficace (CDC, évaluer la formation : mesurer l'efficacitéSignalez-le, mais jamais comme substitut à l'apprentissage.
Une grille d'évaluation simple à trois points est utile. Attribuez à chaque critère la note 0 (absent ou non justifié), 1 (partiel, avec des omissions pertinentes) ou 2 (complet et justifié), et définissez les erreurs critiques séparément afin qu'une note globale ne masque pas un manquement grave. Adaptez les critères avec un spécialiste du domaine ; une grille que vous avez élaborée vous-même n'est qu'un point de départ, et non une norme validée.
3. Évaluer le transfert après exposition au travail
Apprendre quelque chose en cours et le mettre en pratique au travail sont deux choses différentes. Les recommandations du CDC distinguent l'évaluation des apprentissages de l'évaluation du transfert des acquis, qui s'intéresse à la capacité de l'apprenant à appliquer efficacement ses connaissances une fois de retour sur son lieu de travail.
L’acquisition de la compétence nécessite du temps. Prévoyez un suivi une fois que l’apprenant a eu une réelle occasion de l’utiliser ; cela peut prendre deux semaines pour une tâche quotidienne et plusieurs mois pour une tâche occasionnelle. Recueillez ensuite des preuves de l’une ou plusieurs des manières suivantes :
- Examen d'observation ou d'échantillon de travail par rapport aux mêmes critères utilisés lors de la formation.
- contribution du responsable ou des pairs utiliser des questions spécifiques axées sur le comportement plutôt que « ont-ils progressé ? ».
- Preuve systémique où la tâche laisse une trace, comme un formulaire rempli ou un dossier enregistré.
Consignez les obstacles avec autant de précision que les résultats. Un apprenant capable d'effectuer une tâche en formation, mais incapable de le faire au travail, peut manquer d'outils, d'autorité, de temps ou de soutien de sa hiérarchie. Ces contraintes peuvent persister même après une amélioration des performances en formation, et ce sont ces constats qui sont les plus susceptibles d'influencer votre prochaine décision. Posez-vous la question : « Qu'est-ce qui vous a empêché d'appliquer cela ? » et catégorisez les réponses.
4. Interpréter les résultats opérationnels en tenant compte du contexte
Les indicateurs opérationnels tels que les taux d'erreur, les délais de traitement ou les taux de résolution sont importants car ils reflètent les préoccupations de l'organisation. Ce sont également les plus faciles à surinterpréter.
Trois habitudes vous aident à rester honnête :
- Utilisez un taux comparable. Les chiffres peuvent être trompeurs lorsque les volumes varient. Il faut comparer les taux par rapport à un dénominateur donné : les erreurs pour cent cas, et non les erreurs totales.
- Énumérer d'autres explications. La saisonnalité, un nouvel outil, un changement de personnel ou une mise à jour de politique peuvent tous avoir un impact sur un même chiffre au cours d'un même trimestre. Notez-les avant de consulter le résultat.
- Précisez de quel type de réclamation il s'agit. Si le personnel formé obtient de meilleurs résultats que le personnel non formé, il s'agit d'une corrélation observée. Pour établir un lien de causalité, il est nécessaire d'utiliser une méthodologie qui élimine les causes possibles, comme un groupe témoin ou un déploiement progressif. La plupart des programmes n'exigent pas un tel niveau de rigueur, et il est tout à fait acceptable de l'affirmer simplement : « Les résultats ont évolué dans le sens escompté ; voici les autres facteurs ayant évolué. »
Évitez de promettre un retour sur investissement uniquement grâce à la formation. Décrivez vos observations, le contexte et les limites de votre démarche.
5. Élaborer un plan de mesure pratique
Répartissez les données dans un tableau par programme. Chaque ligne correspond à une question à laquelle les données doivent répondre.
| Champ | Quoi écrire | Pourquoi cela compte |
|---|---|---|
| Résultat | Le changement que vous attendez, en termes observables | Arrête les objectifs vagues |
| Mesurer | Le score spécifique de la mesure ou de la grille d'évaluation | Cela le rend testable |
| Matériau | D'où proviennent les données | Indique s'il existe et s'il est digne de confiance. |
| Dénominateur | De qui ou de quoi la mesure est-elle issue ? | Empêche les décomptes bruts trompeurs |
| Timing | Lorsqu'il est collecté | Distèle l'apprentissage du transfert |
| Propriétaire | La personne nommée responsable | Il fait en sorte que cela se produise |
Exemple de travail (à titre illustratif, aucun résultat n'est affiché)
Imaginez un programme destiné à aider le personnel du service client à gérer les réclamations complexes. La solution : s’assurer de la préparation des agents avant qu’ils ne prennent en charge les réclamations complexes seuls.
| Résultat | Mesurer | Matériau | Dénominateur | Timing | Propriétaire |
|---|---|---|---|---|---|
| Les agents évaluent l'escalade en fonction des critères convenus. | Score selon la grille d'évaluation (de 0 à 2 par critère, sans erreur critique) pour un nouveau cas | Exercices de cas notés | Agents terminant le programme | Fin du programme, par rapport à une valeur de référence avant la formation | Responsable de la formation |
| Les agents appliquent les étapes de triage aux cas en direct | Score de la grille d'évaluation sur des exemples d'escalades réelles | Échantillon de contrôle qualité | Escalades échantillonnées par agent | Quatre à six semaines après les premières escalades en direct | Chef d'équipe |
| Les obstacles à l'application des étapes sont connus | Raisons catégorisées issues d'un bref suivi | Vérification de suivi de l'agent | Agents ayant géré une escalade | Même fenêtre de suivi | Responsable de la formation |
| Les résultats de l'escalade sont suivis dans leur contexte. | Taux de réouverture des dossiers, avec les variations concomitantes notées | Système de cas | Les escalades ont été clôturées au cours de la période | Trimestriellement, par rapport à la période précédente | analyste des opérations |
Remarquez ce qui est absent : aucune promesse d’amélioration en pourcentage, et aucune affirmation selon laquelle l’entraînement seul détermine le résultat final. Le plan vous engage à recueillir des données fiables, et non à obtenir un résultat précis.
Là où la diffusion interactive et adaptative convient
L'évaluation est facilitée lorsque l'apprentissage lui-même génère des données probantes. Les activités interactives, telles que les études de cas notées, les sondages sur des scénarios et les tests de connaissances rapides, fournissent des données par apprenant et par élément pendant la formation, et l'apprentissage adaptatif permet d'orienter les participants en fonction de leurs performances. Les formations mixtes, alternant sessions en direct et apprentissage à son propre rythme, permettent de réaliser un diagnostic à son propre moment, de s'exercer sur un cas en direct avec retour d'information et de compléter une révision asynchrone.
Ces fonctionnalités viennent étayer les éléments des lignes 1 et 2 de votre plan. Elles ne remplacent pas les lignes relatives aux transferts et aux résultats, qui dépendent des opérations sur le terrain. Avant de vous engager sur une conception, vérifiez les fonctionnalités de création et de reporting dont vous avez besoin à l'aide d'une démonstration et considérez tout outil externe ou intégration comme distinct du flux de travail principal jusqu'à ce que vous ayez constaté son fonctionnement.
Essayez-le avec votre propre programme
Remplissez le plan à six champs pour un programme que vous gérez actuellement, en commençant par la décision qu'il doit soutenir.
Pour découvrir comment les éléments de preuve d'apprentissage de votre plan pourraient être capturés lors d'une session en direct ou à votre propre rythme, explorez AhaSlides.
Foire aux questions
Que sont les indicateurs d'efficacité de la formation ?
Ce sont les indicateurs qui permettent d'évaluer si la formation a atteint son objectif. Un ensemble pertinent prend en compte l'acquisition des connaissances par rapport aux objectifs, le transfert des compétences au poste de travail et les résultats opérationnels replacés dans leur contexte, et non pas seulement la réussite de la formation et la satisfaction des participants.
Le taux d'achèvement est-il un indicateur utile ?
Cet outil est utile pour suivre la participation et repérer les problèmes d'accès. Il ne permet pas de démontrer l'acquisition ou la mise en pratique d'une compétence ; il est donc conseillé de le compléter par une évaluation et un suivi.
Combien de temps après l'entraînement dois-je mesurer le transfert de transfert ?
Prévoyez une durée suffisante pour que les apprenants aient une réelle opportunité de mettre en pratique leurs compétences. Une tâche quotidienne peut nécessiter quelques semaines, tandis qu'une tâche ponctuelle requiert davantage de temps. Définissez cette durée dans votre planning avant le début de la formation.
Dois-je prouver le retour sur investissement pour chaque cours ?
Non. Il faut adapter les données probantes à la décision. De nombreux programmes tirent profit de données probantes sur l'apprentissage et le transfert des connaissances, ainsi que de résultats opérationnels contextualisés. Il convient de réserver l'analyse causale aux programmes à enjeux élevés ou à coûts importants, lorsque leur conception le permet.
