Grille d'évaluation des performances : comment évaluer le jugement et la résolution de problèmes en formation

Deux formateurs visionnent le même enregistrement d'une nouvelle responsable d'équipe devant décider de transmettre ou non une réclamation client. Le premier lui attribue la note maximale : elle est restée calme et a fait un choix judicieux. Le second lui donne une note moyenne : elle n'a jamais justifié son choix ni expliqué ce qu'elle ignorait. Les deux formateurs sont expérimentés. Ils ont tous deux utilisé le même formulaire. Aucun n'a tort, et c'est là le problème : le formulaire ne leur indiquait pas les critères d'évaluation.

Il s'agit d'un exemple, et non d'un cas client réel. Il illustre pourquoi le jugement et la résolution de problèmes sont difficiles à évaluer : les preuves résident dans le raisonnement, et il est facile d'évaluer différemment un raisonnement.

Ce guide s'adresse aux concepteurs pédagogiques, aux responsables de formation et aux directeurs de la formation et du développement qui ont besoin d'une grille d'évaluation des performances justifiable. Il détaille cinq étapes : définir les preuves, rédiger les critères observables, décrire les indicateurs de performance, étalonner les évaluateurs et tester la grille. Il se conclut par un exemple concret et l'évocation des limites de son utilisation.

Qu'est-ce qu'une grille d'évaluation des performances ?

Une grille d'évaluation des performances est un guide de notation pour une tâche où l'apprenant réalise une action plutôt que de se contenter de restituer des informations. Elle énumère les critères pertinents, décrit le niveau de notation correspondant et fournit aux évaluateurs une base commune pour leur prise de décision. Dans le cadre d'évaluations de jugement et de résolution de problèmes, la tâche prend généralement la forme d'une étude de cas : l'apprenant décide de la marche à suivre, justifie sa décision et indique les informations complémentaires nécessaires.

Une grille d'évaluation n'est pas un test de connaissances. Un questionnaire de rappel permet de vérifier qu'une personne connaît les règles. Une grille d'évaluation, quant à elle, permet d'évaluer sa capacité à appliquer ces règles dans des situations complexes.

Faits rapides

1. Définir les preuves de performance

Commencez par la tâche, et non par la forme. Décrivez la situation à laquelle l'apprenant sera confronté, la décision qu'il devra prendre et ce qu'une prestation réussie révélera. Précisez le contexte et les limites : de quel pouvoir dispose l'apprenant, quelles informations lui sont fournies et qu'est-ce qui est volontairement omis ?

Un test utile consiste à se demander ce qu'un observateur pourrait souligner. On ne peut pas juger « fait preuve de bon jugement ». En revanche, on peut juger « indique la procédure applicable, cite un fait manquant et précise à qui on s'adresserait ».

Si vous ne pouvez pas décrire les éléments de preuve en phrases claires, la tâche n'est pas prête à être évaluée. Commencez par corriger la tâche. Une tâche vague engendre une grille d'évaluation vague, aussi soignée soit-elle.

2. Écrire les critères observables

Choisissez un petit nombre de critères correspondant à l'objectif d'apprentissage. Pour le jugement et la résolution de problèmes, trois critères sont particulièrement efficaces dans de nombreux contextes :

• Exécution de la tâche. L'apprenant prend une décision relevant de ses compétences et consigne son choix ainsi que les éléments qui le justifient.
• Raisonnement. L'apprenant explique les contraintes, les alternatives et ce qui reste incertain.
• Limites. L'apprenant utilise les procédures approuvées et demande de l'aide lorsque des informations ou une autorité font défaut.

Décrivez chaque critère comme un élément visible dans une décision, une explication ou un résultat. Évitez les termes qui désignent une caractéristique, tels que « solide », « mûr » ou « bon ». Deux évaluateurs pourraient les interpréter différemment.

Limitez le nombre de critères. Chaque critère supplémentaire augmente les risques de désaccord entre les évaluateurs et incite les apprenants à privilégier la note à la réflexion. Si un critère n'influence pas votre interprétation du résultat, supprimez-le.

3. Décrire les points d'ancrage de la performance

Un référentiel est une brève description de ce à quoi correspond un niveau de score. Sans référentiel, un score de 1 ou 2 signifie ce que l'évaluateur veut bien lui donner.

Une simple échelle à trois niveaux suffit souvent pour une première version :

Pour chaque critère, ajoutez un court exemple illustrant ce que signifient les réponses 0, 1 et 2 dans votre tâche. Utilisez, si possible, des formulations issues de vos exercices d'entraînement. Les ancrages trop abstraits ont tendance à se réduire à des adjectifs vagues.

Traiter les erreurs critiques séparément. Certaines erreurs ne doivent pas être minimisées. Par exemple, outrepasser ses prérogatives, ignorer une mesure de sécurité ou dépasser une limite de conformité. Il convient de les mentionner séparément des critères d'évaluation et d'indiquer la conséquence : une erreur critique est consignée et fait l'objet d'un suivi, quel que soit le résultat. Autrement, un apprenant pourrait obtenir une bonne note en raisonnement et en respect des limites tout en commettant un acte inacceptable au travail.

4. Calibrer les évaluateurs à l'aide d'exemples

Une grille d'évaluation ne s'auto-évalue pas. Les évaluateurs doivent encore l'interpréter ; il est donc important de la calibrer avant d'évaluer un groupe d'étudiants.

1. Choisissez deux ou trois exemples de réponses de qualité différente. Les réponses issues d'un projet pilote sont idéales.
2. Que chaque évaluateur les note indépendamment, avant toute discussion.
3. Comparez les scores et, plus important encore, les preuves citées par chaque personne.
4. En cas de différences de scores, identifiez la formulation qui en est la cause et modifiez le critère ou le point d'ancrage.
5. Répétez l'opération avec un nouvel exemple jusqu'à ce que les évaluateurs attribuent la même note pour les mêmes raisons.

L'objectif est une interprétation commune des critères, et non un consensus pour le simple plaisir de les respecter. Si deux évaluateurs attribuent la même note pour des raisons différentes, la grille d'évaluation reste ambiguë.

Que disent les recherches ? Les résultats sont mitigés ; il faut donc s’attendre à des divergences et les mesurer. Dans une étude de 2022 portant sur des examens cliniques enregistrés sur vidéo et publiée dans le Fujita Medical Journal, deux évaluateurs ont noté quarante vidéos. Pour les dix premières, ils ont procédé à une évaluation sans modération, puis, pour les suivantes, ils ont discuté de leur évaluation en fonction des critères de la grille d’évaluation. Le degré de concordance, mesuré par le coefficient kappa pondéré, est passé de 0.49 pour les dix premières vidéos à 0.82 pour les dix dernières (Watari et ses collègues, 2022Il s'agissait d'une petite étude portant sur une seule tâche d'examen ; il faut donc la considérer comme un signe que la modération peut être utile, et non comme une promesse.

La formation seule ne constitue pas non plus une garantie. Une étude randomisée de 2014 portant sur 21 évaluateurs et 242 étudiants en médecine a révélé qu'une brève séance de formation sur un cadre de référence n'améliorait pas de manière mesurable la précision des évaluateurs individuels, même si ces derniers attribuaient des scores plus rigoureux et plus proches de ceux d'un panel de référence. Les auteurs ont conclu que l'évaluation des performances est hautement individuelle (Weitz et ses collègues, 2014La lecture pratique consiste à poursuivre l'étalonnage sur des exemples réels, à vérifier la concordance au fur et à mesure de la notation et à ne pas supposer qu'une seule séance d'information soit suffisante.

5. Tester et réviser la rubrique

Avant d'utiliser cette grille d'évaluation pour des décisions importantes, testez-la.

• Mettez-le en œuvre avec un petit groupe d'apprenants et deux évaluateurs ou plus.
• Consignez les points de désaccord entre les évaluateurs et demandez à chacun d'expliquer sa note.
• Vérifiez que les critères permettent de distinguer les réponses pertinentes des réponses faibles. Si tous les apprenants obtiennent la note de 2, la tâche ou les points de référence sont trop faciles.
• Demandez aux apprenants ce que la grille d'évaluation a mis en évidence et ce qui les a perturbés.
• Réviser, puis tester à nouveau avec un nouveau cas.

Soyez honnête quant aux résultats du projet pilote. Une grille d'évaluation non validée est une ébauche. Elle ne constitue pas une norme de certification universelle et ne doit pas servir à prendre des décisions importantes concernant des personnes tant qu'un professionnel compétent ne l'a pas examinée et que vous n'avez pas la preuve de son efficacité auprès de votre population.

Un exemple concret : une décision d’escalade

À titre d'exemple, un professionnel qui effectue ce type de travail doit valider le cas et les critères de réponse avant toute utilisation.

L'affaire. Un client signale un retard de commande et demande un remboursement intégral. L'agent peut accorder un avoir jusqu'à un certain montant sans accord préalable. Le remboursement est supérieur à ce montant. Le responsable est indisponible pendant deux heures. Les notes indiquent quatre commandes cette année.

Ce que fait l'apprenant. Choisissez une réponse, expliquez votre décision, citez les preuves et indiquez les informations ou le soutien supplémentaires dont ils auraient besoin.

La réponse a obtenu la note de 1 en raisonnement. « Je proposerais le remboursement car le client est mécontent. » La décision est énoncée, mais sans preuve, sans mention de la limite ni indication de ce qui manque.

La réponse a obtenu la note de 2 en raisonnement. « Je ne peux pas rembourser au-delà de ma limite sans accord préalable. Les notes indiquent quatre commandes cette année, ce client est donc important, mais je n'ai pas encore pu localiser le colis. Je propose un avoir dans la limite de ma limite, j'informe le client de la date de réponse du responsable et je demande au transporteur une mise à jour du suivi afin d'accélérer le traitement de sa demande. »

Une erreur critique. Le fait d'effectuer un remboursement sans autorisation est considéré comme une erreur critique, quels que soient les autres scores, car cela dépasse les pouvoirs de l'agent.

Remarquez ce qu'ont fait les personnes chargées de l'analyse. Les deux évaluateurs de la phase d'ouverture examineraient désormais les mêmes éléments : la décision, les preuves citées, l'incertitude exprimée et les limites de l'affaire.

Là où la livraison interactive est utile

Les formats interactifs facilitent la pratique et l'étalonnage, car chaque participant s'engage sur une réponse avant de voir celle du groupe. Lors d'une session en direct, un animateur peut présenter un exemple de réponse, demander à chaque évaluateur de la noter individuellement, puis révéler la répartition des réponses avant la discussion. Ces mêmes cas peuvent être utilisés en autoformation pour la préparation. AhaSlides prend en charge l'apprentissage interactif et permet d'alterner facilement entre les sessions en direct et les sessions en autoformation. Vérifiez la compatibilité de toute fonction de création, de retour d'information ou de reporting que vous prévoyez d'utiliser avec votre propre flux de travail et considérez les fonctionnalités d'IA, de simulation et d'intégration comme externes ou non validées tant que vous n'avez pas constaté leur fonctionnement. Pour obtenir des conseils sur le choix des formats, consultez Quand utiliser l'apprentissage adaptatif, interactif et en directPour adapter les activités au niveau de réflexion que vous souhaitez évaluer, consultez notre guide. Faire correspondre les activités d'apprentissage à la taxonomie de Bloom.

Mesurez ce qui a changé

Déterminez à l'avance les éléments de preuve qui démontreront que les apprenants sont capables d'accomplir la tâche. Comparez leurs performances sur un cas nouveau et inédit à une situation de référence, et évaluez la qualité du raisonnement ainsi que la prise de décision. Définissez les critères d'inclusion, le dénominateur et le calendrier. Si les scores s'améliorent, vérifiez les autres changements intervenus durant la même période, tels qu'un nouvel outil ou une modification de la nature des tâches, avant de prendre en compte la formation.

Des contraintes qui pourraient subsister

Même une grille d'évaluation bien conçue ne résout pas tout :

• Temps de l'évaluateur. L'étalonnage et le pilotage prennent du temps et doivent être planifiés.
• L'autorité dans le vrai travail. Un apprenant peut raisonner de manière convaincante lors de l'exercice et pourtant ne pas avoir l'autorité nécessaire pour agir de la même façon au travail.
• Couverture du dossier. Un cas illustre une décision. Une note isolée ne reflète pas le jugement général d'une personne.
• Transfert. Les performances en milieu sécurisé diffèrent des performances en situation professionnelle. Vérifier le transfert après une exposition appropriée.

Prévoyez des solutions spécifiques pour ces points et informez-en les commanditaires. Une grille d'évaluation rend l'évaluation plus claire et plus équitable. Elle ne transforme pas une note en garantie.

Foire aux questions

Quelle est la différence entre une grille d'évaluation et une liste de contrôle ?

Une liste de contrôle permet de vérifier si une tâche a été effectuée. Une grille d'évaluation décrit le niveau de qualité de l'exécution, à différents degrés ; elle convient donc aux tâches nécessitant un jugement et des explications.

Combien de critères une grille d'évaluation doit-elle comporter ?

Peu d'éléments, généralement trois à cinq. Choisissez ceux qui correspondent à l'objectif d'apprentissage et éliminez ceux qui ne changeraient rien à l'utilisation que vous ferez du résultat.

Une grille d'évaluation peut-elle éliminer les désaccords entre évaluateurs ?

Non. Cela peut l'atténuer, notamment grâce à des points d'ancrage et à un étalonnage sur des exemples concrets, mais il convient tout de même de vérifier la concordance lors de la notation et de corriger les formulations ambiguës.

Devrais-je utiliser une grille d'évaluation pour les décisions à forts enjeux ?

Ce n'est qu'après une phase pilote et une évaluation par un professionnel compétent que vous pourrez considérer une nouvelle grille d'évaluation comme une ébauche, tant que vous n'aurez pas la preuve de son efficacité pour vos apprenants et votre tâche.

Par où commencer

Choisissez une décision que vos apprenants doivent prendre avec succès. Décrivez les éléments qui témoigneraient d'une performance compétente, sélectionnez trois critères, attribuez une note de 0 à 2 à chacun et listez les erreurs critiques. Ensuite, demandez à deux évaluateurs d'évaluer indépendamment le même exemple, de comparer leurs évaluations et de corriger la formulation avant de procéder à la notation.

Pour voir comment une étude de cas pourrait être mise en œuvre en direct avec votre propre équipe, et être réutilisée à votre propre rythme par la suite, explorez AhaSlides.