L'aptitude à exercer en toute autonomie repose sur une évaluation basée sur plusieurs performances observées, et non sur une seule note. Un interne qui réussit bien sur un cas simulé et de façon inconstante sur un autre vous apporte certes des informations, mais pas suffisamment. Ce guide s'adresse aux directeurs de la formation médicale et aux responsables des programmes de résidence. Il aborde cinq points : la tâche observable évaluée, un cas représentatif et non familier, des critères observables assortis de points de repère, la méthode d'étalonnage des évaluateurs et l'interprétation des résultats. Il porte sur la conception de l'évaluation, et non sur des recommandations cliniques. L'autorisation d'exercer en toute autonomie relève des procédures internes de votre établissement, et un spécialiste de votre programme doit examiner le cas et la grille d'évaluation avant leur utilisation.
Ce que la recherche dit, et ne dit pas
Deux méthodes publiées méritent d'être connues. En 2005, ten Cate a proposé activités professionnelles confiables: unités de travail qu'un superviseur estime qu'un stagiaire peut effectuer sans supervision, en fonction des compétences observées. En 1997, Martin et ses collègues ont décrit Évaluation objective structurée des compétences techniques (OSATS), qui associe une liste de contrôle spécifique à la tâche à une échelle d'évaluation globale pour les résidents en chirurgie.
Ces deux documents expliquent comment structurer le jugement. Aucun ne prouve qu'un candidat est prêt, et aucun ne remplace la supervision d'un spécialiste. Utilisez-les pour définir vos critères, puis testez-les avec vos propres évaluateurs.
Faits rapides
| Questionne toi | Réponse courte |
|---|---|
| Que jugez-vous ? | Niveau de préparation, évalué à partir de multiples performances observées. |
| Quel est le score d'un simulateur ? | Un seul élément d'information. Cela ne constitue pas une autorisation d'exercer en toute indépendance. |
| Qu’est-ce qui rend les critères utilisables ? | Comportements observables avec des exemples de travail faible, en développement et compétent. |
| Qu'est-ce qui rend les scores fiables ? | Les évaluateurs attribuent des notes indépendamment, puis comparent les preuves. |
| Quels points devez-vous éviter de marquer ? | Confiance ou vitesse seules. |
| Qu'est-ce qu'elle ne peut pas décider ? | L'autorisation relève de la procédure propre à votre établissement. |
1. Définir la performance évaluée
Décrivez la tâche observable : évaluer l’aptitude à partir de plusieurs performances observées. Précisez le rôle, le contexte et les limites de l’autorisation avant d’attribuer une note. La notion de « compétence autonome » peut varier d’un interne à l’autre selon la procédure, le contexte et le niveau de supervision. Indiquez ce que l’interne doit faire, avec qui et ce qui se passe s’il est jugé apte. Consultez notre guide. faire correspondre les activités d'apprentissage à la taxonomie de Bloom vous aide à distinguer les tâches qui nécessitent une analyse de celles qui nécessitent un jugement.
2. Choisissez une tâche représentative et inhabituelle
Choisissez un cas que le candidat n'a pas encore préparé, par exemple une deuxième simulation qui diffère de la première comme le font les cas réels. Expliquez comment elle reflète le travail réel et ce qu'elle ne permet pas d'établir. Un seul cas inconnu peut montrer si les compétences sont transférables, mais il ne peut pas couvrir toutes les variations, toutes les équipes ni toutes les complications. C'est pourquoi une décision repose sur plusieurs performances observées, réparties sur différents cas et dans le temps, et non sur une seule.
3. Écrire des critères et des points d'ancrage observables
Élaborez des critères basés sur deux éléments : la cohérence des performances d’un cas à l’autre et la concordance entre les évaluateurs. Décrivez la signification comportementale de chaque score. Pour un critère, vous pourriez décrire :
- Faible (0). Nécessite des relances répétées, oublie une étape ou ne peut expliquer un choix.
- Développement (1). La tâche est accomplie avec des omissions ou une qualité inégale selon les cas.
- Compétent (2). Il accomplit la tâche, explique les choix et gère une variante dans le cas étudié.
Évitez les évaluations basées uniquement sur la confiance ou la rapidité. Une personne confiante peut se tromper, et une personne lente peut être prudente. Ces deux caractéristiques peuvent être prises en compte en complément de l'évaluation, mais ne doivent pas remplacer les preuves du travail accompli. Utilisez la structure décrite par Martin et ses collègues, à savoir une liste de contrôle spécifique à la tâche en plus d'une évaluation globale, si cela aide vos évaluateurs à distinguer les étapes de la qualité globale.
4. Calibrer les évaluateurs et mener un projet pilote
L'étalonnage est l'étape où les scores deviennent comparables :
- Évaluer indépendamment. Demandez à deux évaluateurs ou plus d'évaluer le même exemple enregistré ou observé sans parler.
- Comparez les preuves. Demandez à chacun d'expliquer ce qui, selon lui, a motivé sa note. Les désaccords proviennent généralement d'un critère ambigu.
- Revoir le critère. Reformulez le texte ou ajoutez un exemple, puis évaluez un nouvel exemple.
- Pilote au sein d'un petit groupe. Faites passer l'évaluation à quelques collègues avant de l'utiliser pour prendre des décisions, et vérifiez si les évaluateurs sont toujours en désaccord.
Décrivez le rôle de supervision par des spécialistes : qui examine les résultats limites et qui est responsable de la décision finale ?
Un cas traité avec retour d'information et nouvelle tentative
À titre d'exemple. Le responsable du programme de résidence et un chirurgien spécialiste doivent valider le cas et les critères de réponse avant utilisation.
L'affaire. Un candidat obtient de bons résultats sur un cas simulé, mais des résultats incohérents sur un autre.
La tâche. Préparation du juge. Expliquez votre décision, citez les preuves et indiquez les informations complémentaires dont vous avez besoin.
Une première tentative. « Le candidat a obtenu un excellent score lors de la première évaluation, il est donc prêt. » Un examinateur demande ce qui s'est passé lors de la seconde évaluation, sur combien de prestations repose le jugement et si les deux évaluateurs étaient d'accord. L'apprenant reste sans voix.
Commentaires et nouvelle tentative. L'évaluateur constate qu'une note élevée a été considérée comme définitive et que l'incohérence a été ignorée. L'apprenant est invité à reconsidérer sa décision.
Une tentative plus convaincante. L'apprenant indique que deux cas ne suffisent pas, relève l'incohérence du second cas et demande en quoi il différait. Il propose une évaluation supplémentaire sur un troisième cas inconnu, l'intervention d'un second évaluateur indépendant et une préparation ciblée sur l'étape problématique. Il précise qu'il ne souhaite pas encore se prononcer sur l'aptitude de l'apprenant et qu'il lui manque encore : les observations des évaluateurs, le processus de supervision et la définition de la pratique indépendante dans le programme.
Pourquoi chaque réponse est défendable ou incomplète. L'évaluation doit se fonder sur des critères approuvés, et non sur les préférences de l'évaluateur. La première tentative considère une seule note comme une autorisation, ce qui constitue une erreur fondamentale. La seconde analyse plusieurs performances, distingue les preuves des interprétations et précise les limites de la décision.
5. Utiliser les résultats pour le suivi
Choisissez l'étape suivante à partir de l'intervalle observé :
- Préparation ciblée lorsqu'un concept ou une étape manquait.
- Pratique interactive lorsque le talent est présent mais irrégulier.
- coaching supervisé lorsque le collaborateur a besoin de retours d'information dans le cadre de son travail.
Prévoir une réévaluation et préciser ce que le résultat ne peut pas faire : un jugement de préparation décrit la performance sur les cas observés, avec les évaluateurs impliqués, à un moment donné.
| Critère | 0 : absent ou non pris en charge | 1 : partiel, avec omissions | 2 : complet et justifié |
|---|---|---|---|
| Exécution des tâches | Préparation des juges selon une note. | Utilise plusieurs scores sans les comparer. | Les juges se basent sur plusieurs performances observées et enregistrent les preuves. |
| Raisonnement | Ne donne aucune raison. | Donne une explication sans nommer l'incohérence. | Explique les alternatives, les contraintes et l'incertitude. |
| Frontières | Considère un score comme une autorisation. | Limites de notes sans plan. | Utilise la procédure approuvée et sollicite l'avis de spécialistes lorsque les preuves sont insuffisantes. |
Cette grille d'évaluation est un point de départ proposé, et non une norme de préparation validée. Définissez les erreurs critiques séparément ; par exemple, un score obtenu sur simulateur peut suffire à autoriser la pratique autonome. Un score global ne doit jamais masquer une défaillance critique.
Pour vérifier le processus, comparez les tâches initiales et les tâches de suivi non observées. Mesurez la cohérence des performances et la concordance entre les évaluateurs. Définissez la population cible, le dénominateur et le calendrier avant de commencer, et surveillez les changements concomitants, tels qu'une nouvelle composition des cas ou un changement d'évaluateurs, avant de valider la formation.
Là où la livraison interactive est utile
Les formats interactifs facilitent l'étape d'étalonnage. Lors d'une session en direct, vous pouvez présenter un exemple et demander à chaque évaluateur de soumettre une note individuellement, puis afficher la répartition des résultats avant d'en discuter. Le format d'apprentissage individualisé convient à la révision des critères et à la vérification des prérequis en amont. AhaSlides, une plateforme d'engagement tout-en-un pour les équipes et les salles de classe, prend en charge l'apprentissage interactif et propose des formations en direct et à rythme libre. Avant de l'utiliser, vérifiez comment intégrer l'étalonnage à votre flux de travail.
Ce qu'une évaluation des compétences ne peut pas résoudre
- Une définition vague de l'indépendance. Sans cela, les scores sont incomparables.
- Trop peu d'observations. Un ou deux cas ne peuvent pas démontrer la cohérence.
- Des évaluateurs qui ne s'étalonnent jamais. L'accord ne se présente pas de lui-même.
- Limites des preuves. Les deux sources ci-dessus décrivent des méthodes, et non des résultats pour vos collègues.
Foire aux questions
Qu’est-ce que l’évaluation des compétences chirurgicales ?
Évaluer, à partir des performances observées par rapport à des critères définis, si un stagiaire est capable d'effectuer une tâche chirurgicale définie selon les normes requises par votre programme.
Un seul score sur simulateur suffit-il pour déterminer le niveau de préparation ?
Non. Il ne s'agit que d'une donnée parmi d'autres. La décision relative à l'état de préparation repose sur plusieurs performances observées et sur la procédure approuvée par votre établissement.
Qu'est-ce que l'OSATS ?
L'évaluation objective structurée des compétences techniques est une méthode qui combine une liste de contrôle spécifique à la tâche avec une échelle d'évaluation globale.
Comment vérifie-t-on que les évaluateurs sont d'accord ?
Demandez-leur d'évaluer le même exemple indépendamment, de comparer leurs évaluations et de revoir tout critère sur lequel ils divergent.
Qui devrait examiner le dossier et la grille d'évaluation ?
Un chirurgien spécialiste et le responsable du programme de résidence, avant toute évaluation.
Par où commencer
Choisissez une procédure et décrivez la tâche observable. Sélectionnez deux cas non familiers, demandez à deux évaluateurs de les noter indépendamment, puis comparez leurs évaluations. Revoyez les critères en cas de désaccord, puis effectuez un test auprès de quelques collègues avant d'utiliser les scores pour toute décision.
Pour découvrir comment une session d'étalonnage peut se dérouler en direct ou à votre rythme, explorez AhaSlides.








