Un analyste ouvre un résumé de contrat fournisseur, généré en quelques secondes par un assistant IA. Le texte est clair et concis. Il mentionne une clause de résiliation et des modalités de paiement, et se veut convaincant. Auparavant, l'analyste consacrait une matinée entière à la lecture du contrat pour trouver ces informations. Désormais, la question est différente : ce résumé est-il correct ? Et que doit-il vérifier avant de signer ?
Il s'agit d'un exemple, et non d'un cas client documenté. Il illustre les changements qui s'opèrent dans de nombreux métiers. On obtient une réponse plus rapidement. Toutefois, il incombe toujours à la personne concernée de décider si la réponse est fiable et, le cas échéant, de déterminer les responsabilités.
Ce guide s'adresse aux responsables de la formation et du développement ainsi qu'aux concepteurs pédagogiques chargés de la formation des employés à l'IA. Il explique comment identifier les tâches où l'IA modifie le travail humain, comment structurer les pratiques en tenant compte des résultats parfois erronés et comment mesurer une utilisation responsable sans promettre de gains de productivité.
Faits rapides
| Questionne toi | Réponse courte |
|---|---|
| Qu’est-ce qui change lorsque les gens utilisent l’IA au travail ? | Rédiger une première ébauche ou une réponse devient plus facile. La vérifier, l'évaluer et en assumer la responsabilité restent des étapes essentielles. |
| Que devrait enseigner la formation en IA ? | Les vérifications et les jugements nécessaires à une tâche, ainsi que les connaissances du domaine requises pour l'accomplir. |
| Des instructions à elles seules peuvent-elles corriger un excès de confiance ? | Non. Les recherches sur le biais d'automatisation ont montré qu'il se manifestait aussi bien chez les novices que chez les experts et qu'il n'était pas empêché par la seule formation ou les instructions. |
| Que mesurer ? | Vérification observée sur des tâches réelles, avec des limites approuvées pour l'utilisation de l'IA. |
1. Cartographier comment l'IA modifie les tâches professionnelles
Commencez par une tâche concrète, et non par un outil. Décrivez-la telle qu'elle était réalisée avant l'IA et telle qu'elle est réalisée aujourd'hui, puis comparez les deux colonnes une par une.
Prenons l'exemple du contrat :
- Avant: Lire le contrat dans son intégralité, extraire les clauses essentielles, signaler tout élément inhabituel, rédiger le résumé.
- Maintenant: Examiner le résumé généré par l'IA, le comparer à la source, décider s'il convient de s'y fier, signaler toute anomalie, assumer la responsabilité du résultat.
Certaines étapes se simplifient. L'extraction de termes peut prendre quelques secondes. D'autres apparaissent ou se développent : vérifier la concordance entre le résultat et la source, identifier les omissions du résumé et décider quand consulter un spécialiste. La compétence requise passe de la production à l'évaluation. Selon la taxonomie de Bloom, qui décrit le raisonnement qu'une tâche implique et non sa mise en œuvre, l'accent est mis sur l'analyse et l'évaluation. Notre guide… Faire correspondre les activités d'apprentissage à la taxonomie de Bloom explique comment aligner l'objectif, l'activité et l'évaluation une fois le niveau connu.
Cette comparaison est essentielle à une analyse objective des besoins de formation en IA. Elle permet également d'éviter une erreur fréquente : former tout le monde à un outil alors que le véritable changement réside dans une nouvelle fonction de contrôle.
2. Identifier les exigences de vérification et de jugement
Posez trois questions sur chaque étape de la colonne « maintenant ».
- À quoi ressemblerait un résultat incorrect dans ce cas ? Une clause fabriquée de toutes pièces, une exception oubliée, un chiffre plausible mais obsolète.
- Quels éléments me permettraient de le vérifier ? Le document source, un deuxième système, un collègue, une politique.
- Quand dois-je m'arrêter et demander à quelqu'un d'autre ? La frontière entre « Je peux le vérifier » et « Cela nécessite l'avis d'un expert ».
Depuis des décennies, les chercheurs étudient les conséquences de l'utilisation d'outils automatisés imparfaits. L'analyse de ces recherches par Parasuraman et Manzey décrit le biais d'automatisation, un phénomène où les individus commettent des erreurs d'omission et de commission en raison d'une dépendance à un outil d'aide à la décision qui n'est pas toujours fiable. Cette étude a mis en évidence cet effet chez les participants novices comme chez les experts et a conclu qu'il était impossible de le prévenir par la seule formation ou les instructions.Parasuraman et Manzey, 2010, Facteurs humainsCes recherches sont antérieures aux assistants IA actuels ; il faut donc les considérer comme une mise en garde concernant le comportement humain, et non comme une évaluation des outils actuels.
La leçon pratique à tirer de la formation à l'IA pour les employés est que leur demander de « vérifier le résultat » n'est pas une approche efficace. Les conditions de travail sont tout aussi importantes : le temps nécessaire à la vérification, l'accès à la source et un environnement professionnel qui ne les pénalise pas s'ils prennent leur temps.
3. Développer des pratiques adaptées aux résultats peu fiables
Si la tâche consiste désormais à évaluer un résultat, entraînez-vous à évaluer des résultats. Constituez un petit ensemble de cas où la réponse de l'IA est :
- Correct et complet. La bonne solution consiste à l'accepter et à expliquer pourquoi.
- Incomplet. C'est vrai dans une certaine mesure, mais cela omet un élément important.
- Trompeur. Assuré, bien écrit, et erroné d'une manière facile à manquer.
Chaque apprenant reçoit un cas, une source de vérification et la possibilité d'accepter, de corriger ou de contester. Il doit également justifier sa réponse. L'évaluation doit porter sur les raisons de l'accord ou de la contestation, et non sur la seule confiance. Un apprenant qui accepte la bonne réponse sans vérification n'a pas démontré la compétence requise, de même qu'un apprenant qui conteste systématiquement.
Les formats interactifs s'y prêtent parfaitement. Chaque participant s'engage sur une décision et une justification avant la discussion de groupe, ce qui permet de déceler les excès de confiance et de prudence. La présentation à son propre rythme couvre la première phase, et un débriefing en direct traite les cas ambigus où deux interprétations sont possibles. AhaSlides favorise l'apprentissage interactif et l'alternance entre présentation en direct et présentation à son propre rythme, permettant ainsi d'utiliser une même étude de cas de deux manières. Avant de l'intégrer à votre flux de travail, vérifiez que chaque fonction de création, de retour d'information ou de reporting correspond bien à vos besoins.
4. Préserver les connaissances préalables
On ne peut évaluer un résultat que l'on ne comprend pas. Une personne qui n'a jamais étudié les liens entre les conditions de paiement et les droits de résiliation ne remarquera pas les erreurs dans un récapitulatif. L'accès à l'IA ne supprime pas la nécessité de cette compréhension ; il en modifie simplement le domaine d'utilisation.
Déterminez les connaissances du domaine dont dépend chaque tâche de vérification et vérifiez-les avant la pratique, à l'aide d'un court diagnostic à votre propre rythme. Un contrôle de rappel comme celui-ci confirme uniquement les prérequis. Il ne prouve pas que n'importe qui peut vérifier un résultat. Le Eberly Center de Carnegie Mellon souligne ce même point de conception de manière plus générale : les évaluations, les objectifs et les activités pédagogiques doivent être cohérents, et lorsqu'une évaluation mesure le rappel mais que les objectifs exigent une analyse, elle ne mesure pas ce que les apprenants étaient censés apprendre, et ce décalage peut nuire à la motivation et à l'apprentissage.Centre Eberly, harmonisation des objectifs, des évaluations et de l'enseignement).
5. Mesurer l'utilisation responsable sur des tâches réelles
Choisissez une tâche de vérification que les gens effectuent réellement et définissez les limites approuvées pour l'utilisation de l'IA avant de procéder aux mesures : ce qui peut être délégué à l'outil, ce qui doit être vérifié et ce qui doit être signalé.
Les Centres américains de contrôle et de prévention des maladies (CDC) font la distinction entre l'évaluation de l'apprentissage et l'évaluation de la manière dont les individus l'appliquent au travail, et recommandent de planifier les deux (CDC, évaluer la formation : mesurer l'efficacitéIl s'agit d'un guide d'évaluation, et non d'une prévision des résultats. Pour les tâches d'IA, cela implique deux mesures :
- Apprentissage: performances sur un nouvel ensemble de cas inédits, comparées à une référence.
- Transfert: une tâche de travail supervisée ou un exemple de travail réel, évalué selon la même grille d'évaluation après que les personnes aient eu le temps de mettre en pratique ce qu'elles ont appris.
Définissez les critères d'inclusion, le dénominateur et le calendrier. Ne communiquez l'efficacité que sur la base de données mesurables. Si une équipe gagne en rapidité après une formation à l'IA, vérifiez les autres changements survenus durant la même période (nouveau modèle, modification de l'effectif, répartition différente des tâches, etc.) avant d'attribuer l'efficacité à la formation.
Pour une vision plus large des risques, l'Institut national des normes et de la technologie publie le Cadre de gestion des risques liés à l'IACe document, publié en janvier 2023, sert de point de départ à la réflexion sur les risques liés à l'IA au sein des organisations. Il ne constitue ni une norme de formation ni une certification.
Un exemple concret : le résumé du contrat
À titre d'exemple, un professionnel qui effectue ce type de travail doit valider le cas et les critères de réponse avant toute utilisation.
L'affaire. L'apprenant reçoit un contrat fournisseur fictif et un résumé généré par une IA. Ce résumé mentionne un préavis de résiliation de 60 jours. Le contrat prévoit un préavis de 60 jours pour une résiliation sans motif et de 30 jours en cas de manquement. Le résumé omet également une exception relative aux conditions de paiement, figurant en annexe.
Ce que l'apprenant est invité à faire. Expliquez la décision (accepter, corriger ou faire remonter le problème), citez les éléments de preuve tirés du contrat et indiquez de quelles informations ou de quel soutien supplémentaires ils auraient besoin.
Une réponse faible. « Le résumé semble exact et couvre les points principaux. Accepter. » Il ne cite aucune source et ne comporte aucune vérification.
Une réponse plus forte. « Je ne l'accepterais pas en l'état. La clause 14 prévoit un délai de 60 jours pour la résiliation sans motif, mais de 30 jours en cas de manquement contractuel, or le résumé ne mentionne que 60 jours. L'annexe B comporte une exception de paiement qui n'est pas mentionnée dans le résumé. Je corrigerais la clause de résiliation et ajouterais cette exception. Je ne suis pas certain que l'annexe s'applique à ce fournisseur ; je consulterais donc le responsable des contrats. »
La nouvelle tentative. L'apprenant reçoit un second contrat où le résumé de l'IA est correct. La bonne démarche consiste alors à accepter le contrat et à indiquer les éléments vérifiés. Cela permet d'éviter de développer une méfiance systématique.
Feuille de calcul pour l'analyse des tâches d'IA
Utilisez une ligne par étape dans la colonne « maintenant » pour une tâche réelle.
| Étape de la tâche | Que fait l'IA maintenant ? | Ce que la personne doit encore faire | Des preuves sont nécessaires pour le vérifier. | Passer à | Connaissances préalables requises |
|---|---|---|---|---|---|
| Extraire les termes clés | Ébauche la liste | Comparer avec la source | Le contrat lui-même | Les contrats mènent | Structure du contrat et types de clauses |
| Signaler les termes inhabituels | Propose des candidats | Déterminez ce qui est inhabituel dans ce contexte. | Contrats antérieurs, police d'assurance | Informations légales | Conditions générales pour ce type de fournisseur |
| Valider le résumé | le Rien | Assumez le résultat | Résumé vérifié | Gestionnaire de ligne | Limites d'approbation |
Une grille d'évaluation que vous pouvez adapter
Attribuez à chaque critère une note de 0 à 2. Il s'agit d'une proposition d'adaptation avec un spécialiste du rôle, et non d'une norme de préparation validée.
| Critère | Preuves observables |
|---|---|
| Exécution des tâches | Identifie les modifications apportées par l'IA à la tâche de vérification et de jugement. Enregistre l'action et les preuves qui la sous-tendent. |
| Raisonnement | Ce document explique les contraintes, les alternatives et l'incertitude. Les raisons d'accepter ou de contester un résultat sont liées à sa source. |
| Frontières | Utilise les procédures approuvées pour l'utilisation de l'IA et demande de l'aide lorsque les informations ou l'autorité sont insuffisantes. |
Ancres: 0 = absent ou non justifié. 1 = partiel, avec des omissions pertinentes. 2 = complet et justifié selon les critères convenus. Définissez les erreurs critiques séparément, par exemple la validation d'un résultat qui contredit la source ou le partage de données confidentielles avec un outil non autorisé. Un score total ne doit pas masquer une défaillance critique.
Des contraintes qui pourraient subsister
Un meilleur jugement dans un cas de formation ne supprime pas toutes les contraintes :
- Pression du temps. Si les objectifs de volume ne laissent aucune place à la vérification, les gens ne vérifieront pas ce qu'on leur a enseigné.
- Responsabilité floue. Si personne n'est désigné comme propriétaire d'un résultat vérifié, la vérification n'incombe à personne.
- Limites des outils. Certains outils ne permettent pas de voir la source d'une réponse, ce qui ralentit la vérification.
- Changer d'outils. Un système d'IA qui modifie son comportement après une mise à jour peut rompre une habitude de vérification que vous avez prise le trimestre dernier.
Prévoyez des solutions spécifiques pour ces problèmes et informez-en vos sponsors. La formation permet d'acquérir des compétences, mais elle ne peut pas créer le temps ni l'autorité nécessaires.
Foire aux questions
Que devrait couvrir la formation en IA pour les employés ?
Commencez par aborder les tâches que l'IA modifie dans son rôle. Expliquez comment vérifier les résultats par rapport aux preuves, quand il est nécessaire de faire remonter l'information, les limites approuvées pour l'utilisation de l'IA et les connaissances du domaine requises pour évaluer une réponse. Les infobulles viennent ensuite.
L'IA supprime-t-elle le besoin de connaissances du domaine ?
Non. Il faut que les gens comprennent suffisamment bien le processus pour remarquer lorsqu'un résultat est erroné ou incomplet. Ce qui change, c'est la manière dont ce savoir est utilisé : moins de production, plus d'évaluation.
Comment évaluer le jugement humain dans le travail assisté par l'IA ?
Proposez aux apprenants des cas réalistes comportant des résultats corrects, incomplets et trompeurs, et évaluez leurs justifications quant à l'acceptation, la correction ou la remontée d'information. Observez ensuite, sous supervision, une tâche réelle après un délai approprié.
Par où commencer
Choisissez une tâche que vos collaborateurs effectuent actuellement avec l'aide de l'IA. Remplissez la feuille de travail ci-dessus avec le nom d'une personne qui réalise cette tâche et indiquez les trois situations où une erreur de résultat serait la plus préjudiciable. Élaborez votre premier cas pratique à partir de l'un de ces cas.
Pour voir comment une vérification à votre propre rythme, une pratique de cas interactive et un débriefing en direct pourraient s'articuler pour cette tâche, explorez AhaSlides.
