Mesure de l'impact des formations en production : comment mesurer la formation au dépannage parallèlement aux temps d'arrêt et au rendement ?

En mars, une usine organise une formation au dépannage pour ses opérateurs de machines. Au même trimestre, le service de maintenance finalise la modernisation d'un processus sur la ligne de conditionnement. En juin, les arrêts non planifiés sur cette ligne diminuent. Le directeur de l'usine pose alors une question légitime au responsable de la formation : la formation en est-elle la cause ?

Il s'agit d'un scénario illustratif, et non d'un cas client documenté. Le problème est cependant fréquent : les changements de formation et opérationnels surviennent simultanément, et les données ne permettent pas de déterminer lequel a eu lieu. Ce guide s'adresse aux responsables de la formation en usine et aux responsables de la maintenance ou de la qualité qui travaillent avec eux. Il explique comment relier les compétences observées en matière de dépannage aux indicateurs opérationnels, comment interpréter ce lien avec objectivité et quelles informations doivent être communiquées. Les cas, les scores et les seuils doivent être validés par les utilisateurs de vos équipements.

Qu’est-ce que la mesure de l’impact de la formation en production ?

Il s'agit de vérifier si un programme de formation a modifié les compétences des opérateurs dans l'exécution de leur tâche, puis si cette modification se traduit par des données opérationnelles telles que les temps d'arrêt et le rendement, grâce à une comparaison permettant d'établir un lien crédible. Cette méthode combine deux types de preuves : la performance de la tâche (l'opérateur est-il capable de diagnostiquer une panne ?) et les indicateurs de l'installation (les arrêts ou les rebuts ont-ils évolué ?). Un progrès dans l'un ne constitue pas une preuve de l'autre.

Faits rapides

1. Définir le résultat et la comparaison

Avant le début du cours, notez trois choses.

1. La décision. À quoi cette analyse permettra-t-elle de décider : étendre le programme, le réviser ou l’arrêter ? Un plan de mesure sans décision qui en découle ne produit que des rapports inutilisés.
2. L'intervention et les rôles. Quels opérateurs, techniciens et chefs d'équipe sont concernés, et à quoi sont-ils formés précisément ? Une formation au dépannage qui apprend aux opérateurs à lire l'historique des alarmes et à vérifier en priorité les éléments les moins coûteux et les plus sûrs est différente d'une formation qui apprend aux techniciens à régler un capteur.
3. La comparaison. Par rapport à quoi ? À leur propre niveau de référence, à une lignée non encore entraînée, ou à la même lignée de l’année précédente ?

Il faut également distinguer les coûts. Les coûts de mise en œuvre correspondent aux coûts d'exécution du programme : temps de conception, temps de l'animateur, outils. Les coûts opérationnels correspondent aux coûts pour l'usine : opérateurs hors ligne, poste de travail inutilisé. Si vous envisagez de parler de retour sur investissement, les deux doivent être pris en compte dans le calcul. L'institut ROI décrit sa méthodologie de retour sur investissement.Cela ajoute une étape pour isoler les effets du programme avant de monétiser les résultats. Il n'est pas nécessaire de l'adopter intégralement, mais la question est pertinente.

2. Mesurer la tâche réelle

Les taux d'achèvement et les scores de satisfaction décrivent la prestation. Conservez-les, qualifiez-les d'indicateurs de prestation, et ne les présentez pas comme preuve d'impact.

L'indicateur lié à l'usine est la performance des tâches. Utilisez des preuves observables de la compétence visée par le cours :

1. Une base de référence. Avant la formation, évaluez chaque opérateur sur un cas de panne sans danger, tel qu'un cas numérique avec un historique d'alarmes et quelques relevés qu'ils peuvent demander, en utilisant une grille d'évaluation.
2. Une évaluation comparable après la formation. Utilisez un autre cas de même difficulté afin de mesurer la compétence et non la mémorisation de la première réponse. Notre guide tester objectivement les compétences de dépannage des opérateurs de machines Il explique comment construire les cas et fournit le corrigé.
3. Un chèque de transfert. Demandez si ce comportement se manifeste dans le travail réel après une période appropriée, par exemple lors d'un examen des décisions récentes concernant les pannes par un responsable de la maintenance.

Le Modèle de Kirkpatrick Voici une carte pratique : réaction, apprentissage, comportement et résultats. D’après notre expérience, les programmes rendent souvent compte des deux premiers niveaux, puis abordent le quatrième. C’est au niveau du lien entre eux, le comportement au travail, que les preuves ont tendance à se raréfier. Pour plus d’informations, consultez notre guide. mesurer la formation au-delà de la fin du cours.

Un mot sur la charge cognitive. Diagnostiquer la cause parmi plusieurs possibles correspond à l'analyse, et juger quelle action est justifiée relève de l'évaluation. Notre guide à faire correspondre les activités d'apprentissage à la taxonomie de Bloom Ce document explique comment adapter le test à ces exigences. Utilisez la taxonomie de Bloom pour concevoir la tâche. Ne l'utilisez pas pour prédire les temps d'arrêt : un niveau supérieur d'un test décrit ce que la tâche demande, et non ce que l'usine constatera.

3. Relier les preuves relatives aux tâches aux données opérationnelles

Comparons maintenant ces deux types de données. Deux chiffres sont essentiels : la variation du score de la tâche et la variation d’un taux de temps d’arrêt comparable.

Pour chaque mesure concernant les plantes, définissez quatre éléments avant d'examiner les résultats.

1. Population. Quelle ligne, quel quart de travail et quelles machines ? Un chiffre sur le temps d’arrêt pour l’ensemble du site ne vous renseigne pas beaucoup sur une seule équipe formée.
2. Dénominateur. Durée d'arrêt (minutes) par heure de fonctionnement prévue, ou arrêts pour mille cycles, et non total brut. Une ligne fonctionnant deux fois plus longtemps nécessitera des arrêts plus longs sans que cela n'affecte le niveau de compétence requis.
3. Point final. La même durée avant et après, les premières semaines suivant la formation étant traitées séparément le temps que les personnes s'installent.
4. Source. D'où provient ce chiffre, par exemple du registre de maintenance, des enregistrements d'arrêts de la machine ou du système qualité, et à qui il appartient.

Choisissez des mesures proches du niveau de compétence. TRS (efficacité globale des équipements) L'OEE combine disponibilité, performance et qualité. Son facteur de disponibilité comptabilise les événements qui interrompent la production planifiée, et son facteur de qualité comptabilise les pièces non conformes, y compris les retouches. Ces éléments correspondent parfaitement aux deux points essentiels de ce guide : les temps d'arrêt et le rendement (la part de la production conforme). Il est important d'analyser les composantes plutôt que l'OEE global, car une formation au dépannage est plus susceptible de déplacer les arrêts imprévus que, par exemple, les changements de production planifiés, et leur moyenne masque l'information. Son facteur de performance prend également en compte les arrêts mineurs et les ralentissements, qui peuvent être masqués par des arrêts de courte durée dans les données de disponibilité.

Expliquez ensuite le lien plausible dans une phrase que vous pouvez justifier. Par exemple : « Les opérateurs qui effectuent les contrôles en commençant par les moins coûteux devraient résoudre plus rapidement les arrêts mineurs ; nous prévoyons donc des arrêts imprévus plus courts sur la chaîne de conditionnement. » Il s’agit d’une hypothèse assortie d’un mécanisme. « Les scores ont augmenté et les temps d’arrêt ont diminué » est une corrélation, et elle le reste tant que vous n’avez pas écarté les autres explications possibles.

4. Tenir compte des explications alternatives

Examinez les autres éléments qui ont changé dans la fenêtre de comparaison. Commencez par cette liste.

• Modifications des procédés ou des équipements. Dans notre cas, la mise à niveau de maintenance est la solution évidente. Il en va de même pour un nouveau capteur, une recette modifiée ou un nouveau film ou matériau.
• Charge de travail et gamme de produits. Un quart-temps plus calme ou des produits plus simples peuvent réduire les arrêts de jeu sans modification du niveau de compétence.
• Recrutement. Les nouveaux employés, les départs, les heures supplémentaires et les changements d'horaires de travail entraînent tous des temps d'arrêt.
• Politique et autorité. Si les opérateurs étaient autorisés à enquêter sur les pannes, cela suffirait à raccourcir les arrêts.
• Changements de mesure. Une nouvelle méthode d'enregistrement des arrêts pourrait changer la donne du jour au lendemain.

Deux modèles sont utiles. A déploiement progressif Les trains font d'abord circuler une ligne ou un train similaire, puis un autre plus tard, le second servant ainsi de point de comparaison pendant l'attente. comparaison appariée Associer des opérateurs formés à des opérateurs non formés sur des machines et des produits similaires. Aucune de ces méthodes n'est toujours applicable : les lignes de production diffèrent, les équipes sont amenées à changer et une usine peut ne pas souhaiter interrompre la formation pour un test. Si aucune de ces méthodes ne convient, indiquez-le et présentez le résultat comme une contribution plausible parmi les autres modifications, et non comme une mesure de l'ampleur de l'effet.

Les recherches sur la formation des techniciens montrent pourquoi cette tâche est importante. Schaafstal, Schraagen et van Berlo ont conçu un cours qui associait une stratégie générale de dépannage à une analyse fonctionnelle de l'équipement. Dans leur évaluation, les techniciens formés de cette manière ont résolu environ deux fois plus de pannes en moins de temps que ceux formés de manière traditionnelle (Schaafstal et ses collègues, 2000Les participants étaient des techniciens participant à une évaluation structurée, et non des opérateurs sur une ligne en production ; il faut donc considérer cela comme une raison de mesurer la tâche, et non comme un chiffre à attendre.

5. Signalez les résultats et choisissez la prochaine action.

Présentez un petit tableau identique chaque trimestre. Voici un exemple de mise en page avec des champs de résultats vides. Les cellules sont volontairement laissées vides : des tailles d’effet inventées sont pires que rien.

Ensuite, choisissez la prochaine action à entreprendre en fonction des éléments de preuve, convenue avant d'examiner les chiffres.

• Scale Si les scores de la tâche augmentent dans un cas inédit, le contrôle de transfert montre le comportement sur la ligne et la mesure de l'usine évolue dans la direction attendue par rapport à une comparaison ou lorsque les explications concurrentes sont écartées.
• Réviser Si les scores augmentaient mais que le comportement des joueurs ne suivait pas, cela indique généralement un problème d'autorité, d'outils ou de pression temporelle plutôt que de parcours.
• Arrêtez-vous ou repensez-y si les scores n'ont pas augmenté, ou si la mesure de la plante a évolué sans que les données de la tâche ne permettent de l'expliquer.

Une simple grille d'évaluation à trois critères, notée de 0 à 2, permet de conserver la pertinence de la note attribuée à la tâche.

Ancrages : 0 signifie absent ou non étayé, 1 signifie partiel avec des omissions pertinentes et 2 signifie complet et justifié par rapport aux critères convenus. Définissez les erreurs critiques séparément, telles qu’une action dangereuse, afin qu’un bon score total ne puisse pas en masquer une. Il s’agit d’un point de départ proposé, et non d’une norme de préparation validée. Notre guide évaluer le jugement et la résolution de problèmes en formation Il couvre l'étalonnage des évaluateurs et la rédaction des points d'ancrage.

Là où la livraison interactive est utile

La qualité de la tâche dépend de la pratique sous-jacente. Lors d'une session animée, vous pouvez présenter l'historique des alarmes, demander à chaque opérateur de s'engager sur la première vérification qu'il effectuerait, puis afficher la répartition des résultats avant d'en discuter. Le même cas peut ensuite être traité individuellement, avec une question ouverte sur le raisonnement des deux évaluateurs. AhaSlides Il favorise l'apprentissage interactif et l'alternance entre les sessions en direct et les sessions à votre rythme. Vérifiez que les fonctions de création, de retour d'information ou de reporting que vous prévoyez d'utiliser correspondent à votre propre flux de travail et considérez les simulateurs, l'IA et les intégrations système comme externes ou non confirmées tant que vous n'avez pas constaté leur fonctionnement. Si votre cours aborde également le travail piloté par alertes, consultez notre guide sur former les techniciens de maintenance à interpréter les alertes prédictives de l'IA montre comment appliquer la même approche axée sur la tâche.

Ce que cela ne résoudra pas

• Contraintes qui persistent même après l'amélioration des compétences. L'absence de pièces détachées, le manque d'autorité pour enquêter et une culture qui privilégie la production au diagnostic limiteront les effets.
• Petits échantillons. Une ligne sur un quart peut révéler une tendance, mais elle en détermine rarement la cause.
• Transfert lent. Il peut falloir des semaines d'exposition aux lignes de production pour que les compétences apparaissent dans les données d'arrêt.
• Dérive de l'évaluateur. Les scores divergent à nouveau si les évaluateurs cessent de les comparer.
• Lignes de base manquantes. Si les arrêts n'ont jamais été consignés de manière systématique, commencez à le faire maintenant et mesurez à partir de là.

Communiquez-les rapidement aux sponsors et convenez qui s'occupera de chaque problème.

Foire aux questions

Qu’est-ce que la mesure de l’impact de la formation en production ?

Il s'agit de vérifier si la formation a modifié les performances des tâches, puis si des indicateurs de l'usine tels que le temps d'arrêt et le rendement ont changé, en utilisant une comparaison qui confirme le lien.

Un résultat de test peut-il prédire une interruption de service ?

Non. Un score indique ce qu'un opérateur peut faire en toute sécurité. Le temps d'arrêt dépend de nombreux autres facteurs ; il faut donc utiliser le score comme un élément parmi d'autres et le comparer aux données de l'usine.

Quelles mesures opérationnelles devez-vous utiliser ?

Choisissez des indicateurs proches de la compétence recherchée et définissez la population, le dénominateur, la période et la source. Le nombre de minutes d'arrêt imprévu par heure d'exécution et le taux de retouche sont des points de départ courants.

Comment dissocier une formation d'une mise à niveau des processus ?

Comparez ce résultat à une ligne ou un changement similaire qui n'a pas encore été entraîné, ou procédez par étapes pour le déploiement. Si cela s'avère impossible, indiquez les autres modifications à côté du résultat et décrivez-les comme une contribution plausible.

Par où commencer

Choisissez une ligne et une mesure, par exemple le nombre de minutes d'arrêt non planifié par heure de fonctionnement. Notez les autres changements prévus pour le prochain trimestre. Demandez à un responsable de la maintenance de rédiger un cas de panne de référence et un cas de suivi correspondant, puis demandez à deux évaluateurs d'évaluer cinq réponses indépendamment. Fixez les critères en cas de désaccord, puis élaborez le tableau de reporting ci-dessus en laissant ses champs vides et remplissez-le au fur et à mesure que les données arrivent.

Pour voir comment un cas de défaillance comme celui-ci pourrait être exécuté en direct et réutilisé à son propre rythme par la suite, explorez AhaSlides.