Impactmeting van trainingen in de productie: hoe meet je de impact van trainingen in probleemoplossing naast stilstand en opbrengst?

In maart organiseert een fabriek een cursus probleemoplossing voor haar machineoperators. In hetzelfde kwartaal rondt de onderhoudsafdeling een procesupgrade af aan de verpakkingslijn. In juni is de ongeplande stilstand op die lijn afgenomen. De fabrieksmanager stelt de trainingsmanager een terechte vraag: lag het aan de cursus?

Dit is een illustratief scenario, geen gedocumenteerde klantcase. Het probleem is echter wel gangbaar. Trainingen en operationele veranderingen gaan hand in hand, en de cijfers geven niet aan welke van de twee de oorzaak was. Deze handleiding is bedoeld voor trainingsmanagers in fabrieken en de onderhouds- of kwaliteitsmanagers die met hen samenwerken. Het laat zien hoe je de waargenomen probleemoplossende vaardigheden koppelt aan operationele meetwaarden, hoe je die koppeling eerlijk interpreteert en wat je moet rapporteren. De gevallen, scores en drempelwaarden moeten worden gevalideerd door de mensen die eigenaar zijn van de apparatuur.

Wat is de impactmeting van trainingen in de maakindustrie?

Het is de methode om te controleren of een trainingsprogramma de vaardigheden van mensen bij een bepaalde taak heeft veranderd, en vervolgens of die verandering terug te vinden is in operationele gegevens zoals stilstandtijd en opbrengst, door middel van een vergelijking die het verband geloofwaardig maakt. Het combineert twee soorten bewijs: taakprestaties (kan de operator een storing diagnosticeren?) en fabrieksmetingen (zijn stilstanden of afvalhoeveelheden veranderd?). Een verbetering in het ene wordt niet beschouwd als bewijs voor het andere.

Faktenüberblick

1. Definieer de uitkomst en de vergelijking

Schrijf voor aanvang van de cursus drie dingen op.

1. De beslissing. Waar helpt deze analyse iemand bij het nemen van een beslissing: het programma opschalen, herzien of stopzetten? Een meetplan zonder concrete beslissing levert rapporten op die niemand gebruikt.
2. De interventie en de rollen. Welke operators, technici en ploegleiders vallen onder de training, en waarvoor worden ze precies opgeleid? Een training in probleemoplossing waarbij operators leren alarmgeschiedenis te lezen en eerst goedkope, veilige zaken te controleren, is een andere interventie dan een training waarbij technici leren een sensor af te stellen.
3. De vergelijking. Vergeleken met wat? Hun eigen basisniveau, een nog niet getrainde lijn, of dezelfde lijn van het voorgaande jaar?

Ook aparte kosten. Leveringskosten zijn de kosten voor de uitvoering van het programma: ontwerptijd, tijd van de begeleider, tools. Operationele kosten zijn de kosten voor de fabriek: operators die niet aan de lijn zijn, een werkbank die niet gebruikt wordt. Als je het over rendement op investering wilt hebben, moeten beide in de berekening worden meegenomen. ROI Institute beschrijft zijn ROI-methodologie.Dit voegt een extra stap toe om de effecten van het programma te isoleren voordat de resultaten in geld worden omgezet. Je hoeft het niet volledig over te nemen, maar de vraag die het stelt is wel de juiste.

2. Meet de daadwerkelijke taak

Voltooiingspercentages en tevredenheidsscores beschrijven de uitvoering. Houd ze bij, benoem ze als indicatoren voor de uitvoering en presenteer ze niet als bewijs van impact.

De maatstaf die verband houdt met de plant is de taakuitvoering. Gebruik observeerbaar bewijs van de vaardigheid waarop de cursus zich richt:

1. Een basislijn. Beoordeel elke operator vóór de training op een veilige foutcase, zoals een digitale case met een alarmgeschiedenis en een paar meetwaarden die ze kunnen opvragen, met behulp van een beoordelingsschema.
2. Een vergelijkbare beoordeling na de training. Gebruik een andere opgave van dezelfde moeilijkheidsgraad, zodat je de vaardigheid meet en niet het geheugen van het eerste antwoord. Onze handleiding voor objectief testen van de probleemoplossende vaardigheden van machinebedieners Dit document beschrijft hoe je de casussen samenstelt en bevat de antwoordsleutel.
3. Een overschrijvingscheque. Vraag of het gedrag zich na verloop van tijd ook in de praktijk voordoet, bijvoorbeeld bij een evaluatie van recente foutbeslissingen door een onderhoudsmanager.

De Kirkpatrick-model Dit is een handige kaart: reactie, leren, gedrag en resultaten. Uit onze ervaring blijkt dat programma's vaak de eerste twee niveaus rapporteren en vervolgens naar het vierde niveau verwijzen. De link daartussen, gedrag op de werkvloer, is waar het bewijsmateriaal vaak schaarser is. Voor het algemene geval, zie onze handleiding voor Het meten van training na afloop van de cursus..

Een opmerking over cognitieve belasting. Het vaststellen welke van de verschillende oorzaken bij de symptomen past, is analyse, en het beoordelen welke actie gerechtvaardigd is, is evaluatie. Onze gids voor Leeractiviteiten afstemmen op de taxonomie van Bloom legt uit hoe de test aan deze eisen kan worden aangepast. Gebruik Bloom om de taak te ontwerpen. Gebruik het niet om stilstand te voorspellen: een hoger niveau op een test beschrijft wat de taak vereist, niet wat de fabriek zal ervaren.

3. Koppel bewijsmateriaal uit taken aan operationele gegevens.

Laten we nu de twee soorten bewijsmateriaal naast elkaar zetten. Twee getallen doen het meeste werk: de verandering in de taakscore en de verandering in een vergelijkbaar uitvalpercentage.

Definieer voor elke plantmeting vier zaken voordat je naar de resultaten kijkt.

1. Bevolking. Welke productielijn, ploegendienst en machines? Een cijfer voor de totale stilstandtijd van de hele fabriek zegt weinig over de prestaties van één getraind team.
2. Noemer. Het aantal stops per geplande draaiuur, of per duizend cycli, wordt gemeten, niet het absolute totaal. Een lijn die twee keer zo lang draait, zal langer stilstaan ​​zonder dat de benodigde vaardigheden veranderen.
3. Periode. De periode ervoor en erna is gelijk, waarbij de eerste weken na de training apart worden behandeld zodat mensen zich kunnen aanpassen.
4. Source. Waar het cijfer vandaan komt, zoals het onderhoudslogboek, de eigen stilstandgegevens van de machine of het kwaliteitssysteem, en wie de eigenaar ervan is.

Kies maatregelen die het beste bij de vaardigheid passen. OEE (algehele effectiviteit van de apparatuur) Het combineert beschikbaarheid, prestatie en kwaliteit. De beschikbaarheidsfactor telt gebeurtenissen die de geplande productie onderbreken, en de kwaliteitsfactor telt onderdelen die niet aan de normen voldoen, inclusief herwerk. Deze factoren sluiten naadloos aan op de twee zaken waar deze handleiding om draait: stilstand en opbrengst (het percentage goede output). Kijk naar de afzonderlijke componenten in plaats van alleen naar het OEE-cijfer, want een probleemoplossingscursus zal eerder ongeplande stilstanden aan het licht brengen dan bijvoorbeeld geplande omstellingen, en het middelen ervan maskeert het signaal. De prestatiefactor detecteert ook kleine stilstanden en langzaam draaien, die door kortere stilstanden in de beschikbaarheidsgegevens verborgen kunnen blijven.

Leg vervolgens het plausibele verband uit in een zin die je kunt verdedigen. Bijvoorbeeld: "Operators die controles uitvoeren van goedkoop naar duur, zouden kleine storingen sneller moeten oplossen, dus verwachten we kortere ongeplande stilstanden aan de verpakkingslijn." Dat is een hypothese met een mechanisme. "De scores stegen en de stilstandtijd daalde" is een correlatie, en dat blijft zo totdat je de alternatieve verklaringen hebt uitgesloten.

4. Houd rekening met alternatieve verklaringen

Bekijk welke andere wijzigingen er in het vergelijkingsvenster zijn aangebracht. Begin met deze lijst.

• Wijzigingen in processen of apparatuur. In ons scenario is een onderhoudsupgrade de meest voor de hand liggende optie. Dat geldt ook voor een nieuwe sensor, een aangepast recept of een nieuwe folie of materiaal.
• Werkdruk en productmix. Een rustiger kwartaal of eenvoudigere producten kunnen het aantal productiestops verminderen zonder dat de benodigde vaardigheden veranderen.
• Personeel. Nieuwe medewerkers, vertrekkende medewerkers, overuren en wijzigingen in het ploegenschema zorgen allemaal voor meer downtime.
• Beleid en gezag. Als operators toestemming krijgen om storingen te onderzoeken, kan dat op zich al de wachttijden verkorten.
• Meetkundige veranderingen. Een nieuwe manier om stops te registreren kan de cijfers van de ene op de andere dag veranderen.

Twee ontwerpen helpen. Een gefaseerde uitrol Treinen rijden eerst op één lijn of in een bepaalde ploeg, en later op een vergelijkbare lijn, zodat de tweede trein als vergelijkingspunt dient terwijl hij wacht. overeenkomende vergelijking Het koppelt getrainde operators aan ongetrainde operators op vergelijkbare machines en producten. Geen van beide is altijd haalbaar: productielijnen verschillen, ploegen rouleren en een fabriek wil de training mogelijk niet uitstellen voor een test. Als geen van beide geschikt is, vermeld dit dan en rapporteer het resultaat als een plausibele bijdrage naast de andere veranderingen, niet als een effectgrootte.

Onderzoek naar de opleiding van technici laat zien waarom de taak ertoe doet. Schaafstal, Schraagen en van Berlo ontwikkelden een cursus die een algemene probleemoplossingsstrategie combineerde met een functionele analyse van de apparatuur. In hun evaluatie losten technici die op deze manier waren opgeleid ongeveer twee keer zoveel storingen op in minder tijd dan technici die op de traditionele manier waren opgeleid.Schaafstal en collega's, 2000De deelnemers waren technici in een gestructureerde evaluatie, geen operators aan een onder spanning staande lijn. Beschouw dit dus als een reden om de taak te meten, niet als een te verwachten getal.

5. Rapporteer de resultaten en kies de volgende actie.

Rapporteer elk kwartaal op dezelfde manier een kleine tabel. Hier is een voorbeeld met lege resultaatvelden. De cellen zijn expres leeg gelaten: verzonnen effectgroottes zijn erger dan geen effectgroottes.

Kies vervolgens de volgende actie op basis van het bewijsmateriaal, waarover overeenstemming is bereikt voordat je naar de cijfers kijkt.

• Scale Als de taakscores in een niet-gezien geval stegen, toont de overdrachtscontrole het gedrag op de lijn aan, en de plantmeting bewoog zich in de verwachte richting ten opzichte van een vergelijking of nadat alternatieve verklaringen waren uitgesloten.
• herzien Als de scores stegen maar het gedrag in de rij niet verbeterde, wijst dat meestal op autoriteit, hulpmiddelen of tijdsdruk in plaats van op de cursus zelf.
• Stop of heroverweeg. als de scores niet stegen, of als de plantmeting veranderde zonder dat er in de taakgegevens iets te verklaren viel.

Een eenvoudige beoordelingsmethode met drie criteria, waarbij punten van 0 tot 2 worden toegekend, zorgt ervoor dat de score voor de taak betekenisvol blijft.

Ankers: 0 betekent afwezig of niet onderbouwd, 1 betekent gedeeltelijk met relevante weglatingen, en 2 betekent volledig en gerechtvaardigd op basis van overeengekomen criteria. Definieer kritieke fouten, zoals een onveilige handeling, apart, zodat een goed totaalcijfer er geen kan verbergen. Dit is een voorgesteld uitgangspunt, geen gevalideerde gereedheidsnorm. Onze handleiding voor het beoordelen van oordeelsvermogen en probleemoplossend vermogen tijdens de training Dit omvat het kalibreren van beoordelaars en het schrijven van referentiekaders.

Waar interactieve levering helpt

De score van een taak is slechts zo goed als de oefening die eraan ten grondslag ligt. In een begeleide sessie kun je een alarmgeschiedenis laten zien, elke operator vragen welke controle ze als eerste zouden uitvoeren, en vervolgens de spreiding laten zien voordat je die bespreekt. Dezelfde casus kan daarna in eigen tempo worden doorlopen, met een open vraag over de redenering die door twee beoordelaars wordt beoordeeld. AhaSlides Ondersteunt interactief leren en de afwisseling tussen live en zelfstudie. Controleer alle auteurs-, feedback- of rapportagefuncties die u wilt gebruiken aan de hand van uw eigen workflow en beschouw simulators, AI en systeemintegraties als extern of onbevestigd totdat u ze in werking hebt gezien. Als uw cursus ook alertgestuurd werk omvat, raadpleeg dan onze handleiding voor Onderhoudstechnici trainen in het interpreteren van voorspellende AI-waarschuwingen. laat zien hoe je dezelfde taakgerichte aanpak kunt toepassen.

Wat hiermee niet opgelost zal worden

• Beperkingen die blijven bestaan, ook nadat de vaardigheden zijn verbeterd. Ontbrekende reserveonderdelen, geen bevoegdheid om onderzoek te doen en een productielijn die output boven diagnose beloont, zullen het effect beperken.
• Kleine steekproeven. Eén lijn over een kwart kan een patroon aangeven, maar geeft zelden de oorzaak weer.
• Trage overdracht. Het kan weken duren voordat vaardigheden zichtbaar worden in de stopgegevens, vooral na intensief gebruik.
• Afwijking van de beoordelingscriteria. De scores lopen weer uiteen als beoordelaars stoppen met vergelijken.
• Ontbrekende basiswaarden. Als stops nooit consequent zijn geregistreerd, begin daar dan nu mee en meet vanaf dat moment de resultaten.

Geef deze problemen vroegtijdig door aan de sponsors en spreek af wie voor elk probleem verantwoordelijk is.

Veelgestelde vragen

Wat is de impactmeting van trainingen in de maakindustrie?

Het onderzoek gaat na of de training de taakprestaties heeft veranderd en vervolgens of plantparameters zoals stilstandtijd en opbrengst zijn veranderd, met behulp van een vergelijking die het verband aantoont.

Kan een testresultaat de uitvaltijd voorspellen?

Nee. Een score geeft aan wat een operator kan doen bij een veilige taak. Stilstandtijd hangt af van veel andere factoren, dus gebruik de score als één bewijsstuk en vergelijk deze met gegevens van de installatie.

Welke operationele maatregelen moet u nemen?

Kies gegevens die het dichtst bij de betreffende vaardigheid liggen en definieer de populatie, de noemer, de periode en de bron. Ongeplande stilstandminuten per bedrijfsuur en het herwerkpercentage zijn veelgebruikte uitgangspunten.

Hoe maak je onderscheid tussen training en een procesverbetering?

Vergelijk de resultaten met een vergelijkbare lijn of shift die nog niet getraind was, of voer de uitrol gefaseerd uit. Als dat niet mogelijk is, rapporteer dan de andere wijzigingen naast het resultaat en beschrijf deze als een plausibele bijdrage.

Waar te beginnen

Kies één regel en één meetwaarde, bijvoorbeeld ongeplande stilstandminuten per bedrijfsuur. Noteer de andere wijzigingen die in het volgende kwartaal gepland staan. Vraag een onderhoudsmanager om een ​​basisfoutrapport en een bijbehorend vervolgrapport op te stellen, en laat twee beoordelaars vijf reacties onafhankelijk van elkaar beoordelen. Pas de criteria aan waar ze het niet mee eens zijn, en stel vervolgens de bovenstaande rapportagetabel op met lege velden. Vul deze tabel in naarmate de bewijzen binnenkomen.

Om te zien hoe een dergelijke foutcase live kan worden uitgevoerd en daarna in eigen tempo opnieuw kan worden gebruikt, kunt u verder lezen. AhaSlides.