Em março, uma fábrica realiza um curso de solução de problemas para seus operadores de máquinas. No mesmo trimestre, a equipe de manutenção conclui uma atualização de processo na linha de embalagem. Em junho, o tempo de inatividade não planejado nessa linha diminui. O gerente da fábrica faz uma pergunta pertinente ao gerente de treinamento: será que o curso foi o responsável?
Este é um cenário ilustrativo, não um caso documentado de um cliente. O problema, porém, é comum. Treinamentos e mudanças operacionais ocorrem simultaneamente, e os números não permitem identificar qual deles foi o fator determinante. Este guia destina-se a gerentes de treinamento de fábrica e aos responsáveis pela manutenção ou qualidade que trabalham com eles. Ele mostra como vincular a capacidade de resolução de problemas observada com as métricas operacionais, como interpretar essa relação de forma honesta e o que deve ser relatado. Os casos, pontuações e limites devem ser validados pelas pessoas responsáveis pelos equipamentos.
O que é a medição do impacto do treinamento em manufatura?
É a prática de verificar se um programa de treinamento alterou a capacidade das pessoas de executar uma tarefa e, em seguida, se essa mudança se reflete em dados operacionais, como tempo de inatividade e produtividade, usando uma comparação que torne a relação confiável. Ela une dois tipos de evidência: desempenho da tarefa (o operador consegue diagnosticar uma falha?) e indicadores da planta (houve mudanças nas paradas ou no índice de refugo?). Não considera um ganho em um como prova do outro.
Fatos rápidos
| Questão | Resposta curta |
|---|---|
| O que você está tentando mostrar? | Que uma mudança no desempenho da resolução de problemas possivelmente contribuiu para uma mudança no tempo de inatividade ou no rendimento. |
| O que você mede primeiro? | A pontuação da tarefa em um caso de falha comparável, antes e depois do treinamento. |
| Quais medidas de plantas são adequadas? | Indicadores próximos à habilidade, como minutos de parada não planejada por hora de execução e taxa de retrabalho. |
| O que demonstram a conclusão e a satisfação? | Qualidade da entrega, não impacto. |
| Qual é o projeto prático mais eficaz? | Implementação faseada ou um grupo de comparação equivalente. |
| O que você nunca deve reivindicar? | O fato de um nível Bloom, ou um aumento na pontuação, causar menos tempo de inatividade por si só. |
| Quem valida o projeto? | Uma indicação de manutenção ou qualidade, com base em seus dados e equipamentos. |
1. Defina o resultado e a comparação.
Antes do início do curso, anote três coisas.
- A decisão. De que forma essa análise ajudará alguém a decidir: expandir o programa, revisá-lo ou interrompê-lo? Um plano de mensuração sem uma decisão definida gera relatórios que ninguém utiliza.
- A intervenção e os papéis. Quais operadores, técnicos e líderes de turno estão incluídos no escopo do treinamento e para que exatamente eles são treinados? O treinamento de solução de problemas que ensina os operadores a ler o histórico de alarmes e verificar primeiro itens baratos e seguros é uma intervenção diferente daquela que ensina os técnicos a ajustar um sensor.
- A comparação. Em comparação com o quê? Com a própria linha de base, com uma linha ainda não treinada ou com a mesma linha no ano anterior?
Além disso, há custos separados. Os custos de entrega são o custo total do programa: tempo de projeto, tempo do facilitador, ferramentas. Os custos operacionais são o custo para a fábrica: operadores fora da linha de produção, bancada inativa. Se você pretende falar sobre retorno do investimento, ambos devem ser considerados no cálculo. O ROI Institute descreve sua Metodologia de ROI., que acrescenta uma etapa para isolar os efeitos do programa antes de converter os resultados em dinheiro. Você não precisa adotá-lo integralmente, mas a questão proposta é pertinente.
2. Meça a tarefa real
As taxas de conclusão e os índices de satisfação descrevem a entrega. Guarde-os, rotule-os como indicadores de entrega e não os apresente como prova de impacto.
A medida que se relaciona com a planta é o desempenho da tarefa. Utilize evidências observáveis da habilidade que o curso visa desenvolver:
- Uma linha de base. Antes do treinamento, avalie cada operador em um caso de falha seguro, como um caso digital com histórico de alarmes e algumas leituras que eles podem solicitar, usando uma rubrica.
- Uma avaliação comparável após o treinamento. Use um caso diferente com o mesmo nível de dificuldade, para que você possa avaliar a habilidade e não a memorização da primeira resposta. Nosso guia para habilidades de resolução de problemas do operador da máquina de teste objetivamente Abrange como construir os casos e o gabarito.
- Um cheque de transferência. Pergunte se o comportamento se manifesta no trabalho real após um período adequado, por exemplo, em uma revisão de decisões recentes sobre falhas tomadas por um responsável pela manutenção.
O Modelo de Kirkpatrick É um mapa prático: reação, aprendizagem, comportamento e resultados. Em nossa experiência, os programas geralmente relatam os dois primeiros níveis e depois apontam para o quarto. A ligação entre eles, o comportamento no trabalho, é onde as evidências tendem a se tornar escassas. Para o caso geral, consulte nosso guia para Medindo o treinamento além da conclusão do curso..
Uma palavra sobre demanda cognitiva. Diagnosticar qual das várias causas se encaixa nos sintomas é análise, e julgar qual ação é justificada é avaliação. Nosso guia para Adequar as atividades de aprendizagem à taxonomia de Bloom Explica como adequar o teste a essas demandas. Use a Taxonomia de Bloom para projetar a tarefa. Não a utilize para prever tempo de inatividade: um nível superior em um teste é uma descrição do que a tarefa exige, não uma previsão do que a planta verá.
3. Conecte as evidências da tarefa com os dados operacionais.
Agora, compare os dois tipos de evidência lado a lado. Dois números são os que mais importam: a mudança na pontuação da tarefa e a mudança em uma taxa de inatividade comparável.
Para cada medida da planta, defina quatro aspectos antes de analisar os resultados.
- População. Qual linha de produção, turno e máquinas? Um índice de tempo de inatividade para toda a fábrica diz pouco sobre uma equipe treinada.
- Denominador. Minutos de parada por hora de operação programada, ou paradas por mil ciclos, não totais brutos. Uma linha que operou pelo dobro do tempo fará paradas por mais tempo sem qualquer alteração na habilidade.
- Período. O mesmo período de tempo antes e depois, sendo as primeiras semanas após o treinamento tratadas separadamente enquanto as pessoas se adaptam.
- Fonte. De onde vem o dado, como do registro de manutenção, dos registros de paradas da própria máquina ou do sistema de qualidade, e quem é o responsável por ele.
Escolha medidas próximas à habilidade. OEE (eficácia global do equipamento) A OEE combina disponibilidade, desempenho e qualidade. Seu fator de disponibilidade contabiliza eventos que interrompem a produção planejada, e seu fator de qualidade contabiliza peças que não atendem aos padrões, incluindo retrabalho. Esses fatores se relacionam perfeitamente com os dois aspectos importantes deste guia: tempo de inatividade e rendimento (a porcentagem da produção que é boa). Observe os componentes em vez do valor único da OEE, pois um curso de solução de problemas tem maior probabilidade de identificar paradas não planejadas do que, por exemplo, trocas de produto planejadas, e calcular a média entre elas mascara o sinal. Seu fator de desempenho também detecta pequenas paradas e lentidão na produção, que interrupções mais curtas podem ocultar nos dados de disponibilidade.
Em seguida, explique a possível ligação em uma frase que você possa defender. Por exemplo: "Operadores que sequenciam as verificações das mais baratas para as mais caras devem resolver pequenas paradas mais rapidamente, portanto, esperamos paradas não planejadas mais curtas na linha de embalagem." Essa é uma hipótese com um mecanismo. "As pontuações aumentaram e o tempo de inatividade diminuiu" é uma correlação, e ela permanece válida até que você descarte as explicações alternativas.
4. Apresente explicações alternativas.
Analise o que mais mudou na janela de comparação. Comece com esta lista.
- Alterações de processo ou de equipamento. A atualização de manutenção em nosso cenário é a mais óbvia. O mesmo se aplica a um novo sensor, uma receita alterada ou um novo filme ou material.
- Carga de trabalho e variedade de produtos. Um trimestre mais tranquilo ou produtos mais simples podem reduzir as interrupções sem qualquer alteração na habilidade necessária.
- Pessoal. Novos funcionários, desligamentos, horas extras e mudanças nos turnos de trabalho, tudo isso impacta o tempo de inatividade.
- Política e autoridade. Se os operadores tivessem permissão para investigar falhas, isso por si só poderia reduzir o tempo de paradas.
- Alterações nas medições. Uma nova forma de registrar paradas pode alterar os números da noite para o dia.
Dois designs ajudam. Um lançamento em fases primeiro treina uma linha ou turno e depois um semelhante, de modo que o segundo serve de comparação enquanto espera. comparação correspondente O teste consiste em emparelhar operadores treinados com operadores não treinados em máquinas e produtos semelhantes. Nenhuma das duas opções é sempre viável: as linhas de produção são diferentes, as equipes se revezam e uma fábrica pode não querer atrasar o treinamento para um teste. Se nenhuma das duas opções for adequada, indique isso e relate o resultado como uma contribuição plausível ao lado das outras mudanças, e não como um tamanho de efeito.
Pesquisas sobre treinamento de técnicos mostram por que a tarefa é importante. Schaafstal, Schraagen e van Berlo desenvolveram um curso que combinava uma estratégia geral de solução de problemas com uma análise funcional do equipamento. Em sua avaliação, os técnicos treinados dessa forma resolveram cerca do dobro de problemas em menos tempo do que aqueles treinados da maneira tradicional (Schaafstal e colegas, 2000Os participantes eram técnicos em uma avaliação estruturada, não operadores em uma linha ativa, portanto, considere isso como uma razão para medir a tarefa, não como um número a ser esperado.
5. Apresente os resultados e escolha a próxima ação.
Apresente uma pequena tabela sempre da mesma forma a cada trimestre. Aqui está um modelo com campos de resultados vazios. As células estão em branco propositalmente: tamanhos de efeito inventados são piores do que nenhum.
| item | Linha de Base | Follow-up | Mudar | Notas |
|---|---|---|---|---|
| Pontuação média da tarefa (0 a 6), grupo treinado | Caso idêntico não visto, dois avaliadores | |||
| Acordo de avaliação | Proporção de pontuações dentro de um ponto | |||
| Minutos de paradas não planejadas por hora de execução | População, período, fonte | |||
| Taxa de retrabalho (unidades por mil) | Mesma linha, mesma família de produtos | |||
| Grupo de comparação, mesmas medidas | Faseado ou combinado | |||
| Outras alterações na janela | Atualização, equipe, combinação, política |
Em seguida, escolha a próxima ação com base nas evidências, acordadas antes de analisar os números.
- Escala Se as pontuações da tarefa aumentaram em um caso não observado, a verificação de transferência mostra o comportamento na linha e a medida da planta se moveu na direção esperada em comparação com uma análise comparativa ou com as explicações rivais descartadas.
- Rever Se as pontuações subirem, mas o comportamento na fila não, isso geralmente aponta para problemas com a autoridade, as ferramentas ou a pressão do tempo, e não com o percurso em si.
- Pare ou repense se as pontuações não aumentassem, ou se a medida da planta mudasse sem que nada nos dados da tarefa a explicasse.
Uma rubrica simples com três critérios, pontuados de 0 a 2, mantém a pontuação da tarefa significativa.
| Critério | Evidências observáveis |
|---|---|
| Execução de tarefa | Relaciona os sintomas de falha observados a uma causa defensável e registra a ação e as evidências que a sustentam. |
| Raciocínio | Explica as restrições, as alternativas e a incerteza. |
| Limites | Utiliza procedimentos aprovados e busca ajuda quando faltam informações ou autoridade. |
Âncoras: 0 significa ausente ou sem suporte, 1 significa parcial com omissões relevantes e 2 significa completo e justificado de acordo com critérios acordados. Defina erros críticos separadamente, como uma ação insegura, para que um bom total não os oculte. Este é um ponto de partida proposto, não um padrão de prontidão validado. Nosso guia para Avaliação do discernimento e da resolução de problemas no treinamento Abrange a calibração de avaliadores e a elaboração de critérios de avaliação.
Onde a entrega interativa ajuda
A pontuação da tarefa depende da prática subjacente. Em uma sessão facilitada, você pode mostrar um histórico de alarmes, pedir a cada operador que defina a primeira verificação que faria e, em seguida, mostrar a distribuição dos alarmes antes de discuti-la. O mesmo caso pode ser realizado individualmente posteriormente, com uma questão aberta sobre o raciocínio, que será avaliada por dois peritos. AhaSlides Suporta o aprendizado interativo e a transição entre aulas ao vivo e autodidáticas. Verifique qualquer função de autoria, feedback ou relatório que você planeja utilizar em seu próprio fluxo de trabalho e considere simuladores, IA e integrações de sistema como externos ou não confirmados até que você os tenha visto em funcionamento. Se o seu curso também abordar trabalho orientado por alertas, consulte nosso guia para Treinar técnicos de manutenção para interpretar alertas preditivos de IA. Mostra como aplicar a mesma abordagem de priorizar a tarefa.
O que isso não vai resolver
- Restrições que permanecem mesmo após a melhoria da habilidade. A falta de peças sobressalentes, a ausência de autoridade para investigar e uma linha de produção que prioriza a produtividade em detrimento do diagnóstico limitarão o impacto.
- Amostras pequenas. Uma linha sobre um quarto de um quadrante pode mostrar um padrão, mas raramente determina a causa.
- Transferência lenta. Pode levar semanas de exposição à linha de frente para que as habilidades se tornem visíveis nos dados de parada.
- Desvio do avaliador. As pontuações voltam a divergir se os avaliadores pararem de comparar.
- Linhas de base ausentes. Se as paradas nunca foram registradas de forma consistente, comece a registrá-las agora e faça medições a partir daí.
Informe esses problemas aos patrocinadores com antecedência e defina quem ficará responsável por resolvê-los.
Perguntas frequentes
O que é a medição do impacto do treinamento em manufatura?
O estudo verifica se o treinamento alterou o desempenho da tarefa e, em seguida, se as métricas da planta, como tempo de inatividade e produtividade, também foram alteradas, utilizando uma comparação que sustente essa relação.
Será que a pontuação de um teste pode prever o tempo de inatividade?
Não. Uma pontuação mostra o que um operador consegue fazer em uma tarefa segura. O tempo de inatividade depende de muitos outros fatores, portanto, use a pontuação como uma das evidências e compare-a com os dados da planta.
Quais medidas operacionais você deve usar?
Selecione itens próximos à habilidade e defina a população, o denominador, o período e a fonte. Minutos de parada não planejada por hora de execução e taxa de retrabalho são pontos de partida comuns.
Como diferenciar treinamento de uma atualização de processo?
Compare com uma linha ou turno semelhante que ainda não tenha sido treinado, ou implemente o treinamento em fases. Se isso não for possível, relate as outras alterações ao lado do resultado e descreva-as como uma contribuição plausível.
Por onde começar
Escolha uma linha e uma métrica, por exemplo, minutos de parada não planejada por hora de funcionamento. Anote as outras alterações planejadas para o próximo trimestre. Peça a um responsável pela manutenção que elabore um caso de falha inicial e um caso de acompanhamento correspondente, e solicite a dois avaliadores que pontuem cinco respostas de forma independente. Corrija os critérios em que houver discordância e, em seguida, construa a tabela de relatórios acima com os campos vazios, preenchendo-a à medida que as evidências forem chegando.
Para ver como um caso de falha como este pode ser executado em tempo real e reutilizado posteriormente de forma autônoma, explore AhaSlides.
