Avaliação de competências em resolução de problemas: como testar objetivamente as habilidades dos operadores de máquinas sem interromper a linha de produção.

Um gerente de treinamento de fábrica quer saber quais operadores conseguem identificar a causa da falha de uma máquina, e não apenas quais conseguem operá-la. O teste óbvio seria observar cada operador lidando com uma falha real. O problema é que falhas reais são raras, nunca idênticas e custosas: ninguém vai parar uma linha de produção para dar a vez a um quarto operador, e dois operadores nunca se deparariam com o mesmo problema.

Assim, a avaliação acaba sendo a impressão de um supervisor ou um questionário escrito sobre o POP (procedimento operacional padrão). Nenhuma das duas demonstra se um operador é capaz de diagnosticar.

Este guia destina-se a gerentes de treinamento de fábrica e aos responsáveis ​​pela manutenção ou qualidade que trabalham com eles. Ele mostra como realizar uma avaliação de competência em solução de problemas em uma tarefa equivalente segura, como uma bancada de testes ou um caso de falha digital, e como pontuá-la objetivamente. Trata-se do planejamento da avaliação. Os casos, as respostas e os limites de segurança devem ser validados pelas pessoas responsáveis ​​pelos equipamentos.

O que é uma avaliação de competências em resolução de problemas?

Uma avaliação de competências em resolução de problemas é uma tarefa estruturada na qual um operador diagnostica uma falha e a resposta é avaliada de acordo com critérios preestabelecidos. Na indústria, geralmente é executada em uma máquina de teste que substitui a máquina real, para que a produção não seja interrompida e todos os operadores se deparem com a mesma falha.

Fatos rápidos

1. Descreva o problema de desempenho.

Comece definindo as responsabilidades do operador. Ao se deparar com uma falha, ele deve analisar os sintomas, identificar possíveis causas, verificar primeiro as opções mais baratas e seguras e decidir se deve consertar, ajustar ou acionar a manutenção. A habilidade está no raciocínio, não em apertar botões.

Isso é diferente de seguir um procedimento. Um procedimento abrange as falhas que alguém já anotou. A resolução de problemas começa onde o procedimento termina. Pesquisas sobre treinamento de técnicos apontam na mesma direção: Schaafstal, Schraagen e van Berlo desenvolveram uma abordagem de treinamento, baseada em observação e na literatura de pesquisa, que combinava uma estratégia geral de resolução de problemas com uma análise de falha funcional do equipamento. Em sua avaliação em laboratório, os técnicos treinados dessa forma resolveram cerca do dobro de falhas em menos tempo do que aqueles treinados da maneira tradicional.Schaafstal e colegas, 2000Os participantes eram técnicos, não operadores de máquinas, portanto, use isso como uma orientação de projeto, não como uma promessa.

Se você ainda está desenvolvendo o treinamento em si, nosso guia para treinamento de solução de problemas do operador Este guia aborda a transição dos operadores da execução dos Procedimentos Operacionais Padrão (POP) para o diagnóstico de falhas. O conteúdo começa no momento da prova.

2. Diagnosticar as lacunas de aprendizagem e de contexto

Antes de elaborar uma avaliação, compare as necessidades da função com o que você mede atualmente.

1. O que medem os testes atuais? Um questionário escrito sobre o procedimento operacional padrão (POP) verifica a capacidade de memorização. A assinatura de um supervisor comprova que alguém observou o operador em ação enquanto ele operava a máquina. Nenhuma das duas opções exige que o operador diagnostique uma falha desconhecida.
2. Qual é a demanda cognitiva? Na taxonomia revisada de Bloom, determinar qual das várias causas se encaixa nos sintomas é a análise, e julgar qual ação é justificada é a avaliação. Nosso guia para Adequar as atividades de aprendizagem à taxonomia de Bloom Explica como interpretar essas exigências e adequar o teste a elas.
3. Onde se situa um teste seguro? A estrutura de Miller para avaliar a competência profissional separa quatro níveis: sabe, sabe como, demonstra como e faz. Seu modelo vem da educação médica (Miller, 1990), mas se encaixa aqui. Um teste de bancada ou de caso de falha digital "mostra como": o operador demonstra a habilidade em um ambiente controlado. Somente a observação na linha de produção "faz" isso. O primeiro pode ser executado com segurança para todos. O segundo leva tempo e precisa ser seguido.
4. Existe algo além da habilidade que esteja atrapalhando? Verifique se os operadores têm os manuais, as ferramentas e a autoridade para investigar, e se alguém tem tempo para fazê-lo. Um operador que faz um bom diagnóstico em bancada, mas recebe a ordem de reiniciar e continuar, não usará essa habilidade na linha de produção.

3. Escolha uma tarefa equivalente segura.

Você precisa de algo que reproduza o problema de diagnóstico sem colocar em risco pessoas ou a produção. Três opções, em ordem crescente de custo.

• Um caso de falha digital. Um breve cenário com os sintomas, uma captura de tela da IHM (interface homem-máquina), histórico de alarmes e algumas leituras que o operador pode solicitar. É barato, repetível e pode ser executado para toda a equipe de um turno simultaneamente.
• Uma bancada de testes. Uma plataforma de treinamento ou uma máquina desativada com falhas inseridas propositalmente por uma pessoa qualificada. Isso permite a realização de verificações práticas, como a inspeção de um sensor ou o rastreamento de um sinal.
• Um histórico de falhas registrado. Uma falha real do passado, reconstruída a partir de registros e anotações de manutenção com a solução já conhecida. É realista e reflete as peculiaridades da usina.

Independentemente da sua escolha, duas regras se aplicam. Nunca induza uma falha em equipamentos energizados e mantenha todas as normas de isolamento de energia e permissões já em vigor no seu local. Defina em conjunto com o responsável pela manutenção quais ações um operador pode realizar, para que o teste não recompense procedimentos que ele não está autorizado a executar na linha.

4. Analise um exemplo realista.

Exemplo ilustrativo. Um responsável pela manutenção ou qualidade deve validar o caso, as evidências e os critérios de resposta antes de utilizá-los.

O caso. Um caso digital descreve uma máquina de envase que para intermitentemente com um alarme de "produto não detectado". O operador recebe o histórico do alarme, uma foto da posição do sensor, o registro de limpeza e uma anotação informando que o produto passou a ter uma película mais brilhante na semana passada. O operador pode solicitar leituras adicionais a partir de uma lista. O gabarito com as respostas do especialista indica a causa mais provável (um sensor que lê incorretamente a nova película), a ordem em que as verificações devem ser realizadas e as ações que o operador pode tomar.

A tarefa. O operador indica o que considera estar errado, lista as verificações que faria em ordem, nomeia as evidências para cada uma e informa quando pararia e chamaria a manutenção.

Uma primeira tentativa. "Reinicie a máquina e apague o alarme. Se ela parar novamente, chame a manutenção." O operador seguiu o procedimento operacional padrão e não ofereceu nenhum diagnóstico.

Feedback e tentativa novamente. O avaliador pergunta o que mudou recentemente e qual verificação diferenciaria um problema no sensor de um problema na alimentação do produto. A nova tentativa solicita que as verificações sejam feitas na ordem indicada.

Uma tentativa mais robusta. "O alarme indica que o produto não foi detectado, mas o produto está chegando. O filme foi trocado na semana passada e o sensor é a única parte que o lê. Primeiro, eu verificaria se o sensor está sujo ou danificado, pois isso leva apenas um minuto e é seguro. Se estiver limpo, eu pediria à equipe de manutenção para verificar a configuração do sensor para o novo filme. Eu não ajustaria o sensor por conta própria, pois o procedimento operacional padrão (POP) atribui essa tarefa à manutenção. Preciso saber se as interrupções começaram com o novo filme."

Por que cada resposta é defensável ou incompleta. Avalie cada item de acordo com os critérios aprovados, e não com base na preferência do avaliador. A primeira tentativa segue uma regra, mas não oferece um diagnóstico. A tentativa mais robusta ordena as verificações das mais baratas e seguras às mais caras, vincula cada uma a evidências, respeita os limites da autoridade do operador e especifica o que ainda precisa saber.

5. Avalie objetivamente

Objetivo não significa uma longa lista de verificação. Significa que dois avaliadores chegariam à mesma pontuação com base na mesma resposta. Quatro hábitos aumentam essa probabilidade.

1. Resolva o problema da carcaça e da chave com antecedência. Cada operador recebe o mesmo caso ou um caso semelhante, e o gabarito indica a causa provável, as alternativas defensáveis ​​e os erros críticos antes da pontuação ser divulgada.
2. Avalie as evidências observáveis, não as impressões. Utilize uma rubrica curta com três critérios e de 0 a 2 pontos de ancoragem, definidos em conjunto com o responsável pela manutenção ou pela qualidade.
3. Peça a dois avaliadores que pontuem de forma independente e, em seguida, compare os resultados. As divergências mostram onde um critério é vago. Refine a redação e, em seguida, avalie um novo conjunto de respostas.
4. Mantenha o tempo em proporção. Registre quanto tempo cada operador leva, mas não deixe que a velocidade comprometa a sequência e a precisão. Tempo de bancada não é tempo de linha de produção, e um palpite rápido e errado é pior do que um palpite mais lento e preciso.

Critérios de avaliação: 0 significa ausente ou sem suporte, 1 significa parcial com omissões relevantes e 2 significa completo e justificado de acordo com os critérios acordados. Defina erros críticos separadamente, por exemplo, uma ação insegura ou um passo além da autoridade, para que uma boa pontuação geral não possa ocultar um erro. Esta rubrica é um ponto de partida proposto, não um padrão de prontidão validado. Nosso guia para Avaliação do discernimento e da resolução de problemas no treinamento Aborda a calibração de avaliadores e a elaboração de critérios de avaliação com mais detalhes.

6. Verificar a transferência e planejar o acompanhamento.

Um bom resultado em bancada demonstra que o operador consegue diagnosticar problemas em um ambiente controlado. Isso não significa que ele conseguirá fazer o mesmo em uma linha de produção ruidosa. Planeje a próxima etapa antes do primeiro teste.

• Use um caso nunca visto. Atribua um ponto a um caso correspondente que o operador não tenha atendido, portanto, você não recompensa a memorização da primeira resposta.
• Faça o acompanhamento na linha. Após um período adequado de trabalho, peça a um responsável pela manutenção que revise uma amostra das decisões recentes do operador em relação a falhas, ou observe uma falha pessoalmente.
• Compare coisas semelhantes. Meça as mesmas duas coisas na linha de base e no acompanhamento, sequência diagnóstica e concordância entre os avaliadores, com um grupo, denominador e período de tempo definidos.

Se você também monitora o tempo de inatividade, verifique o que mais mudou no mesmo período, como um novo produto, uma alteração no cronograma de manutenção ou um novo sensor, antes de creditar o treinamento.

Onde a entrega interativa ajuda

Um caso de falha digital é ideal para apresentação interativa, pois o operador define sua resposta antes de ver a de qualquer outra pessoa. Em uma sessão facilitada, você pode mostrar o histórico de alarmes, pedir a cada operador que escolha a primeira verificação que faria e, em seguida, mostrar o resultado antes de discuti-lo. O mesmo caso pode então ser analisado individualmente, com uma questão aberta para o raciocínio, que será avaliada por dois avaliadores. AhaSlides Oferece suporte ao aprendizado interativo e à transição entre aulas ao vivo e autodidáticas. Verifique se alguma função de autoria, feedback ou geração de relatórios que você pretende utilizar está integrada ao seu próprio fluxo de trabalho e considere simuladores, IA e integrações de sistema como recursos externos ou não confirmados até que você os tenha visto em funcionamento.

O que isso não vai resolver

• Conhecimento insuficiente ou inexistente sobre os equipamentos. Se o operador nunca viu como a máquina funciona, teste e ensine-o primeiro.
• Autoridade. Se os operadores não tiverem permissão para investigar, uma pontuação melhor não muda nada.
• Pressão do tempo. Uma linha de produção que prioriza a produtividade em detrimento do diagnóstico ensinará os operadores a recomeçar e seguir em frente.
• Limites de transferência. Uma tarefa equivalente segura não pode reproduzir ruído, estresse ou o custo de uma chamada errada.
• Desvio do avaliador. As pontuações voltam a divergir se os avaliadores pararem de comparar.

Informe esses problemas aos patrocinadores com antecedência e defina quem ficará responsável por resolvê-los.

Perguntas frequentes

O que é uma avaliação de competências em resolução de problemas?

Uma tarefa estruturada na qual um operador diagnostica uma falha e a resposta é avaliada de acordo com critérios preestabelecidos.

Como testar a resolução de problemas sem interromper a produção?

Utilize um substituto seguro para a máquina em funcionamento, como um caso de falha digital, uma bancada de treinamento ou um histórico de falhas gravado, e nunca injete falhas em equipamentos em funcionamento.

Como você define o objetivo de pontuação?

Prepare o caso e o gabarito com antecedência, avalie as evidências observáveis ​​com base em critérios predefinidos e peça a dois avaliadores que façam a avaliação de forma independente e comparem os resultados.

Uma pontuação em teste de bancada comprova que um operador consegue solucionar problemas na linha de produção?

Não. Isso demonstra a habilidade em um ambiente controlado. Confirme com trabalho supervisionado e uma revisão de decisões reais de erros.

Por onde começar

Escolha uma falha recorrente em uma máquina operada por seus funcionários. Peça a um responsável pela manutenção que a descreva em um breve relatório digital, apresentando a causa provável, as alternativas defensáveis ​​e as ações que um operador pode tomar. Elabore a rubrica com três critérios, peça a dois avaliadores que pontuem cinco respostas independentemente e compare os resultados. Corrija os critérios em que houver discordância e, em seguida, avalie um novo caso correspondente antes de implementar o teste.

Para ver como um caso de falha como este pode ser executado em tempo real e reutilizado posteriormente de forma autônoma, explore AhaSlides.