Na segunda-feira, um gerente de treinamento abre o painel de controle de aprendizagem. A taxa de conclusão é de 96%. A satisfação média é de 4.5 em 5. Então, um líder de equipe faz a pergunta incômoda: "As pessoas estão lidando com essas reclamações de clientes de forma diferente?". O painel não consegue responder. Ele registra apenas que o curso foi concluído, sem indicar nenhuma mudança no trabalho.
Essa é a lacuna que a maioria das métricas de treinamento deixa em aberto. A conclusão informa quem chegou ao fim. Não informa quem aprendeu a habilidade, quem a utilizou ou se houve crescimento nos negócios. Este guia oferece uma hierarquia de evidências e um plano de mensuração de uma página que você pode preencher para qualquer programa, sem a necessidade de um estudo completo de ROI causal para cada curso.
O cenário inicial acima é ilustrativo e não se trata de um caso real de um cliente.
Fatos rápidos
| Questão | Resposta curta |
|---|---|
| Qual o problema com as taxas de conclusão? | Eles medem a participação, não a aprendizagem ou a mudança no trabalho. |
| O que você deveria medir em vez disso? | Aprendizagem com base em objetivos, transferência para o trabalho e, em seguida, resultados operacionais com contexto. |
| Será que todo curso precisa de análise de ROI? | Não. A profundidade das evidências deve ser compatível com a decisão que está sendo tomada. |
| O que deve constar em um plano de medição? | Resultado, medida, fonte, denominador, momento e responsável |
1. Defina a decisão que os dados devem embasar.
Antes de escolher uma métrica, defina a decisão que ela irá embasar. Três métricas comuns exigem diferentes tipos de evidências:
- Melhore o programa. É preciso saber onde os alunos tiveram dificuldades, portanto, os resultados em nível de item e de tarefa são mais importantes do que uma nota de aprovação.
- Confirme a prontidão. É necessário comprovar que uma pessoa consegue executar uma tarefa definida de acordo com um padrão acordado, geralmente por meio de observação ou de uma tarefa avaliada.
- Avaliar a implementação. É necessário comparar grupos ou períodos, portanto, medidas, denominadores e prazos consistentes são de suma importância.
Se você não consegue afirmar qual decisão os dados sustentam, você coletará tudo e chegará a poucas conclusões. Um teste rápido: se o resultado fosse ruim, o que você faria de diferente? Se a resposta for "nada", a métrica não está cumprindo seu propósito.
2. Avaliar a aprendizagem em relação aos objetivos
Comece pela tarefa do trabalho, não pelo conteúdo do curso. Escreva o objetivo como algo que uma pessoa faz ("triar uma reclamação complexa usando os critérios acordados"), e então elabore a avaliação de acordo. O Centro Eberly da Carnegie Mellon deixa isso bem claro: avaliações, objetivos e atividades instrucionais devem se reforçar mutuamente, e ensinar habilidades analíticas enquanto se avalia apenas a memorização de fatos faz com que os alunos pratiquem a coisa errada.Orientações do Centro Eberly sobre o alinhamento de avaliações, objetivos e estratégias de ensino.).
Na prática, isso lhe dá três opções de design:
- Defina uma linha de base. Avalie a tarefa antes do treinamento ou utilize um breve diagnóstico para saber o ponto de partida de cada aluno. Sem uma avaliação inicial, uma boa pontuação após o treinamento pode simplesmente refletir uma habilidade prévia.
- Utilize um acompanhamento correspondente. A avaliação posterior deve testar a mesma tarefa e o mesmo padrão, utilizando um novo caso em vez daquele praticado. Repetir os mesmos itens reforça a memorização das respostas.
- Mantenha a satisfação em um lugar separado. As reações dos alunos ajudam a melhorar a experiência, mas os Centros de Controle e Prevenção de Doenças dos EUA (CDC) são explícitos em suas diretrizes de avaliação de treinamento ao afirmar que a satisfação do aluno não determina se um treinamento é eficaz (CDC, avaliação do treinamento: medindo a eficáciaDenuncie, mas nunca como substituto para o aprendizado.
Uma rubrica simples de três pontos pode ajudar nesse caso. Atribua uma pontuação de 0 (ausente ou sem embasamento), 1 (parcial, com omissões relevantes) ou 2 (completo e justificado) a cada critério e defina os erros críticos separadamente para que a pontuação geral não oculte uma falha grave. Adapte os critérios com um especialista no assunto; uma rubrica elaborada por você é um ponto de partida, não um padrão validado.
3. Avaliar a transferência após a exposição ao trabalho.
Aprender algo em um curso e aplicar esse conhecimento no trabalho são eventos diferentes. As diretrizes do CDC (Centro de Controle e Prevenção de Doenças) distinguem a avaliação da aprendizagem da avaliação da transferência da aprendizagem, que questiona o quão bem o aluno aplica o que aprendeu ao retornar ao ambiente de trabalho.
A transferência de conhecimento requer tempo. Agende um acompanhamento após o aluno ter tido uma oportunidade real de usar a habilidade, o que pode levar duas semanas para uma tarefa diária e vários meses para uma tarefa rara. Em seguida, colete evidências de uma ou mais das seguintes maneiras:
- Revisão por observação ou amostra de trabalho de acordo com os mesmos critérios utilizados no treinamento.
- Contribuição do gestor ou dos colegas Utilizando perguntas específicas, baseadas no comportamento, em vez de "eles melhoraram?".
- Evidências do sistema onde a tarefa deixa um rastro, como um formulário preenchido ou um caso registrado.
Registre as barreiras com o mesmo cuidado que os resultados. Um aluno que consegue realizar a tarefa no treinamento, mas não a realiza no trabalho, pode não ter as ferramentas, a autoridade, o tempo ou o apoio do gestor necessários. Essas limitações podem persistir mesmo após a melhora do desempenho na tarefa em sala de aula, e são as constatações com maior probabilidade de influenciar sua próxima decisão. Pergunte "o que o impediu de aplicar isso?" e categorize as respostas.
4. Interpretar os resultados operacionais dentro do contexto.
Indicadores operacionais como taxas de erro, tempos de processamento ou taxas de resolução são importantes porque representam o que a organização considera essencial. Além disso, são os mais fáceis de serem mal interpretados.
Três hábitos te mantêm honesto:
- Utilize uma taxa comparável. As contagens podem ser enganosas quando os volumes mudam. Compare as taxas com um denominador definido: erros por cem casos, não erros no total.
- Liste explicações alternativas. A sazonalidade, uma nova ferramenta, uma mudança na equipe ou uma atualização de política podem, todos esses fatores, alterar o mesmo número no mesmo trimestre. Anote-os antes de analisar o resultado.
- Especifique que tipo de alegação é. Se a equipe treinada apresentar um desempenho melhor do que a equipe não treinada, isso é uma associação observada. Uma afirmação causal requer um delineamento que exclua as alternativas, como um grupo de comparação ou uma implementação gradual. A maioria dos programas não precisa desse nível de rigor, e não há problema em afirmar isso simplesmente: "os resultados seguiram a direção esperada; veja o que mais mudou."
Evite prometer retorno sobre o investimento apenas com o treinamento. Relate o que você observou, o contexto e as limitações.
5. Elabore um plano de medição prático.
Coloque os dados em uma tabela para cada programa. Cada linha representa uma pergunta que os dados devem responder.
| Campo | O que escrever | Por que é importante |
|---|---|---|
| Resultado | A mudança que você espera, em termos observáveis. | Impede objetivos vagos |
| Medir | A métrica específica ou a pontuação da rubrica. | Torna isso testável |
| fonte | De onde vem os dados | Mostra se existe e se é confiável. |
| Denominador | Quem ou o que é a medida? | Impede contagens brutas enganosas |
| Cronometragem | Quando for coletado | Separa a aprendizagem da transferência. |
| Proprietário | A pessoa designada como responsável | Faz acontecer |
Exemplo prático (ilustrativo, sem resultados mostrados)
Imagine um programa para ajudar a equipe de suporte ao cliente a lidar com reclamações complexas. A solução: confirmar a prontidão antes que os agentes assumam casos complexos sem um colega de apoio.
| Resultado | Medir | fonte | Denominador | Cronometragem | Proprietário |
|---|---|---|---|---|---|
| Os agentes triam as solicitações de escalonamento usando os critérios acordados. | Pontuação da rubrica (0 a 2 por critério, sem erros críticos) em um novo caso. | Prática de casos pontuados | Agentes que concluíram o programa | Fim do programa, em comparação com a linha de base pré-treinamento. | Líder de treinamento |
| Os agentes aplicam as etapas de triagem em casos reais. | Pontuação da rubrica em exemplos de escalonamentos reais. | Exemplo de revisão de qualidade | Amostras de escalonamentos por agente | Quatro a seis semanas após as primeiras escaladas ao vivo | Líder de equipe |
| São conhecidas as barreiras à aplicação das etapas. | Razões categorizadas a partir de um breve acompanhamento | Verificação de acompanhamento do agente | Agentes que lidaram com uma escalada | Mesma janela de acompanhamento | Líder de treinamento |
| Os resultados da escalada são monitorados no contexto. | Taxa de reabertura de casos, com alterações concomitantes observadas. | Sistema de casos | As escaladas foram encerradas no período | Trimestralmente, em comparação com o período anterior. | Analista de operações |
Note o que está ausente: nenhuma promessa de melhoria percentual e nenhuma afirmação de que o treinamento por si só seja responsável pela remada final. O plano o compromete a coletar evidências honestas, não a uma resposta específica.
Onde a entrega interativa e adaptativa se encaixa
A mensuração torna-se mais fácil quando o próprio aprendizado gera evidências. Atividades interativas, como questões de casos com pontuação, enquetes sobre cenários e breves verificações de conhecimento, fornecem dados por aluno e por item durante o treinamento, e o aprendizado adaptativo pode direcionar os alunos de acordo com seu desempenho. Modelos híbridos que alternam entre sessões ao vivo e estudo individual permitem que você faça um diagnóstico no seu próprio tempo, pratique um caso ao vivo com feedback e complete uma revisão de acompanhamento de forma assíncrona.
Essas funcionalidades corroboram as evidências apresentadas nas linhas um e dois do seu plano. Elas não substituem as linhas de transferência e resultado, que dependem do que acontece na prática. Verifique quais recursos específicos de geração de relatórios e criação de conteúdo você precisa em uma demonstração antes de se comprometer com um projeto e considere qualquer ferramenta ou integração externa como separada do fluxo de trabalho principal até que você a tenha visto em funcionamento.
Experimente com seu próprio programa.
Preencha o plano de seis campos para um programa que você executa atualmente, começando pela decisão que ele deve apoiar.
Para ver como as evidências de aprendizado do seu plano podem ser registradas em uma sessão ao vivo ou em seu próprio ritmo, explore o AhaSlides.
Perguntas frequentes
Quais são as métricas de eficácia do treinamento?
São as métricas que você usa para avaliar se o treinamento atingiu seu objetivo. Um conjunto útil abrange o aprendizado em relação aos objetivos, a transferência para o trabalho e os resultados operacionais interpretados em contexto, e não apenas a conclusão e a satisfação.
A taxa de conclusão é uma métrica útil?
É útil para monitorar a participação e identificar problemas de acesso. Não demonstra que alguém aprendeu ou aplicou uma habilidade, portanto, utilize-o em conjunto com uma avaliação e um acompanhamento.
Quanto tempo depois do treino devo medir a transferência?
Tempo suficiente para que os alunos tenham uma chance real de usar a habilidade. Uma tarefa diária pode precisar de algumas semanas, enquanto uma tarefa ocasional requer mais tempo. Defina esse período no seu planejamento antes do início do treinamento.
Preciso comprovar o retorno sobre o investimento (ROI) para cada curso?
Não. Combine as evidências com a decisão. Muitos programas se beneficiam de evidências de aprendizado e transferência, além de resultados operacionais relatados com contexto. Reserve a análise causal para programas de alto risco ou alto custo, onde o projeto a permita.
