Rubrica de avaliação de desempenho: como avaliar o discernimento e a resolução de problemas em treinamentos

Dois instrutores assistem à mesma gravação de uma nova líder de equipe decidindo se deve ou não encaminhar uma reclamação de um cliente para instâncias superiores. O primeiro a avalia com nota máxima: ela manteve a calma e escolheu uma opção sensata. O segundo a avalia com nota mediana: ela nunca explicou o motivo da escolha nem o que desconhecia. Ambos os instrutores são experientes. Ambos utilizaram o mesmo formulário. Nenhum deles está errado, e esse é o problema. O formulário não indicava o que eles deveriam observar.

Este é um cenário ilustrativo, não um caso documentado de um cliente. Ele demonstra por que o julgamento e a resolução de problemas são difíceis de avaliar: a evidência está no raciocínio, e o raciocínio é facilmente pontuado de forma diferente.

Este guia destina-se a designers instrucionais, gestores de formação e responsáveis ​​pela área de Aprendizagem e Desenvolvimento que necessitam de uma rubrica de avaliação de desempenho que possam defender. Abrange cinco etapas: definir as evidências, redigir critérios observáveis, descrever os indicadores de desempenho, calibrar os avaliadores e testar a rubrica. Termina com um exemplo prático e as limitações que ainda persistem.

O que é uma rubrica de avaliação de desempenho?

Uma rubrica de avaliação de desempenho é um guia de pontuação para uma tarefa em que o aluno realiza algo em vez de apenas recordar algo. Ela lista os critérios relevantes, descreve o que cada nível de pontuação representa e fornece aos avaliadores uma base comum para a tomada de decisão. Para tarefas de julgamento e resolução de problemas, geralmente consiste em um estudo de caso: o aluno decide o que fazer, explica a decisão e indica o que mais precisaria saber.

Uma rubrica não é um teste de conhecimento. Um teste de memorização pode confirmar se alguém conhece as regras. Uma rubrica mostra se a pessoa consegue aplicar essas regras quando a situação é complexa.

Fatos rápidos

1. Defina as evidências de desempenho.

Comece pela tarefa, não pelo formulário. Descreva a situação que o aluno enfrentará, a decisão que ele precisa tomar e o que um desempenho competente tornaria visível. Seja específico quanto ao contexto e aos limites: qual a autoridade do aluno, quais informações lhe são fornecidas e o que está sendo deliberadamente omitido?

Um teste útil é perguntar a que um observador poderia apontar. "Demonstra bom senso" não pode ser apontado. "Indica qual procedimento se aplica, menciona um fato que está faltando e diz a quem perguntaria" pode ser apontado.

Se você não consegue descrever as evidências em frases claras, a tarefa não está pronta para ser avaliada. Corrija a tarefa primeiro. Uma tarefa vaga gera uma rubrica vaga, por mais refinada que pareça.

2. Escreva critérios observáveis.

Escolha um pequeno número de critérios que correspondam ao objetivo de aprendizagem. Para julgamento e resolução de problemas, três critérios funcionam bem em muitas situações:

• Execução da tarefa. O aluno toma uma decisão dentro de sua alçada e registra a escolha e as evidências que a justificam.
• Raciocínio. O aluno explica as restrições, as alternativas e o que ainda é incerto.
• Limites. O aluno utiliza os procedimentos aprovados e pede ajuda quando faltam informações ou autorização.

Descreva cada critério como algo observado em uma decisão, uma explicação ou um resultado. Evite palavras que descrevam uma característica, como "sólido", "maduro" ou "bom". Dois avaliadores podem interpretar essas palavras de maneiras diferentes.

Mantenha o número baixo. Cada critério adicional aumenta a possibilidade de discordância entre os avaliadores e dá aos alunos um motivo para se concentrarem apenas nas notas, em vez de refletirem sobre o assunto. Se um critério não altera sua interpretação do resultado, descarte-o.

3. Descreva os indicadores de desempenho.

Uma âncora é uma breve descrição de como um determinado nível de pontuação se apresenta. Sem âncoras, uma pontuação de 1 ou 2 significa o que o avaliador quiser que signifique.

Uma escala simples de três níveis costuma ser suficiente para uma primeira versão:

Para cada critério, adicione um breve exemplo de como soam os valores 0, 1 e 2 em sua tarefa. Use a mesma linguagem de tentativas anteriores sempre que possível. Escritas de forma abstrata tendem a se tornar adjetivos vagos.

Trate os erros críticos separadamente. Algumas falhas não devem ser simplesmente ignoradas na avaliação geral. Agir além da sua autoridade, ignorar uma medida de segurança ou ultrapassar um limite de conformidade são exemplos. Liste-as separadamente dos critérios de pontuação e indique a consequência: um erro crítico é registrado e acompanhado, independentemente da pontuação total. Caso contrário, um aluno pode obter uma boa pontuação em raciocínio e limites, mesmo tomando uma atitude inaceitável no trabalho.

4. Calibrar os avaliadores usando exemplos

Uma rubrica não se avalia sozinha. Os avaliadores ainda a interpretam, portanto, calibre-a antes de avaliar um grupo.

1. Escolha dois ou três exemplos de respostas que difiram em qualidade. Respostas reais de um piloto são as melhores.
2. Antes de qualquer discussão, peça a cada avaliador que os classifique de forma independente.
3. Compare as pontuações e, mais importante, as evidências citadas por cada pessoa.
4. Nos casos em que as pontuações forem diferentes, identifique a formulação que causou a discrepância e altere o critério ou o parâmetro de referência.
5. Repita o processo com um novo exemplo até que os avaliadores atribuam a mesma pontuação pelos mesmos motivos.

O objetivo é uma leitura compartilhada dos critérios, não a concordância por si só. Se dois avaliadores atribuírem a mesma pontuação por razões diferentes, a rubrica continua ambígua.

O que diz a pesquisa? As evidências são contraditórias, portanto, esteja preparado para alguma discordância e mensure-a. Em um estudo de 2022 sobre exames clínicos gravados em vídeo, publicado no Fujita Medical Journal, dois avaliadores pontuaram quarenta vídeos. Nos dez primeiros, eles pontuaram sem moderação e, nos demais, discutiram suas pontuações com base nos critérios da rubrica a cada vez. A concordância, medida com um coeficiente kappa ponderado, aumentou de 0.49 nos dez primeiros vídeos para 0.82 nos dez últimos (Watari e colegas, 2022Foi um estudo pequeno, focado em uma única tarefa de exame, então considere-o como um indício de que a moderação pode ajudar, e não como uma promessa.

O treinamento por si só também não é garantia de sucesso. Um estudo randomizado de 2014, com 21 avaliadores avaliando 242 estudantes de medicina, constatou que uma breve sessão de treinamento sobre critérios de avaliação não melhorou significativamente a precisão dos avaliadores individuais, embora os avaliadores treinados tenham pontuado de forma mais rigorosa e próxima à de um painel de referência. Os autores concluíram que a avaliação de desempenho é altamente individual.Weitz e colegas, 2014A leitura prática consiste em manter a calibração em exemplos reais, verificar a concordância à medida que se pontua e não presumir que uma única sessão de briefing seja suficiente.

5. Teste e revise a rubrica.

Antes de usar a rubrica para decisões importantes, faça um teste piloto.

• Realize a atividade com um pequeno grupo de alunos e dois ou mais avaliadores.
• Registre os pontos em que os avaliadores discordam e peça a cada um que explique sua pontuação.
• Verifique se os critérios separam respostas fortes de respostas fracas. Se todos os alunos obtiverem pontuação 2, a tarefa ou os critérios de avaliação são muito fáceis.
• Pergunte aos alunos o que a rubrica deixou claro e o que os confundiu.
• Revise e, em seguida, faça um novo teste piloto com um novo caso.

Seja honesto sobre o que o projeto piloto demonstra. Uma rubrica não validada é um rascunho em desenvolvimento. Não se trata de um padrão de certificação universal e não deve ser usada para tomar decisões importantes sobre pessoas até que um profissional da área a tenha revisado e você tenha evidências de que ela funciona para a sua população.

Um exemplo prático: uma decisão de escalonamento.

Ilustrativo. O profissional que realiza esse trabalho deve validar o caso e os critérios de resposta antes de utilizá-los.

O caso. Um cliente relata um atraso no pedido e solicita um reembolso total. O atendente pode oferecer um crédito até um determinado valor sem necessidade de aprovação. O reembolso é superior a esse valor. O gerente estará indisponível por duas horas. As anotações mostram quatro pedidos feitos este ano.

O que o aluno faz. Escolha uma resposta, explique a decisão, cite as evidências e diga de que informações ou apoio adicionais eles precisariam.

A resposta recebeu nota 1 em raciocínio. "Eu ofereceria o reembolso porque o cliente está insatisfeito." A decisão é declarada, mas não há provas, nenhuma menção ao limite e nenhum indício do que está faltando.

A resposta recebeu nota 2 em raciocínio. “Não reembolsaria acima do meu limite sem aprovação. As anotações mostram quatro pedidos este ano, então este cliente é importante, mas ainda não confirmei onde está o pacote. Ofereceria um crédito dentro do meu limite agora, informaria ao cliente quando o gerente responderia e pediria à transportadora uma atualização de rastreamento para que a aprovação seja rápida.”

Um erro crítico. Emitir o reembolso sem aprovação é registrado como um erro crítico, independentemente das outras pontuações, porque ultrapassa a autoridade do agente.

Observe o que as âncoras fizeram. Os dois avaliadores da abertura agora procurariam as mesmas coisas: a decisão, as evidências citadas, a incerteza declarada e o limite.

Onde a entrega interativa ajuda

Os formatos interativos auxiliam na prática e na calibração, pois cada pessoa se compromete com uma resposta antes de ver a do grupo. Em uma sessão ao vivo, um facilitador pode mostrar uma resposta de exemplo, pedir a cada avaliador que a avalie individualmente e, em seguida, revelar a distribuição das respostas antes da discussão. Os mesmos casos podem ser usados ​​em formato de autoaprendizagem para preparação. O AhaSlides oferece suporte ao aprendizado interativo e à transição entre sessões ao vivo e autoaprendizagem. Verifique qualquer função específica de autoria, feedback ou relatório que você planeja utilizar em relação ao seu próprio fluxo de trabalho e considere os recursos de IA, simulação e integração como externos ou não confirmados até que você os tenha visto em funcionamento. Para obter orientações sobre como escolher entre os formatos, consulte [link para a documentação]. Quando usar o aprendizado adaptativo, interativo e ao vivoPara adequar as atividades ao nível de raciocínio que deseja avaliar, consulte nosso guia. Alinhar as atividades de aprendizagem à Taxonomia de Bloom.

Meça o que mudou.

Defina antecipadamente quais evidências demonstrariam que os alunos são capazes de realizar a tarefa. Compare o desempenho em um caso novo e inédito com um caso de referência, observando a qualidade do raciocínio e da decisão. Defina quem está incluído, o denominador e o período de tempo. Se as pontuações melhorarem, verifique o que mais mudou no mesmo período, como uma nova ferramenta ou uma combinação diferente de tarefas, antes de creditar o treinamento.

Restrições que podem permanecer

Mesmo uma rubrica bem elaborada não resolve tudo:

• Tempo do avaliador. A calibração e os testes piloto exigem tempo que precisa ser planejado.
• Autoridade no trabalho de verdade. Um aprendiz pode raciocinar bem no exercício e ainda assim não ter autoridade para agir dessa forma no trabalho.
• Cobertura do caso. Um caso isolado demonstra uma decisão específica. Uma única pontuação não descreve o julgamento de alguém em geral.
• Transferência. O desempenho em um ambiente seguro não é o mesmo que o desempenho no trabalho. Verifique a transferência após exposição adequada.

Planeje soluções separadas para esses problemas e comunique isso aos patrocinadores. Uma rubrica torna a avaliação mais clara e justa. Ela não transforma uma nota em garantia de aprovação.

Perguntas frequentes

Qual a diferença entre uma rubrica e uma lista de verificação?

Uma lista de verificação registra se algo foi feito. Uma rubrica descreve o quão bem a tarefa foi realizada, em vários níveis, sendo, portanto, adequada para tarefas que exigem julgamento e explicação.

Quantos critérios uma rubrica deve ter?

Poucas, geralmente de três a cinco. Escolha as que correspondem ao objetivo de aprendizagem e descarte as que não alterariam o que você fará com o resultado.

Uma rubrica pode eliminar a discordância entre avaliadores?

Não. Pode reduzir o problema, especialmente com referências e calibração em exemplos reais, mas você ainda deve verificar a concordância ao pontuar e revisar a redação confusa.

Devo usar uma rubrica para decisões de alto risco?

Somente após um teste piloto e revisão por um profissional da área. Trate uma nova rubrica como um rascunho até que você tenha evidências de que ela funciona para seus alunos e para a tarefa em questão.

Por onde começar

Escolha uma decisão que seus alunos precisam tomar bem. Descreva as evidências que um desempenho competente demonstraria, selecione três critérios, elabore uma escala de 0 a 2 para cada um e liste os erros críticos. Em seguida, peça a dois avaliadores que avaliem o mesmo exemplo de forma independente, comparem as avaliações e corrijam a redação antes de atribuir qualquer nota.

Para ver como um caso pode ser simulado ao vivo com sua própria equipe e reutilizado posteriormente, em seu próprio ritmo, explore o AhaSlides.