A prontidão para a prática independente é uma avaliação construída a partir de diversas observações de desempenho, e não de uma única nota. Um residente que se sai bem em um caso simulado e de forma inconsistente em outro fornece informações importantes, mas não suficientes. Este guia destina-se a diretores de educação médica e coordenadores de programas de residência. Ele aborda cinco decisões: a tarefa observável a ser avaliada, um caso incomum e representativo, critérios observáveis com pontos de referência, como calibrar os avaliadores e como usar os resultados. Trata-se de planejamento de avaliação, e não de diretrizes clínicas. A autorização para a prática independente é de responsabilidade da sua instituição, e um especialista do seu programa deve revisar o caso e a rubrica antes de sua utilização.
O que a pesquisa diz e o que ela não diz.
Vale a pena conhecer dois métodos publicados. Em 2005, ten Cate propôs atividades profissionais confiáveisUnidades de trabalho que um supervisor decide que um estagiário pode realizar sem supervisão, com base na competência observada. Em 1997, Martin e seus colegas descreveram o Avaliação objetiva estruturada de habilidades técnicas (OSATS), que combina uma lista de verificação específica para cada tarefa com uma escala de avaliação global para residentes de cirurgia.
Ambos descrevem como estruturar o julgamento. Nenhum deles demonstra que um determinado candidato está pronto, e nenhum substitui a supervisão de especialistas. Use-os para moldar seus critérios e, em seguida, teste-os com seus próprios avaliadores.
Fatos rápidos
| Questão | Resposta curta |
|---|---|
| O que você está julgando? | Prontidão, avaliada a partir de múltiplas observações de desempenho. |
| Qual é a pontuação de um simulador? | Um único dado. Não se trata de uma autorização para prática independente. |
| O que torna os critérios utilizáveis? | Comportamentos observáveis com exemplos de trabalhos fracos, em desenvolvimento e proficientes. |
| O que torna as pontuações confiáveis? | Os avaliadores fazem a pontuação de forma independente e, em seguida, comparam as evidências. |
| Que tipo de pontuação você deve evitar? | Confiança ou velocidade, por si só. |
| O que não pode decidir? | Autorização. Isso depende do processo específico da sua instituição. |
1. Defina o desempenho que está sendo avaliado.
Descreva a tarefa observável: avaliar a prontidão a partir de múltiplas observações de desempenho. Especifique a função, o contexto e os limites de autorização antes de definir uma pontuação. "Competência independente" significa algo diferente para um residente em um procedimento, ambiente e nível de supervisão do que em outro. Anote o que o residente está sendo avaliado para fazer, com quem e o que acontece se ele for considerado apto. Nosso guia para Adequar as atividades de aprendizagem à taxonomia de Bloom Ajuda você a separar as tarefas que precisam de análise daquelas que precisam de julgamento.
2. Selecione uma tarefa representativa e desconhecida.
Escolha um caso que o participante não tenha ensaiado, como um segundo caso simulado que difira do primeiro da mesma forma que os casos reais. Explique como ele representa o trabalho real e o que ele não consegue estabelecer. Um único caso desconhecido pode mostrar se as habilidades são transferíveis, mas não abrange todas as variações, todas as equipes ou todas as complicações. É por isso que uma decisão se baseia em diversas observações de desempenho, distribuídas entre diferentes casos e períodos, e não em apenas uma.
3. Escreva critérios e âncoras observáveis.
Crie critérios com base em dois aspectos: consistência de desempenho entre os casos e concordância entre os avaliadores. Descreva como cada pontuação se manifesta no comportamento. Para um dos critérios, você poderia descrever:
- Fraco (0). Necessita de lembretes repetidos, pula uma etapa ou não consegue explicar uma escolha.
- Em desenvolvimento (1). Conclui a tarefa com omissões ou qualidade inconsistente entre os casos.
- Proficiente (2). Conclui a tarefa, explica as opções e lida com uma variação no caso.
Evite avaliações baseadas apenas em confiança ou velocidade. Uma pessoa confiante pode estar errada, e uma pessoa lenta pode ser cautelosa. Ambas as características podem estar presentes na avaliação, mas não devem substituir as evidências do que foi feito. Utilize a estrutura descrita por Martin e seus colegas, uma lista de verificação específica para cada tarefa ao lado de uma avaliação global, caso isso ajude seus avaliadores a separar as etapas da qualidade geral.
4. Calibrar os avaliadores e executar um projeto piloto.
A calibração é o processo em que as pontuações se tornam comparáveis:
- Avalie de forma independente. Peça a dois ou mais avaliadores que pontuem o mesmo exemplo gravado ou observado, sem conversarem entre si.
- Compare as evidências. Peça a cada um que diga o que observou que levou à pontuação. A discordância geralmente reside em critérios ambíguos.
- Revisar o critério. Reescreva o texto ou adicione um exemplo e, em seguida, avalie um novo exemplo.
- Pilotar em um pequeno grupo. Antes de usar a avaliação para tomar decisões, faça-a com alguns colegas e verifique se ainda há discordâncias entre os avaliadores.
Descreva a supervisão especializada: quem analisa os resultados limítrofes e quem toma a decisão final.
Um caso resolvido com feedback e uma nova tentativa.
Ilustrativo. O coordenador do programa de residência e um especialista cirúrgico devem validar o caso e os critérios de resposta antes de sua utilização.
O caso. Um indivíduo apresenta bom desempenho em um caso simulado, mas desempenho inconsistente em outro.
A tarefa. Preparação do juiz. Explique sua decisão, cite as evidências e diga quais informações adicionais você precisa.
Uma primeira tentativa. "O aluno teve um desempenho excelente no primeiro caso, então está preparado." Um avaliador pergunta o que aconteceu no segundo caso, em quantas avaliações se baseia o julgamento e se os dois avaliadores concordaram. O aluno não tem resposta para nenhuma dessas perguntas.
Feedback e tentativa novamente. O avaliador observa que uma nota alta foi tratada como veredito e a inconsistência foi ignorada. Pede-se ao aluno que reconsidere.
Uma tentativa mais robusta. O aluno afirma que dois casos não são suficientes, observa a inconsistência do segundo caso e pergunta o que houve de diferente. Propõe uma observação adicional do desempenho em um terceiro caso desconhecido, um segundo avaliador independente e preparação direcionada para a etapa em que houve problemas. Afirma que ainda não recomendaria uma decisão sobre a prontidão e que ainda precisa das seguintes informações: as evidências dos avaliadores, o processo de supervisão e a definição de prática independente do programa.
Por que cada resposta é defensável ou incompleta. Avalie com base em critérios aprovados, não na preferência do avaliador. A primeira tentativa considera uma única pontuação como autorização, o que é um erro crítico. A segunda utiliza diversas avaliações, separa as evidências das inferências e define os limites da decisão.
5. Utilize os resultados para acompanhamento.
Escolha o próximo passo a partir da lacuna observada:
- Preparação direcionada quando faltava um conceito ou uma etapa.
- Prática interativa Quando a habilidade existe, mas é inconsistente.
- Coaching supervisionado Quando o colega precisa de feedback no trabalho real.
Planeje a reavaliação e diga o que o resultado não pode fazer: um julgamento de prontidão descreve o desempenho nos casos observados, com os avaliadores envolvidos, em um determinado momento.
| Critério | 0: ausente ou sem suporte | 1: parcial, com omissões | 2: completo e justificado |
|---|---|---|---|
| Execução de tarefa | A prontidão dos juízes é avaliada a partir de uma pontuação. | Utiliza várias pontuações sem compará-las. | Os juízes observaram diversas apresentações e registraram as evidências. |
| Raciocínio | Não apresenta nenhuma justificativa. | Apresenta uma justificativa sem inconsistências no nome. | Explica alternativas, restrições e incertezas. |
| Limites | Considera uma pontuação como autorização. | Notas limitadas sem um plano. | Utiliza o processo aprovado e busca a opinião de especialistas quando as evidências são insuficientes. |
Esta rubrica é um ponto de partida proposto, não um padrão de prontidão validado. Defina os erros críticos separadamente, por exemplo, apresentando uma pontuação de simulador como autorização para prática independente. Uma pontuação geral nunca deve ocultar uma falha crítica.
Para verificar o processo, compare as tarefas de referência com as tarefas de acompanhamento não vistas. Meça a consistência do desempenho e a concordância entre os avaliadores. Defina a população, o denominador e o cronograma antes de começar e procure por mudanças simultâneas, como uma nova composição de casos ou uma mudança de avaliadores, antes de creditar o treinamento.
Onde a entrega interativa ajuda
Os formatos interativos auxiliam na etapa de calibração. Em uma sessão ao vivo, você pode mostrar um exemplo e pedir a cada avaliador que envie uma pontuação individualmente, exibindo em seguida a distribuição dos resultados antes de discutir as evidências. A apresentação em ritmo próprio é ideal para a revisão dos critérios e a verificação prévia dos pré-requisitos. AhaSlides, uma plataforma de engajamento completa para equipes e salas de aula, oferece suporte ao aprendizado interativo e a cursos ao vivo e em ritmo próprio. Verifique como você executaria a calibração em seu próprio fluxo de trabalho antes de utilizá-la.
O que uma avaliação de competências não resolve
- Uma definição vaga de independência. Sem isso, as pontuações não têm com o que ser comparadas.
- Poucas observações. Um ou dois casos não podem demonstrar consistência.
- Avaliadores que nunca calibram. O acordo não surge por si só.
- Limitações das evidências. As duas fontes acima descrevem métodos, não resultados para seus colegas.
Perguntas frequentes
O que é avaliação de competência cirúrgica?
Avaliar, com base no desempenho observado em relação a critérios definidos, se um estagiário consegue realizar uma tarefa cirúrgica específica de acordo com o padrão exigido pelo seu programa.
Uma única pontuação em um simulador é suficiente para determinar a prontidão?
Não. Trata-se apenas de um dado. A decisão sobre a prontidão baseia-se em diversas observações de desempenho e no processo aprovado pela sua instituição.
O que é OSATS?
A Avaliação Objetiva Estruturada de Habilidades Técnicas (OSATS) é um método que combina uma lista de verificação específica para cada tarefa com uma escala de avaliação global.
Como verificar se os avaliadores concordam?
Peça-lhes que avaliem o mesmo exemplo de forma independente, comparem as suas evidências e revejam quaisquer critérios em que divirjam.
Quem deve analisar o caso e a rubrica?
Um especialista cirúrgico e o coordenador do programa de residência são responsáveis pela avaliação de todos os candidatos.
Por onde começar
Escolha um procedimento e descreva a tarefa observável. Selecione dois casos desconhecidos, peça a dois avaliadores que pontuem cada um independentemente e compare as suas evidências. Revise os critérios onde houver discordância e, em seguida, realize um teste piloto com alguns colegas antes de usar as pontuações para qualquer decisão.
Para ver como uma sessão de calibração pode ser executada ao vivo ou em ritmo próprio, explore AhaSlides.








