La preparación para la práctica independiente se evalúa a partir de varias observaciones, no de una sola puntuación. Un residente que obtiene buenos resultados en un caso simulado y resultados inconsistentes en otro aporta información, pero no suficiente. Esta guía está dirigida a directores de educación médica y coordinadores de programas de residencia. Abarca cinco decisiones: la tarea observable que se evalúa, un caso representativo y poco familiar, criterios observables con referencias, cómo calibrar a los evaluadores y cómo utilizar los resultados. Se centra en el diseño de la evaluación, no en la orientación clínica. La autorización para la práctica independiente se rige por los procesos de su institución, y un especialista de su programa debe revisar el caso y la rúbrica antes de su uso.
Lo que dice y lo que no dice la investigación.
Vale la pena conocer dos métodos publicados. En 2005, ten Cate propuso actividades profesionales confiables: unidades de trabajo que un supervisor decide que un aprendiz puede realizar sin supervisión, basándose en la competencia observada. En 1997, Martin y sus colegas describieron el Evaluación objetiva estructurada de habilidades técnicas (OSATS), que combina una lista de verificación específica para cada tarea con una escala de calificación global para residentes de cirugía.
Ambos describen cómo estructurar el juicio. Ninguno indica que un candidato esté preparado, ni sustituye la supervisión de un especialista. Úselos para definir sus criterios y, a continuación, póngalos a prueba con sus propios evaluadores.
Datos Rápidos
| Pregunta | Respuesta corta |
|---|---|
| ¿Qué estás juzgando? | Preparación, a partir de múltiples actuaciones observadas. |
| ¿Cuál es la puntuación de un simulador? | Un dato importante: esto no constituye una autorización para ejercer de forma independiente. |
| ¿Qué hace que los criterios sean útiles? | Comportamientos observables con ejemplos de trabajo deficiente, en desarrollo y competente. |
| ¿Qué hace que las puntuaciones sean fiables? | Los evaluadores califican de forma independiente y luego comparan las evidencias. |
| ¿Qué debes evitar puntuar? | Confianza o velocidad por sí solas. |
| ¿Qué es lo que no puede decidir? | Autorización. Eso depende del proceso de su institución. |
1. Defina el desempeño que se está evaluando.
Indique la tarea observable: juzgar la preparación a partir de múltiples actuaciones observadas. Especifique el rol, el contexto y los límites de autorización antes de definir una puntuación. La "competencia independiente" significa algo diferente para un becario en un procedimiento, un entorno y un nivel de supervisión que para otro. Escriba qué se está evaluando que haga el becario, con quién y qué sucede si se le considera preparado. Nuestra guía para relacionar las actividades de aprendizaje con la taxonomía de Bloom. Te ayuda a separar las tareas que necesitan análisis de aquellas que necesitan criterio.
2. Seleccione una tarea representativa y desconocida.
Elija un caso que el participante no haya ensayado, como un segundo caso simulado que difiera del primero de la forma en que lo hacen los casos reales. Explique cómo este caso representa el trabajo real y qué no puede determinar. Un solo caso desconocido puede mostrar si las habilidades se transfieren, pero no puede abarcar todas las variaciones, todos los equipos ni todas las complicaciones. Por eso, una decisión se basa en varias actuaciones observadas, distribuidas en diferentes casos y a lo largo del tiempo, y no en una sola.
3. Escribir criterios observables y puntos de referencia.
Establezca criterios en torno a dos aspectos: la coherencia del desempeño en todos los casos y el acuerdo entre los evaluadores. Describa cómo se manifiesta cada puntuación en términos de comportamiento. Para un criterio, podría describir:
- Débil (0). Necesita que se le recuerde repetidamente, se salta algún paso o no puede explicar una elección.
- En desarrollo (1). Completa la tarea con omisiones o con una calidad inconsistente en todos los casos.
- Competente (2). Completa la tarea, explica las opciones y maneja las variaciones del caso.
Evite basar las calificaciones únicamente en la confianza o la velocidad. Una persona segura de sí misma puede equivocarse, y una persona lenta puede ser precavida. Ambas características pueden acompañar la calificación, pero no deben sustituir la evidencia del trabajo realizado. Utilice la estructura que describen Martin y sus colegas, una lista de verificación específica para cada tarea junto con una calificación global, si esto ayuda a sus evaluadores a diferenciar los pasos de la calidad general.
4. Calibrar a los evaluadores y realizar un programa piloto.
La calibración es el proceso en el que las puntuaciones se vuelven comparables:
- Califica de forma independiente. Que dos o más evaluadores califiquen el mismo ejemplo grabado u observado sin hablar entre ellos.
- Compare las pruebas. Pídales a cada uno que explique qué vieron que influyó en la puntuación. El desacuerdo suele deberse a un criterio ambiguo.
- Revisar el criterio. Reescribe la redacción o añade un ejemplo, y luego califica un nuevo ejemplo.
- Piloto en un grupo pequeño. Realice la evaluación con algunos compañeros antes de utilizarla para tomar decisiones y compruebe si los evaluadores siguen sin estar de acuerdo.
Describa la supervisión especializada: quién revisa los resultados dudosos y quién toma la decisión final.
Un caso resuelto con retroalimentación y reintento.
A modo de ejemplo, el responsable del programa de residencia y un cirujano especialista deben validar el caso y los criterios de respuesta antes de su uso.
El caso. Un individuo obtiene buenos resultados en un caso simulado, pero resultados inconsistentes en otro.
La tarea. Preparación del juez. Explique su decisión, cite las pruebas y diga qué información adicional necesita.
Un primer intento. «El alumno obtuvo una puntuación alta en el primer caso, así que está preparado». Un evaluador pregunta qué ocurrió en el segundo caso, en cuántas presentaciones se basa la evaluación y si los dos evaluadores coincidieron. El alumno no tiene respuesta para ninguna de estas preguntas.
Comentarios y reintento. El revisor señala que una puntuación alta se interpretó como un veredicto y se ignoró la inconsistencia. Se le pide al alumno que reconsidere su decisión.
Un intento más enérgico. El alumno afirma que dos casos no son suficientes, señala la inconsistencia del segundo caso y pregunta qué fue lo que diferenció. Propone una nueva observación de su desempeño en un tercer caso desconocido, un segundo evaluador independiente y una preparación específica para el paso que falló. Indica que aún no recomendaría una decisión sobre su nivel de preparación y que todavía necesita: las evidencias de los evaluadores, el proceso de supervisión y la definición de práctica independiente del programa.
Explicar por qué cada respuesta es defendible o incompleta. Juzgue según criterios aprobados, no según la preferencia del evaluador. El primer intento considera una sola puntuación como autorización, lo cual es un error crítico. El segundo utiliza varias interpretaciones, distingue entre evidencia e inferencia y establece los límites de la decisión.
5. Utilice los resultados para el seguimiento.
Elija el siguiente paso de la brecha observada:
- Preparación específica cuando faltaba un concepto o un paso.
- Práctica interactiva cuando la habilidad existe pero es inconsistente.
- Entrenamiento supervisado cuando el compañero necesita retroalimentación en el trabajo real.
Planifique una reevaluación e indique qué no puede hacer el resultado: un juicio de preparación describe el desempeño en los casos observados, con los evaluadores involucrados, en un momento dado.
| Criterio | 0: ausente o no compatible | 1: parcial, con omisiones | 2: completo y justificado |
|---|---|---|---|
| Ejecución de tareas | La preparación de los jueces se basa en una puntuación. | Utiliza varias puntuaciones sin compararlas. | Los jueces se basan en varias actuaciones observadas y registran las pruebas. |
| Razonamiento | No da ninguna razón. | Da una razón sin mencionar la inconsistencia. | Explica las alternativas, las limitaciones y la incertidumbre. |
| Límites | Considera una puntuación como una autorización. | Notas límites sin plan. | Utiliza el procedimiento aprobado y solicita la opinión de especialistas cuando la evidencia es insuficiente. |
Esta rúbrica es un punto de partida propuesto, no un estándar de preparación validado. Defina los errores críticos por separado; por ejemplo, presentar una puntuación del simulador como autorización para la práctica independiente. Una puntuación global nunca debe ocultar un fallo crítico.
Para verificar el proceso, compare las tareas iniciales con las de seguimiento no observadas. Mida la consistencia del desempeño y la concordancia entre los evaluadores. Defina la población, el denominador y el cronograma antes de comenzar, y busque cambios simultáneos, como una nueva combinación de casos o un cambio de evaluadores, antes de acreditar la capacitación.
Donde la entrega interactiva ayuda
Los formatos interactivos facilitan la calibración. En una sesión en directo, se puede mostrar un ejemplo y pedir a cada evaluador que envíe su puntuación de forma privada; a continuación, se muestra la distribución antes de analizar las evidencias. La modalidad de aprendizaje a ritmo individual permite revisar los criterios y comprobar los requisitos previos con antelación. AhaSlides, una plataforma integral de interacción para equipos y aulas, admite el aprendizaje interactivo y la impartición tanto en directo como a ritmo propio. Antes de utilizarla, compruebe cómo realizaría la calibración en su propio flujo de trabajo.
Lo que una evaluación de competencias no solucionará
- Una definición vaga de independencia. Sin uno, las puntuaciones no tienen con qué compararse.
- Muy pocas observaciones. Uno o dos casos no pueden demostrar consistencia.
- Evaluadores que nunca calibran. El acuerdo no surge por sí solo.
- Límites de la evidencia. Las dos fuentes mencionadas anteriormente describen métodos, no resultados para sus compañeros.
Preguntas frecuentes
¿Qué es la evaluación de la competencia quirúrgica?
Evaluar, a partir del desempeño observado según criterios definidos, si un residente puede realizar una tarea quirúrgica específica con el nivel de calidad que exige su programa.
¿Es suficiente la puntuación obtenida en un simulador para determinar si se está preparado?
No. Es solo un dato. La decisión sobre la preparación se basa en varios desempeños observados y en el proceso aprobado por su institución.
¿Qué es OSATS?
La Evaluación Estructurada Objetiva de la Habilidad Técnica es un método que combina una lista de verificación específica para cada tarea con una escala de calificación global.
¿Cómo se comprueba que los evaluadores están de acuerdo?
Pídales que califiquen el mismo ejemplo de forma independiente, que comparen sus evidencias y que revisen cualquier criterio en el que difieran.
¿Quién debería revisar el caso y la rúbrica?
Un especialista en cirugía y el director del programa de residencia, antes de que se califique a nadie.
Por dónde empezar
Seleccione un procedimiento y describa la tarea observable. Elija dos casos desconocidos, pida a dos evaluadores que los califiquen de forma independiente y compare sus resultados. Revise los criterios donde no coincidan y, a continuación, realice una prueba piloto con algunos participantes antes de utilizar las puntuaciones para tomar cualquier decisión.
Para ver cómo podría desarrollarse una sesión de calibración en directo o a su propio ritmo, explore AhaSlides.








