El lunes, un responsable de formación abre el panel de control del aprendizaje. El porcentaje de finalización es del 96 %. La satisfacción media es de 4.5 sobre 5. Entonces, un jefe de equipo plantea la incómoda pregunta: "¿Están gestionando las incidencias de los clientes de forma diferente?". El panel de control no puede responder. Registra que el curso se ha completado, no que haya habido ningún cambio en el trabajo.
Esta es la laguna que suelen dejar la mayoría de las métricas de formación. La finalización indica quién llegó al final, pero no quién aprendió la habilidad, quién la utilizó ni si la empresa experimentó algún cambio. Esta guía ofrece una jerarquía de evidencias y un plan de medición de una página que puede completar para cualquier programa, sin pretender que cada curso requiera un estudio exhaustivo del retorno de la inversión (ROI).
El escenario inicial descrito anteriormente es meramente ilustrativo, no un caso real documentado de un cliente.
Datos Rápidos
| Pregunta | Respuesta corta |
|---|---|
| ¿Qué falla en las tasas de finalización? | Miden la participación, no el aprendizaje ni los cambios en el trabajo. |
| ¿Qué deberías medir en su lugar? | Aprendizaje en función de los objetivos, transferencia al trabajo y, finalmente, resultados operativos con contexto. |
| ¿Es necesario analizar el retorno de la inversión (ROI) en cada curso? | No. Adapte la profundidad de la evidencia a la decisión que se está tomando. |
| ¿Qué debe incluir un plan de medición? | Resultado, medida, fuente, denominador, momento y propietario |
1. Defina la decisión que deben respaldar los datos.
Antes de elegir una métrica, identifique la decisión que respaldará. Tres métricas comunes requieren evidencia diferente:
- Mejorar el programa. Es necesario saber dónde tuvieron dificultades los alumnos, por lo que los resultados a nivel de ítem y de tarea importan más que una calificación aprobatoria.
- Confirmar disponibilidad. Se necesita evidencia de que una persona puede realizar una tarea definida según un estándar acordado, generalmente mediante observación o una tarea evaluada.
- Evaluar un despliegue. Es necesario comparar grupos o períodos, por lo que la coherencia en las medidas, los denominadores y la temporalidad son fundamentales.
Si no puedes determinar qué decisión respaldan los datos, recopilarás toda la información y sacarás pocas conclusiones. Una breve prueba: si el resultado fuera negativo, ¿qué harías diferente? Si la respuesta es "nada", la métrica no cumple su función.
2. Medir el aprendizaje en función de los objetivos.
Empiece por la tarea laboral, no por el contenido del curso. Escriba el objetivo como algo que hace una persona ("clasificar una queja escalada utilizando los criterios acordados"), luego diseñe la evaluación para que coincida. El Centro Eberly de Carnegie Mellon deja claro el punto subyacente: las evaluaciones, los objetivos y las actividades de instrucción deben reforzarse mutuamente, y enseñar habilidades analíticas mientras se evalúa solo la memorización de hechos hace que los alumnos practiquen lo incorrecto (Guía del Centro Eberly sobre cómo alinear las evaluaciones, los objetivos y las estrategias de enseñanza.).
En la práctica, eso te da tres opciones de diseño:
- Establece una línea de base. Evalúa la tarea antes de la capacitación o utiliza una breve prueba diagnóstica para saber cuál es el punto de partida de cada alumno. Sin una base de referencia, una buena puntuación después de la capacitación podría simplemente reflejar la habilidad previa.
- Utilice un seguimiento adecuado. La evaluación posterior debe poner a prueba la misma tarea y el mismo estándar, utilizando un caso nuevo en lugar del que se practicó. Repetir los mismos ítems refuerza la memorización de las respuestas.
- Mantén la satisfacción separada. Las reacciones de los alumnos ayudan a mejorar la experiencia, pero los Centros para el Control y la Prevención de Enfermedades de EE. UU. (CDC) son explícitos en su guía de evaluación de la formación en que la satisfacción del alumno no determina si una formación es eficaz (CDC, evaluar la capacitación: medición de la eficaciaInfórmalo, pero nunca como sustituto del aprendizaje.
Una rúbrica sencilla de tres puntos resulta útil. Califique cada criterio con 0 (ausente o sin justificación), 1 (parcial, con omisiones relevantes) o 2 (completo y justificado), y defina los errores críticos por separado para que la calificación general no oculte un fallo grave. Adapte los criterios con un especialista en la materia; una rúbrica que usted mismo haya redactado es un punto de partida, no un estándar validado.
3. Evaluar la transferencia después de la exposición laboral.
Aprender algo en un curso y aplicarlo en el trabajo son dos cosas distintas. Las directrices de los CDC diferencian entre la evaluación del aprendizaje y la evaluación de la transferencia del aprendizaje, que analiza con qué éxito el alumno aplica lo aprendido una vez de vuelta en el entorno laboral.
La transferencia de evidencia requiere tiempo. Programe un seguimiento después de que el alumno haya tenido una oportunidad real de usar la habilidad, lo que podría tomar dos semanas para una tarea diaria y varios meses para una tarea poco frecuente. Luego, recopile evidencia de una o más de estas maneras:
- Revisión de la observación o de la muestra de trabajo según la misma rúbrica utilizada en la capacitación.
- Opinión del gerente o de los compañeros Utilizar preguntas específicas basadas en el comportamiento, en lugar de "¿mejoraron?".
- Evidencia del sistema donde la tarea deja una huella, como un formulario completado o un caso registrado.
Registra las barreras con la misma atención que los resultados. Un alumno que puede realizar la tarea durante la formación, pero no en el trabajo, puede carecer de las herramientas, la autoridad, el tiempo o el apoyo del superior. Estas limitaciones pueden persistir incluso después de que el desempeño mejore en el aula, y son los hallazgos que con mayor probabilidad influirán en tu próxima decisión. Pregúntate: "¿Qué te impidió aplicar esto?" y clasifica las respuestas.
4. Interpretar los resultados operativos en contexto.
Las métricas operativas, como las tasas de error, los tiempos de gestión o las tasas de resolución, son importantes porque reflejan lo que le importa a la organización. Además, son las que más fácilmente se sobreinterpretan.
Tres hábitos te ayudan a ser honesto:
- Utilice una tasa comparable. Los recuentos pueden resultar engañosos cuando los volúmenes varían. Compare las tasas con un denominador establecido: errores por cada cien casos, no errores totales.
- Enumere explicaciones alternativas. La estacionalidad, una nueva herramienta, un cambio de personal o una actualización de políticas pueden afectar la misma cifra en el mismo trimestre. Anótelos antes de analizar el resultado.
- Indique qué tipo de reclamación es. Si el personal capacitado muestra una tasa mejor que el personal no capacitado, se trata de una asociación observada. Una afirmación causal requiere un diseño que descarte las alternativas, como un grupo de comparación o una implementación escalonada. La mayoría de los programas no necesitan ese nivel de rigor, y es perfectamente válido decirlo con claridad: «Los resultados evolucionaron en la dirección que esperábamos; esto es lo que cambió».
Evite prometer un retorno de la inversión solo con la capacitación. Informe sobre lo que observó, el contexto y las limitaciones.
5. Elabore un plan de medición práctico.
Coloca las piezas en una tabla por cada programa. Cada fila representa una pregunta que los datos deben responder.
| Campo | Quéescribir | Por qué importa |
|---|---|---|
| Resultado | El cambio que esperas, en términos observables. | Detiene los objetivos vagos |
| MEDIR | La puntuación específica de la métrica o rúbrica | Lo hace comprobable |
| Fuente | De dónde provienen los datos | Muestra si existe y es confiable. |
| Denominador | ¿Quién o qué es la medida? | Evita recuentos brutos engañosos. |
| Sincronización | Cuando se recoja | Separa el aprendizaje de la transferencia. |
| Propietario | La persona designada responsable | Lo hace posible |
Ejemplo práctico (ilustrativo, no se muestran resultados)
Imagina un programa para ayudar al personal de atención al cliente a gestionar las quejas más complejas. La decisión: confirmar que están preparados antes de que los agentes asuman casos complejos sin la ayuda de un compañero.
| Resultado | MEDIR | Fuente | Denominador | Sincronización | Propietario |
|---|---|---|---|---|---|
| Los agentes priorizan una escalada utilizando los criterios acordados. | Puntuación de la rúbrica (de 0 a 2 por criterio, sin errores críticos) en un caso nuevo. | Práctica de casos con puntuación | Agentes que completan el programa | Fin del programa, en comparación con la línea de base previa al entrenamiento. | Líder de formación |
| Los agentes aplican los pasos de triaje a los casos reales. | Puntuación de la rúbrica en casos de escaladas reales muestreadas | Muestra de revisión de calidad | Escaladas muestreadas por agente | De cuatro a seis semanas después de las primeras escaladas en vivo | líder del equipo |
| Se conocen las barreras para la aplicación de los pasos. | Razones categorizadas a partir de un breve seguimiento | Verificación de seguimiento del agente | Agentes que gestionaron una escalada | Misma ventana de seguimiento | Líder de formación |
| Los resultados de la escalada se registran en contexto. | Tasa de casos reabiertos, con cambios simultáneos observados | Sistema de casos | Las escaladas se cerraron en el período | Trimestralmente, en comparación con el período anterior. | Analista de operaciones |
Fíjese en lo que falta: no se promete ningún porcentaje de mejora ni se afirma que el entrenamiento por sí solo determine el resultado final. El plan le compromete a recopilar pruebas honestas, no a dar una respuesta concreta.
Donde encajan la entrega interactiva y adaptativa
La medición resulta más sencilla cuando el propio aprendizaje genera evidencia. Las actividades interactivas, como las preguntas de casos prácticos con puntuación, las encuestas basadas en escenarios y las breves comprobaciones de conocimientos, proporcionan datos por alumno y por ítem durante la formación, y el aprendizaje adaptativo permite orientar a los participantes según su desempeño. Los diseños mixtos, que alternan sesiones en directo con estudio a ritmo propio, permiten realizar una evaluación diagnóstica cuando se desee, practicar un caso práctico en directo con retroalimentación y completar una revisión de seguimiento de forma asíncrona.
Estas funcionalidades respaldan la evidencia de las filas uno y dos de su plan. No reemplazan las filas de transferencia y resultados, que dependen de lo que ocurra en el trabajo. Verifique las funciones específicas de generación de informes y creación de contenido que necesita con una demostración antes de comprometerse con un diseño, y trate cualquier herramienta o integración externa como algo independiente del flujo de trabajo principal hasta que haya visto que funciona.
Inténtalo con tu propio programa.
Complete el plan de seis campos para un programa que usted dirige actualmente, comenzando por la decisión que debe respaldar.
Para ver cómo se pueden recopilar las evidencias de aprendizaje de su plan en una sesión en vivo o a su propio ritmo, explore AhaSlides.
Preguntas frecuentes
¿Qué son las métricas de eficacia de la formación?
Son las medidas que se utilizan para evaluar si la formación cumplió su propósito. Un conjunto útil abarca el aprendizaje en función de los objetivos, la transferencia al puesto de trabajo y los resultados operativos interpretados en contexto, en lugar de centrarse únicamente en la finalización y la satisfacción.
¿Es la tasa de finalización una métrica útil?
Es útil para hacer un seguimiento de la participación y detectar problemas de acceso. No demuestra que alguien haya aprendido o aplicado una habilidad, por lo que conviene combinarlo con una evaluación y un seguimiento.
¿Cuánto tiempo después del entrenamiento debo medir la transferencia?
El tiempo suficiente para que los alumnos tengan la oportunidad real de usar la habilidad. Una tarea diaria podría requerir un par de semanas, mientras que una tarea poco frecuente necesita más tiempo. Establece el plazo en tu plan antes de que comience la capacitación.
¿Necesito demostrar el retorno de la inversión (ROI) de cada curso?
No. Hay que relacionar la evidencia con la decisión. Muchos programas se benefician de la evidencia de aprendizaje y transferencia, además de los resultados operativos presentados en contexto. Reserve el análisis causal para programas de alto riesgo o alto costo, cuando su diseño lo permita.
