월요일에 교육 관리자가 학습 대시보드를 엽니다. 완료율은 96%이고, 평균 만족도는 5점 만점에 4.5점입니다. 그때 팀장이 난감한 질문을 던집니다. "고객 문제 해결 방식이 달라졌나요?" 대시보드는 답을 제시하지 못합니다. 교육 과정이 완료되었다는 것만 기록될 뿐, 업무 방식에 변화가 있었다는 증거는 없습니다.
이것이 바로 대부분의 교육 측정 지표가 간과하는 부분입니다. 수료 여부는 누가 과정을 마쳤는지만 알려줄 뿐입니다. 누가 기술을 습득했는지, 누가 활용했는지, 또는 비즈니스에 어떤 변화가 있었는지는 알려주지 않습니다. 이 가이드는 모든 교육 과정에 인과관계 ROI 연구가 필요한 것처럼 가장하지 않고도 모든 프로그램에 적용할 수 있는 증거의 계층 구조와 한 페이지 분량의 측정 계획을 제공합니다.
위의 시나리오는 예시일 뿐이며, 실제 고객 사례는 아닙니다.
빠른 사실
| 문제 | 짧은 답변 |
|---|---|
| 완료율에 무슨 문제가 있는 걸까요? | 그들은 학습이나 직무 변화가 아닌 참여도를 측정합니다. |
| 그렇다면 대신 무엇을 측정해야 할까요? | 학습 목표 달성, 업무 적용, 그리고 맥락에 따른 실질적인 성과 |
| 모든 강좌에 투자수익률(ROI) 분석이 필요한가요? | 아니요. 증거의 깊이를 내리는 결정의 수준에 맞춰야 합니다. |
| 측정 계획에는 무엇이 포함되어야 할까요? | 결과, 측정, 출처, 분모, 시점 및 소유자 |
1. 데이터가 뒷받침해야 할 결정을 정의합니다.
측정 지표를 선택하기 전에, 해당 지표를 통해 내릴 결정의 내용을 명확히 하세요. 일반적으로 세 가지 유형의 결정에는 각각 다른 근거가 필요합니다.
- 프로그램을 개선하세요. 학습자들이 어떤 부분에서 어려움을 겪었는지 알아야 하므로, 합격 점수보다는 항목별 및 과제별 결과가 더 중요합니다.
- 준비 상태를 확인하십시오. 특정인이 합의된 기준에 따라 정해진 작업을 수행할 수 있다는 증거가 필요하며, 이는 일반적으로 관찰이나 점수화된 과제를 통해 얻을 수 있습니다.
- 출시 과정을 평가합니다. 집단이나 기간을 비교해야 하므로 일관된 측정 기준, 분모 및 시기가 가장 중요합니다.
데이터가 어떤 결정을 뒷받침하는지 명확히 말할 수 없다면, 모든 데이터를 수집하고도 실질적인 결론을 거의 얻지 못할 것입니다. 간단한 테스트를 해보세요. 만약 결과가 좋지 않다면, 무엇을 다르게 하시겠습니까? 만약 답이 "아무것도 하지 않겠다"라면, 그 지표는 제 역할을 하지 못하는 것입니다.
2. 목표 대비 학습 성과 측정
수업 내용이 아니라 업무 과제부터 시작하세요. 목표를 사람이 하는 일로 명시하고("합의된 기준을 사용하여 심화된 불만 사항을 분류한다") 그에 맞춰 평가를 설계하세요. 카네기 멜론 에벌리 센터는 핵심을 명확히 지적합니다. 평가, 목표, 그리고 교육 활동은 서로를 강화해야 하며, 사실 암기만을 평가하면서 분석적 사고 능력을 가르치는 것은 학습자에게 잘못된 연습을 시키는 것과 같습니다.에벌리 센터의 평가, 목표 및 교수 전략 연계 지침).
실제로 이는 세 가지 디자인 선택지를 제공합니다.
- 기준선을 설정하세요. 훈련 전에 과제를 평가하거나 간단한 진단을 실시하여 각 학습자의 시작점을 파악하십시오. 기준점이 없으면 훈련 후 좋은 점수가 단순히 이전의 숙련도를 반영하는 것에 불과할 수 있습니다.
- 일치하는 후속 조치를 사용하십시오. 후속 평가에서는 연습했던 사례가 아닌 새로운 사례를 사용하여 동일한 과제와 기준을 적용해야 합니다. 동일한 항목을 반복하면 답변에 대한 기억력을 향상시킬 수 있습니다.
- 만족감은 별개로 생각하세요. 학습자의 반응은 교육 경험을 개선하는 데 도움이 되지만, 미국 질병통제예방센터(CDC)는 교육 평가 지침에서 학습자 만족도가 교육의 효과성을 결정하는 기준이 아니라고 명시하고 있습니다.CDC, 교육 평가: 효과 측정). 신고는 하되, 학습의 대용으로 삼아서는 안 됩니다.
간단한 3점 척도가 도움이 됩니다. 각 기준에 0점(없음 또는 근거 부족), 1점(부분적이지만 관련 내용 누락), 2점(완벽하고 타당한 근거 제시)을 부여하고, 중대한 오류는 별도로 정의하여 전체 점수가 심각한 결함을 가리지 않도록 합니다. 해당 분야 전문가와 상의하여 기준을 조정하십시오. 직접 작성한 척도는 시작점에 불과하며 검증된 표준이 아닙니다.
3. 작업장 노출 후 전이 평가
수업에서 무언가를 배우는 것과 직장에서 그것을 적용하는 것은 별개의 일입니다. CDC 지침은 학습 평가와 학습 전이 평가를 구분하는데, 학습 전이 평가는 학습자가 직장으로 복귀한 후 배운 내용을 얼마나 성공적으로 적용하는지를 평가하는 것입니다.
전이 증거를 확보하려면 시간이 필요합니다. 학습자가 해당 기술을 실제로 사용할 기회를 가진 후 후속 평가를 계획하십시오. 일상적인 작업의 경우 2주, 드물게 수행하는 작업의 경우 몇 달이 걸릴 수 있습니다. 그런 다음 다음 방법 중 하나 이상을 사용하여 증거를 수집하십시오.
- 관찰 또는 작업 샘플 검토 훈련에 사용된 것과 동일한 기준에 따라.
- 관리자 또는 동료 의견 "개선되었습니까?"라는 질문 대신 구체적이고 행동 기반의 질문을 사용합니다.
- 시스템 증거 작업이 완료된 양식이나 기록된 사례와 같이 흔적을 남기는 경우.
결과뿐만 아니라 장애 요인도 꼼꼼하게 기록하십시오. 교육 과정에서는 과제를 수행할 수 있지만 실제 업무에서는 수행하지 못하는 학습자는 필요한 도구, 권한, 시간 또는 관리자의 지원이 부족할 수 있습니다. 이러한 제약 조건은 교육 과정에서 과제 수행 능력이 향상된 후에도 여전히 남아 있을 수 있으며, 향후 의사 결정에 가장 큰 영향을 미치는 요소입니다. "이것을 적용하지 못하게 막았던 것은 무엇이었습니까?"라고 질문하고 답변을 범주별로 분류하십시오.
4. 운영 결과를 맥락에 맞춰 해석하십시오.
오류율, 처리 시간 또는 해결률과 같은 운영 지표는 조직이 중요하게 생각하는 요소이기 때문에 중요합니다. 하지만 이러한 지표들은 과대해석하기 쉬운 부분이기도 합니다.
정직함을 유지하는 세 가지 습관:
- 유사한 요율을 사용하십시오. 처리량 변동 시 집계 수치는 오해를 불러일으킬 수 있습니다. 전체 오류 건수가 아닌, 명시된 기준(100건당 오류 건수)과 비교하십시오.
- 다른 설명들을 나열하세요. 계절적 요인, 새로운 도구 도입, 인력 변동 또는 정책 업데이트는 모두 같은 분기에 동일한 수치에 영향을 미칠 수 있습니다. 결과를 확인하기 전에 이러한 요인들을 기록해 두세요.
- 어떤 종류의 청구인지 말씀해 주세요. 훈련받은 직원이 훈련받지 않은 직원보다 더 나은 성과를 보인다면, 그것은 관찰된 연관성일 뿐입니다. 인과 관계를 주장하려면 비교 집단 설정이나 단계적 도입과 같이 다른 가능성을 배제할 수 있는 연구 설계가 필요합니다. 하지만 대부분의 프로그램은 그 정도의 엄격한 기준이 필요하지 않으며, "결과가 우리가 기대했던 방향으로 나아갔습니다. 그 외에도 다음과 같은 변화가 있었습니다."라고 간단하게 말하는 것으로 충분합니다.
훈련만으로 투자 수익을 보장하지 마십시오. 관찰 내용, 맥락 및 한계를 보고하십시오.
5. 실용적인 측정 계획을 수립하십시오.
프로그램별로 각 행에 데이터를 하나의 표로 정리하세요. 각 행은 데이터가 답해야 하는 질문입니다.
| 분야 | 무엇을 써야 할까 | 중요한 이유 |
|---|---|---|
| 결과 | 관찰 가능한 측면에서 예상되는 변화 | 모호한 목표를 막습니다 |
| 캠페인 측정 | 구체적인 평가 기준 또는 채점표 점수 | 테스트 가능하게 만들어줍니다. |
| 출처 | 데이터의 출처 | 그것이 존재하는지, 그리고 신뢰할 수 있는지를 보여줍니다. |
| 분모 | 측정 대상이 누구 또는 무엇인가를 나타내는 것인가 | 잘못된 원시 카운트를 방지합니다. |
| 타이밍 | 수집될 때 | 학습과 전이를 분리합니다 |
| 대표이사 | 책임자로 지명된 사람 | 실현시켜준다 |
풀이 예시 (결과는 표시되지 않음)
고객 지원 담당자가 심화된 불만 사항을 처리하는 데 도움을 주는 프로그램을 상상해 보세요. 여기서 중요한 결정은 상담원이 동료 없이 심화된 불만 사항을 처리하기 전에 준비 상태를 확인하는 것입니다.
| 결과 | 캠페인 측정 | 출처 | 분모 | 타이밍 | 대표이사 |
|---|---|---|---|---|---|
| 상담원들은 합의된 기준을 사용하여 문제 발생 건수를 분류합니다. | 새로운 사례에 대한 평가 기준 점수(기준당 0~2점, 중대한 오류 없음) | 점수가 매겨진 사례 연습 | 프로그램을 이수한 요원들 | 프로그램 종료 시점의 사전 훈련 기준선 대비 결과 | 교육 책임자 |
| 상담원들은 실제 사례에 대해 초기 진단 단계를 적용합니다. | 실제 사례에서 추출한 갈등 상황에 대한 평가 점수 | 품질 검토 샘플 | 에이전트별 샘플링된 에스컬레이션 | 첫 번째 실시간 상황 악화 후 4~6주 | 팀 리더 |
| 이러한 단계를 적용하는 데 있어 장애물은 알려져 있습니다. | 단기 후속 조사에서 분류된 이유 | 에이전트 후속 확인 | 상황 악화를 처리한 담당자들 | 동일한 후속 진료 기간 | 교육 책임자 |
| 갈등 상황의 결과는 맥락 속에서 추적됩니다. | 재개된 사례 비율 및 그에 따른 변화 사항 | 케이스 시스템 | 해당 기간 동안 확대 조치가 종료되었습니다. | 분기별, 이전 기간 대비 | 운영 분석가 |
무엇이 빠져 있는지 주목하십시오. 특정 비율의 향상을 약속하지도 않고, 훈련만으로 최종 결과를 좌우한다고 주장하지도 않습니다. 이 계획은 특정한 답을 제시하는 것이 아니라, 정직한 증거를 수집하는 데 집중하도록 합니다.
상호작용적이고 적응형 전달 방식이 적합한 경우
학습 자체가 증거를 생성할 때 측정은 더 쉬워집니다. 점수가 매겨지는 사례 질문, 시나리오 설문 조사, 간단한 지식 점검과 같은 대화형 활동은 교육 중에 학습자별 및 항목별 데이터를 제공하며, 적응형 학습은 학습자의 성과에 따라 학습 경로를 조정할 수 있습니다. 실시간 수업과 자기 주도 학습이 혼합된 학습 방식은 학습자가 원하는 시간에 진단 평가를 받고, 피드백을 받으며 실시간으로 사례 연습을 하고, 비동기적으로 후속 복습을 완료할 수 있도록 합니다.
이러한 기능은 계획서의 1행과 2행에 있는 근거를 뒷받침합니다. 하지만 업무 상황에 따라 달라지는 이관 및 결과 행을 대체하는 것은 아닙니다. 설계에 착수하기 전에 필요한 특정 보고 및 작성 기능을 데모를 통해 확인하고, 외부 도구나 통합 기능은 작동 방식을 직접 확인하기 전까지는 핵심 워크플로와 별개로 취급하십시오.
직접 만든 프로그램으로 시도해 보세요.
현재 운영 중인 프로그램 하나에 대해 6개 항목으로 구성된 계획표를 작성하세요. 단, 해당 계획표가 지원해야 할 결정 사항부터 시작하세요.
학습 계획의 학습 증거를 실시간 또는 자기 주도 학습 세션에서 어떻게 수집할 수 있는지 알아보려면 AhaSlides를 살펴보세요.
자주하는 질문
교육 효과 측정 지표란 무엇인가요?
이는 교육이 목적을 달성했는지 판단하는 데 사용하는 지표입니다. 유용한 지표 세트는 단순히 교육 이수 및 만족도뿐만 아니라 목표 대비 학습, 업무 적용 능력, 그리고 맥락에 맞는 운영 성과를 포함합니다.
완료율은 유용한 지표인가요?
참여 현황을 추적하고 접근성 문제를 파악하는 데 유용합니다. 하지만 학습 여부나 기술 적용 여부를 보여줄 수는 없으므로, 평가 및 후속 조치와 병행해야 합니다.
훈련 후 얼마나 지나야 효과 전이를 측정해야 할까요?
학습자가 해당 기술을 실제로 사용해 볼 수 있도록 충분한 시간을 확보해야 합니다. 매일 수행하는 작업이라면 몇 주가 걸릴 수 있고, 드물게 수행하는 작업이라면 더 오랜 시간이 필요할 수 있습니다. 교육 시작 전에 계획에 기간을 설정하세요.
모든 강좌에 대해 투자 수익률(ROI)을 입증해야 하나요?
아니요. 증거를 바탕으로 결정을 내리세요. 많은 프로그램은 학습 및 전이 증거와 함께 맥락을 고려하여 보고된 운영 성과를 통해 효과적으로 운영될 수 있습니다. 인과 분석은 설계상 가능한 경우, 위험 부담이 크거나 비용이 많이 드는 프로그램에만 사용하십시오.
