시범 사업이 종료되었습니다. 12명이 참여했고, 거의 모두가 유용했다고 답했으며, 진행자도 만족스러워했습니다. 그때 운영 책임자가 타당한 질문을 던졌습니다. "혹시 업무 방식을 바꾼 사람이 있나요?" 시범 사업 전에 직원들의 업무 방식을 측정한 사람도, 다른 팀과 비교한 사람도 없었는데, 팀은 같은 달에 업무 프로세스를 변경했습니다. 시범 사업은 긍정적인 반응을 얻었을 뿐, 실질적인 증거를 제시하지는 못했습니다.
이는 실제 고객 사례가 아닌, 이해를 돕기 위한 예시 시나리오입니다. 교육 프로그램 평가에서 흔히 발생하는 오류를 보여주는 예시로, 시범 운영은 진행되지만 특정 질문에 대한 답을 찾기 위해 설계된 것이 아닌 경우를 나타냅니다.
이 가이드는 인재개발 책임자, 교육 설계자 및 교육 관리자를 위한 것입니다. 파일럿 질문 정의, 참가자 및 기준 측정 항목 선정, 학습 과정 기록, 새로운 과제 수행 및 전이 평가, 그리고 결과에 따른 배포 방식 합의라는 다섯 단계를 다룹니다. 마지막에는 활용 가능한 템플릿과 남은 제약 조건을 제시합니다.
훈련 조종사란 무엇인가요?
훈련 파일럿은 학습 설계를 대규모로 적용하기 전에 소규모로, 기간 한정으로 운영하는 것입니다. 그 목적은 설계가 실현 가능한지, 그리고 추진할 가치가 있는지를 파악하는 것이지, 모든 곳에서 효과가 있음을 증명하는 것이 아닙니다.
그 차이점은 중요합니다. 미국 국립 보완통합의학센터(NCCIH)는 파일럿 연구를 더 큰 규모로 사용될 방법과 절차를 소규모로 시험하는 것이라고 설명하며, 파일럿 연구는 효능에 대한 질문에 답할 수 있을 만큼 충분한 검정력을 갖추지 못했으므로, 나타나는 효과는 불안정하다고 경고합니다.NCCIH, 파일럿 연구: 일반적인 사용과 오용해당 지침은 보건 연구를 위해 작성되었지만, 그 논리는 다른 분야에도 적용됩니다. 12명으로 구성된 소규모 파일럿 연구를 통해 모집, 실행, 측정 및 후속 조치가 가능한지 여부를 알 수 있습니다. 하지만 전체 조직에 미치는 효과가 얼마나 클지는 확신할 수 없습니다.
빠른 사실
| 문제 | 짧은 답변 |
|---|---|
| 조종사는 무엇을 위해 일하는가? | 규모 확장에 앞서 학습 및 전달 관련 가정을 검증합니다. |
| 시작하기 전에 무엇이 필요합니까? | 검증 가능한 질문, 과제, 기준선 및 결정 기준. |
| 어떤 것이 양도 증거로 인정되나요? | 업무 경험 후 새로운 과제 수행 능력 평가이지, 만족도 평가가 아닙니다. |
| 대조군이 필요하신가요? | 항상 그런 것은 아닙니다. 비교 집단 설정이나 단계적 도입은 실현 가능하고 공정한 경우에 도움이 될 수 있습니다. |
| 의사결정 기준은 언제 설정하시나요? | 결과를 보기 전에. |
| 조종사가 당신에게 말할 수 없는 것은 무엇일까요? | 대규모로 적용했을 때 그 효과가 얼마나 클까요? |
1. 파일럿 질문을 정의하십시오.
예/아니오 또는 숫자로 답할 수 있는 질문으로 시작하고, 그 질문을 통해 내릴 결정의 내용을 명시하세요.
"새로운 온보딩 프로그램이 효과가 있는가?"라는 질문은 다소 미흡하지만, "재설계된 온보딩 프로그램 이후, 신입 직원이 도움 없이 일반적인 고객 문제 해결을 처리할 수 있는가? 그리고 주어진 코칭 시간 내에 시범 프로그램을 실행하는 것이 현실적인가?"라는 질문은 검증 가능한 질문입니다.
세 가지를 적어보세요:
- 그 임무. 사람들은 이전에는 할 수 없었거나 잘하지 못했던 어떤 일들을 할 수 있게 될까요?
- 결정. 디자인을 수정하시겠습니까, 아니면 시범 운영을 다시 진행하시겠습니까, 아니면 더 광범위하게 출시하시겠습니까?
- 학습 및 전달에 대한 가정. 파일럿 프로그램에서 테스트해야 할 필수 조건, 시간, 코칭 역량 및 도구에 대해 어떤 가정을 하고 계신가요?
결정 사항을 명확히 정의할 수 없다면 시범 운영을 진행할 준비가 되지 않은 것입니다. 결과는 아무도 기다리지 않고 닥쳐올 것입니다.
2. 참여자 및 기준 측정 항목 선정
기준선은 훈련 전 사람들이 작업을 어떻게 수행하는지에 대한 증거입니다. 기준선이 없으면 "개선됨"을 비교할 대상이 없습니다.
참가자를 신중하게 선택하세요. 실제 업무를 수행할 수 있고, 시범 운영 대상 그룹과 유사한 사람들을 선발하세요. 가장 열정적인 자원자들로만 구성된 시범 운영은 설계의 효과를 극대화할 것입니다.
기준선을 확보하세요. 나중에 사용할 것과 동일한 측정 방법을 사용하여 두 결과를 비교할 수 있도록 하십시오. 짧은 작업 샘플, 구조화된 관찰, 최근 결과물 검토 또는 점수화된 사례 등이 있습니다. 측정에 참여한 사람, 적격자 수, 측정 시점을 기록하십시오.
비교해 보세요. 가장 효과적인 설계 방식은 시범 사업에 참여한 사람들과 참여하지 않은 비슷한 사람들을 비교하는 것입니다. 하지만 특히 안전이나 규정 준수를 위해 교육이 필요한 경우에는 이러한 비교가 항상 가능하거나 공정한 것은 아닙니다. 단계적 도입은 실용적인 대안이 될 수 있습니다. 한 그룹은 지금 시작하고, 비슷한 다른 그룹은 나중에 시작하여, 나중에 시작된 그룹을 비교 대상으로 삼는 것입니다. 어떤 방식을 선택하든, 계획서에 왜 그 방식이 관련자들에게 공정한지 명시해야 합니다.
3. 학습 여정을 전달하고 기록합니다.
증거는 실제로 무엇이 전달되었는지 알 때만 유용합니다. 발생한 일을 명확하게 기록해 두세요. 전달에 드는 비용과 노력 또한 시범 사업의 핵심 검증 요소이기 때문입니다.
기록:
- 예비. 참가자들은 세션 전에 무엇을 했고, 그 시간은 얼마나 걸렸나요?
- 연습. 그들은 어떤 사례나 연습 문제를 풀었고, 어떤 피드백을 받았나요?
- 코칭. 누가 얼마나 오랫동안 코칭을 했으며, 실시간 코칭이었는지 아니면 비동기식 코칭이었는지 궁금합니다.
- 운영상의 변경 사항. 시범 운영 기간 동안 변경된 사항(예: 새로운 도구 도입, 정책 변경, 계절적 성수기 또는 관리자 교체)도 포함됩니다.
- 제품 구성 및 비용. 실제로 사용하신 장비 구성과, 작업을 완료하는 데 소요된 시간과 비용.
마지막 두 가지는 출시 결정에 가장 중요한 요소입니다. 대규모로 적용하기에는 감당할 수 없는 수준의 코칭이 있어야만 제대로 작동하는 디자인은 당신에게 귀중한 교훈을 주었으며, 그 기록이 바로 그것을 보여줍니다.
4. 새로운 과제 수행 능력 및 전이성을 평가합니다.
훈련 평가는 흔히 커크패트릭 모델의 네 가지 수준, 즉 반응, 학습, 행동 및 결과로 설명됩니다.커크패트릭 파트너스파일럿 프로그램은 1단계를 넘어서야 합니다. 사람들이 유용하다고 느꼈는지 여부와 같은 반응은 빠르게 수집할 수 있지만, 그들의 행동 변화에 대해서는 거의 알려주지 않습니다.
새로운 작업에 대해 학습 내용을 테스트하세요. 참가자들에게 연습해 본 적 없는 사례를 제시하고, 기준선 평가에 사용했던 것과 동일한 기준으로 점수를 매기세요. 새로운 과제는 참가자들이 학습한 내용을 적용할 수 있는지 여부를 보여주는 것이지, 사례를 기억하는지 여부를 보여주는 것이 아닙니다.
직장 노출 후 후속 조치. 전이(Transfer)란 학습한 내용을 업무에 적용하고 시간이 지남에 따라 유지하는 것을 의미합니다. 자주 인용되는 볼드윈과 포드의 1988년 연구에서는 전이를 학습한 내용을 업무에 일반화하고 시간이 지남에 따라 유지하는 것으로 정의하며, 훈련 설계, 훈련생 특성 및 작업 환경이 전이에 미치는 영향을 살펴봅니다.볼드윈과 포드, 1988그러므로 사람들이 실제로 업무를 수행한 후, 예를 들어 몇 주 후에 후속 조사를 계획하고 동일한 작업을 다시 측정하십시오.
기록 장벽. 누군가 업무에서 새로운 접근 방식을 사용하지 않는다면 그 이유를 물어보세요. 필요한 도구가 부족하거나, 예전 방식을 고수하는 관리자가 있거나, 시간이 부족할 수도 있습니다. 이는 학습자의 실패가 아니라 업무 환경에 대한 분석 결과입니다.
만족도만으로 전이를 추론하지 마십시오. 좋은 피드백 점수는 기록해 둘 가치가 있습니다. 하지만 그것이 행동 변화를 보여주는 것은 아닙니다.
5. 결과가 출시 계획에 어떤 영향을 미칠지 결정합니다.
결과를 보기 전에 결정 기준을 작성하세요. 그렇지 않으면 어떤 결과가 나오든 그대로 진행할 이유를 쉽게 찾게 될 수 있습니다.
간단한 구조:
| 조종사가 보여준다면 | 그때 |
|---|---|
| 업무 수행 능력이 향상되었고, 이송이 보류되었으며, 배송이 가능해졌습니다. | 더 광범위한 배포를 계획하고 지속적으로 측정하세요. |
| 업무 수행 능력은 향상되었지만, 업무 환경으로 인해 다른 분야로의 전이가 저해되었다. | 장애물을 제거한 다음 두 번째 파일럿 테스트를 실행하세요. |
| 새로운 업무에는 큰 변화가 없습니다. | 추가 실행 전에 설계를 수정하십시오. |
| 배송 비용이나 코칭 시간이 현실적으로 불가능했습니다. | 제공 방식을 재설계한 다음 다시 시범 운영하세요. |
소규모 그룹이 감당할 수 있는 범위에 대해 솔직하게 평가하십시오. 제시된 수치는 참고 자료로만 활용하고, 그룹 규모와 분모를 명시하며, 효과 크기나 보장 범위에 대한 언급은 피하십시오. 교육의 효과를 인정하기 전에 동시에 발생한 다른 변화들을 함께 고려하십시오.
파일럿 측정 템플릿
예시용입니다. 해당 업무를 수행하는 전문가가 사용 전에 검토해야 합니다.
| 섹션 | 무엇을 적어야 할까요? |
|---|---|
| 파일럿 질문 | 검증 가능한 질문과 그 질문을 바탕으로 내려지는 결정. |
| 태스크 | 사람들이 수행해야 할 새로운 과제와 그 과제에 대한 점수 산정 방식. |
| 참가자 | 누가 포함되는지, 자격 요건을 충족한 사람은 몇 명인지, 그리고 비교 집단은 있는지 여부입니다. |
| 기준 | 훈련 전 측정치, 날짜 및 점수. |
| 학습 여정 | 준비, 연습, 코칭, 시간 및 비용. |
| 동시 변경 | 시범 운영 기간 동안 변경된 다른 사항이 있나요? |
| 새 작업 결과 | 시범 운영 기간 동안 연습하지 않은 과제에 대한 점수. |
| 추적 조사 | 작업 노출 후 시점, 접촉 대상 및 점수. |
| 장애물 | 사람들이 배운 것을 적용하지 못하게 막은 것은 무엇이었을까요? |
| 결정 기준 | 결과를 검토하기 전에 설정하는 임계값입니다. |
| 결과 | 수정, 재시험 또는 출시 중 어떤 방식을 택하고, 그 이유는 무엇입니까? |
상호작용적 전달이 도움이 되는 경우
상호작용형 형식은 각 참가자가 그룹 답변을 보기 전에 자신의 답변을 확정하기 때문에 파일럿 프로젝트의 실습 단계에 적합합니다. 이를 통해 단순히 출석 여부만 확인하는 것이 아니라 추론 과정까지 기록할 수 있습니다. 진행자는 실시간으로 사례를 진행할 수 있으며, 동일한 사례를 준비 또는 후속 학습을 위한 자율 학습 방식으로 활용할 수도 있습니다. AhaSlides는 상호작용형 학습을 지원하며 실시간 및 자율 학습 방식 간의 전환을 용이하게 합니다. 사용하려는 특정 저작, 피드백 또는 보고 기능이 기존 워크플로와 호환되는지 확인하고, AI, 시뮬레이션 및 통합 기능은 작동 방식을 직접 확인하기 전까지는 외부 또는 미확인 기능으로 간주하십시오. 형식 선택에 대한 자세한 내용은 다음을 참조하십시오. 적응형 학습, 상호작용형 학습, 실시간 학습은 언제 사용해야 할까요?측정하고자 하는 사고방식에 맞는 활동을 선택하려면 다음 가이드를 참조하세요. 학습 활동을 블룸의 분류 체계에 맞추기.
남아 있을 수 있는 제약 조건
아무리 잘 설계된 파일럿 프로그램이라도 해결되지 않은 몇 가지 문제가 남아 있습니다.
- 소수. 시범 사업은 실현 가능성과 방향을 보여주는 것이지, 대규모 시행 시 효과가 얼마나 클지를 보여주는 것은 아닙니다.
- 업무 환경. 사람들은 새로운 업무를 잘 수행할 수 있지만, 관리자, 도구 또는 인센티브가 다른 방향을 제시한다면 실제로 업무에 활용하지 않을 수도 있습니다.
- 타이밍. 몇 주 후의 추적 조사로는 6개월 후의 결과를 알 수 없습니다.
- 동시적 변화. 같은 기간 동안 발생한 다른 변화들이 이러한 개선의 일부를 설명해 줄 수 있습니다.
- 선택. 자원한 사람들과 실제 서비스 대상자가 다를 수 있습니다.
이러한 문제들에 대해 별도의 해결책을 마련하고, 시범 운영에서 해결되지 않은 질문들을 스폰서에게 알리십시오.
자주하는 질문
훈련용 파일럿 항공기는 얼마나 커야 할까요?
설계의 실현 가능성과 측정 가능성을 검증하기에 충분히 크면서도, 비용 부담이 적은 소규모 그룹이어야 합니다. 정답은 하나가 아닙니다. 그룹 규모를 보고하고 모든 결과는 참고 자료로 활용하십시오.
훈련 프로그램을 평가하려면 대조군이 필요한가요?
비교 집단을 설정하면 증거가 더욱 강력해지지만, 항상 실현 가능하거나 공정한 것은 아닙니다. 기준선 설정 후 유사한 집단을 나중에 추가하는 단계적 도입 방식이 현실적인 대안이 될 수 있습니다.
전사율은 언제 측정해야 하나요?
사람들이 업무에서 학습 내용을 적용할 시간과 기회를 충분히 가진 후, 최소 몇 주 정도 시간을 주세요. 그런 다음 동일한 작업을 다시 측정하고, 사용을 방해했던 장애물이 무엇이었는지 물어보세요.
만족도는 유용한 측정 기준일까요?
이는 사용자 경험을 개선하는 데 유용하지만, 학습 전이의 증거는 아닙니다. 새로운 작업에서의 수행 능력과 함께 평가해야 합니다.
어디서 시작하나요
중요한 업무 하나를 선택하고, 시범 운영을 통해 얻을 수 있는 의사결정 과정을 작성하세요. 간단한 업무 샘플이나 평가 사례를 활용하여 현재 몇몇 사람들이 해당 업무를 어떻게 수행하는지 기록해 두세요. 그런 다음 시범 운영 시작 전에 의사결정 기준을 작성하고, 후속 조치 일정을 다이어리에 기록해 두세요.
실제 팀과 함께 실습 사례를 실행하고, 이후에도 자율 학습 방식으로 재사용하는 방법을 알아보려면 AhaSlides를 살펴보세요.
