Một quản lý đào tạo mở bảng điều khiển học tập vào thứ Hai. Tỷ lệ hoàn thành là 96%. Mức độ hài lòng trung bình là 4.5 trên 5. Sau đó, một trưởng nhóm đặt câu hỏi khó xử: "Mọi người có xử lý các vấn đề khiếu nại của khách hàng theo cách khác không?" Bảng điều khiển không thể trả lời. Nó chỉ ghi nhận rằng khóa học đã hoàn thành, chứ không ghi nhận bất kỳ thay đổi nào trong công việc.
Đây là lỗ hổng mà hầu hết các chỉ số đánh giá đào tạo đều bỏ qua. Việc hoàn thành chỉ cho bạn biết ai đã đạt đến cuối khóa học. Nó không cho bạn biết ai đã học được kỹ năng đó, ai đã sử dụng nó, hay liệu doanh nghiệp có chuyển biến tích cực hay không. Hướng dẫn này cung cấp cho bạn một hệ thống phân cấp bằng chứng và một kế hoạch đo lường một trang mà bạn có thể điền vào cho bất kỳ chương trình nào, mà không cần phải giả định rằng mọi khóa học đều cần một nghiên cứu ROI nhân quả đầy đủ.
Tình huống mở đầu ở trên chỉ mang tính minh họa, không phải là trường hợp khách hàng đã được ghi nhận.
sự kiện nhanh chóng
| câu hỏi | Câu trả lời ngắn |
|---|---|
| Tỷ lệ hoàn thành có vấn đề gì? | Họ đo lường sự tham gia, chứ không phải việc học hỏi hay sự thay đổi trong công việc. |
| Vậy bạn nên đo lường cái gì thay thế? | Học tập dựa trên mục tiêu, áp dụng vào công việc, sau đó là kết quả hoạt động thực tế trong bối cảnh cụ thể. |
| Liệu mọi khóa học đều cần phân tích ROI (lợi tức đầu tư)? | Không. Hãy đối chiếu độ sâu của bằng chứng với quyết định được đưa ra. |
| Kế hoạch đo lường bao gồm những gì? | Kết quả, thước đo, nguồn gốc, mẫu số, thời điểm và chủ sở hữu |
1. Xác định quyết định mà dữ liệu cần hỗ trợ.
Trước khi chọn một chỉ số đo lường, hãy xác định quyết định mà chỉ số đó sẽ hỗ trợ. Ba chỉ số phổ biến cần những bằng chứng khác nhau:
- Cải thiện chương trình. Bạn cần biết học viên gặp khó khăn ở đâu, vì vậy kết quả ở cấp độ từng câu hỏi và từng bài tập quan trọng hơn điểm đạt.
- Xác nhận sự sẵn sàng. Bạn cần bằng chứng cho thấy một người có thể thực hiện một nhiệm vụ cụ thể theo một tiêu chuẩn đã thỏa thuận, thường là thông qua quan sát hoặc một bài kiểm tra có chấm điểm.
- Đánh giá quá trình triển khai. Bạn cần so sánh các nhóm hoặc các giai đoạn, vì vậy các số liệu, mẫu số và thời điểm nhất quán là điều quan trọng nhất.
Nếu bạn không thể nói dữ liệu ủng hộ quyết định nào, bạn sẽ thu thập mọi thứ và kết luận được rất ít. Một bài kiểm tra ngắn: nếu kết quả không tốt, bạn sẽ làm gì khác đi? Nếu câu trả lời là "không làm gì cả", thì chỉ số đó không chứng tỏ được giá trị của nó.
2. Đo lường kết quả học tập so với mục tiêu
Hãy bắt đầu từ nhiệm vụ công việc, chứ không phải nội dung khóa học. Viết mục tiêu dưới dạng một việc mà người ta thực hiện ("phân loại khiếu nại leo thang bằng cách sử dụng các tiêu chí đã thống nhất"), sau đó thiết kế bài đánh giá cho phù hợp. Trung tâm Eberly của Đại học Carnegie Mellon đã nêu rõ điểm mấu chốt: các bài đánh giá, mục tiêu và hoạt động giảng dạy nên củng cố lẫn nhau, và việc dạy kỹ năng phân tích trong khi chỉ đánh giá khả năng ghi nhớ sự kiện sẽ khiến người học thực hành sai cách.Hướng dẫn của Trung tâm Eberly về việc điều chỉnh các bài đánh giá, mục tiêu và chiến lược giảng dạy.).
Trên thực tế, điều đó mang lại cho bạn ba lựa chọn thiết kế:
- Đặt đường cơ sở. Hãy đánh giá nhiệm vụ trước khi đào tạo, hoặc sử dụng một bài kiểm tra chẩn đoán ngắn gọn, để bạn biết trình độ ban đầu của mỗi người học. Nếu không có điểm chuẩn, điểm số tốt sau đào tạo có thể chỉ phản ánh kỹ năng trước đó.
- Sử dụng phương pháp theo dõi phù hợp. Bài kiểm tra sau nên kiểm tra cùng một nhiệm vụ và tiêu chuẩn, nhưng sử dụng một trường hợp mới thay vì trường hợp đã luyện tập. Việc lặp lại các câu hỏi giống hệt nhau sẽ giúp củng cố trí nhớ về các câu trả lời.
- Hãy tách biệt sự hài lòng. Phản hồi của người học giúp bạn cải thiện trải nghiệm, nhưng Trung tâm Kiểm soát và Phòng ngừa Dịch bệnh Hoa Kỳ (CDC) đã nêu rõ trong hướng dẫn đánh giá đào tạo rằng sự hài lòng của người học không quyết định liệu một khóa đào tạo có hiệu quả hay không.CDC, đánh giá hiệu quả đào tạo: đo lường hiệu quảHãy báo cáo lại, nhưng đừng bao giờ dùng nó để thay thế cho việc học hỏi.
Một bảng tiêu chí ba điểm đơn giản sẽ hữu ích ở đây. Chấm điểm mỗi tiêu chí 0 (không có hoặc không được hỗ trợ), 1 (một phần, với những thiếu sót liên quan) hoặc 2 (hoàn chỉnh và có lý do chính đáng), và xác định riêng các lỗi nghiêm trọng để điểm tổng thể không che giấu được một thiếu sót nghiêm trọng. Điều chỉnh các tiêu chí với sự tư vấn của chuyên gia; bảng tiêu chí do bạn tự viết chỉ là điểm khởi đầu, chứ không phải là một tiêu chuẩn đã được kiểm chứng.
3. Đánh giá khả năng chuyển giao sau khi tiếp xúc với môi trường làm việc
Việc học một điều gì đó trong khóa học và việc áp dụng nó vào công việc là hai việc khác nhau. Hướng dẫn của CDC phân biệt giữa đánh giá học tập và đánh giá khả năng chuyển giao kiến thức, trong đó hỏi về mức độ thành công của người học khi áp dụng những gì đã học sau khi trở lại nơi làm việc.
Việc thu thập bằng chứng về khả năng chuyển giao kỹ năng cần thời gian. Hãy lên lịch theo dõi sau khi người học đã có cơ hội thực sự sử dụng kỹ năng đó, có thể là hai tuần đối với một nhiệm vụ hàng ngày và vài tháng đối với một nhiệm vụ hiếm gặp. Sau đó, thu thập bằng chứng bằng một hoặc nhiều cách sau:
- Quan sát hoặc đánh giá mẫu công việc dựa trên cùng một tiêu chí được sử dụng trong quá trình đào tạo.
- Ý kiến đóng góp từ người quản lý hoặc đồng nghiệp Sử dụng các câu hỏi cụ thể, dựa trên hành vi thay vì hỏi "Họ có tiến bộ không?".
- Bằng chứng hệ thống Trong trường hợp nhiệm vụ để lại dấu vết, chẳng hạn như một biểu mẫu đã hoàn thành hoặc một trường hợp đã được ghi nhận.
Ghi nhận các rào cản một cách cẩn thận như ghi nhận kết quả. Một người học có thể hoàn thành nhiệm vụ trong quá trình đào tạo nhưng lại không làm được ở nơi làm việc có thể do thiếu công cụ, quyền hạn, thời gian hoặc sự hỗ trợ từ người quản lý. Những hạn chế đó có thể vẫn tồn tại ngay cả sau khi hiệu suất công việc được cải thiện trong lớp học, và đó là những phát hiện có khả năng thay đổi quyết định tiếp theo của bạn nhất. Hãy tự hỏi "điều gì đã ngăn cản bạn áp dụng điều này?" và phân loại các câu trả lời.
4. Giải thích kết quả hoạt động trong bối cảnh cụ thể.
Các chỉ số hoạt động như tỷ lệ lỗi, thời gian xử lý hoặc tỷ lệ giải quyết vấn đề rất quan trọng vì đó là những gì tổ chức quan tâm. Chúng cũng là những chỉ số dễ bị đánh giá thấp nhất.
Ba thói quen giúp bạn trung thực:
- Sử dụng tỷ giá tương đương. Số liệu thống kê có thể gây hiểu nhầm khi số lượng thay đổi. Hãy so sánh tỷ lệ với mẫu số đã nêu: lỗi trên 100 trường hợp, chứ không phải tổng số lỗi.
- Liệt kê các lời giải thích thay thế. Tính thời vụ, công cụ mới, thay đổi nhân sự hoặc cập nhật chính sách đều có thể làm thay đổi cùng một con số trong cùng một quý. Hãy ghi lại những yếu tố này trước khi xem kết quả.
- Hãy cho biết đó là loại khiếu nại gì. Nếu nhân viên được đào tạo có tỷ lệ thành công cao hơn so với nhân viên chưa được đào tạo, đó là một mối liên hệ được quan sát thấy. Một tuyên bố về mối quan hệ nhân quả cần một thiết kế loại trừ các phương án thay thế, chẳng hạn như nhóm so sánh hoặc triển khai theo từng giai đoạn. Hầu hết các chương trình không cần mức độ chặt chẽ như vậy, và hoàn toàn có thể nói thẳng thắn: "Kết quả đã chuyển biến theo hướng chúng ta mong đợi; đây là những thay đổi khác."
Tránh hứa hẹn lợi nhuận đầu tư chỉ từ việc đào tạo. Hãy báo cáo những gì bạn quan sát được, bối cảnh và những hạn chế.
5. Xây dựng kế hoạch đo lường thực tế
Hãy sắp xếp các phần dữ liệu vào một bảng cho mỗi chương trình. Mỗi hàng là một câu hỏi mà dữ liệu cần trả lời.
| Phần | Viết gì | Tại sao nó quan trọng |
|---|---|---|
| Kết quả | Sự thay đổi mà bạn mong đợi, xét về mặt có thể quan sát được. | Ngăn chặn các mục tiêu mơ hồ |
| Đo | Điểm số theo tiêu chí hoặc chỉ số cụ thể | Giúp cho việc kiểm thử được dễ dàng hơn. |
| nguồn | Nguồn gốc dữ liệu | Cho biết liệu nó có tồn tại và có đáng tin cậy hay không. |
| Mẫu số | Ai hoặc cái gì đang sử dụng thước đo này? | Ngăn ngừa việc tính toán số liệu thô gây hiểu nhầm. |
| Thời gian | Khi nó được thu thập | Phân biệt giữa học tập và chuyển giao kiến thức |
| Chủ nhân | Người chịu trách nhiệm được nêu tên | Biến điều đó thành hiện thực |
Ví dụ minh họa (không hiển thị kết quả)
Hãy tưởng tượng một chương trình giúp nhân viên hỗ trợ khách hàng xử lý các khiếu nại được chuyển lên cấp cao hơn. Quyết định đặt ra: xác nhận sự sẵn sàng trước khi nhân viên tiếp nhận các trường hợp cần chuyển lên cấp cao hơn mà không có người hướng dẫn.
| Kết quả | Đo | nguồn | Mẫu số | Thời gian | Chủ nhân |
|---|---|---|---|---|---|
| Các nhân viên sẽ phân loại và xử lý các trường hợp cần leo thang dựa trên các tiêu chí đã được thống nhất. | Điểm số theo thang đánh giá (0 đến 2 cho mỗi tiêu chí, không có lỗi nghiêm trọng) cho một trường hợp mới | Thực hành tình huống có chấm điểm | Các đại lý hoàn thành chương trình | Kết quả cuối chương trình, so với mức cơ sở trước khi đào tạo. | Trưởng nhóm đào tạo |
| Các nhân viên thực hiện các bước phân loại ban đầu đối với các trường hợp đang xử lý. | Điểm số theo thang đánh giá dựa trên các vụ leo thang thực tế được lấy mẫu. | Mẫu đánh giá chất lượng | Số lần leo thang được lấy mẫu cho mỗi nhân viên. | Bốn đến sáu tuần sau lần leo thang căng thẳng trực tiếp đầu tiên | Trưởng nhóm |
| Các rào cản trong việc áp dụng các bước này đã được biết đến. | Các lý do được phân loại từ một cuộc theo dõi ngắn hạn. | Kiểm tra theo dõi của đại lý | Các nhân viên đã xử lý một vụ việc leo thang. | Cùng khung thời gian theo dõi | Trưởng nhóm đào tạo |
| Kết quả leo thang được theo dõi trong bối cảnh cụ thể. | Tỷ lệ các ca bệnh được tái mở, kèm theo những thay đổi đồng thời được ghi nhận. | Hệ thống trường hợp | Các vụ leo thang đã được giải quyết trong giai đoạn này. | Hàng quý, so với kỳ trước. | Nhà phân tích vận hành |
Hãy lưu ý những gì không có: không có lời hứa về tỷ lệ cải thiện phần trăm, và không có tuyên bố rằng chỉ riêng việc luyện tập sẽ quyết định kết quả cuối cùng. Kế hoạch này khuyến khích bạn thu thập bằng chứng trung thực, chứ không phải đưa ra một câu trả lời cụ thể.
Nơi mà phương thức phân phối tương tác và thích ứng phù hợp.
Việc đo lường sẽ dễ dàng hơn khi chính quá trình học tập tạo ra bằng chứng. Các hoạt động tương tác, chẳng hạn như câu hỏi tình huống có chấm điểm, khảo sát tình huống và kiểm tra kiến thức ngắn, cung cấp dữ liệu cho từng người học và từng nội dung trong quá trình đào tạo, và học tập thích ứng có thể phân loại người học dựa trên hiệu suất của họ. Thiết kế kết hợp giữa các buổi học trực tiếp và tự học cho phép bạn làm bài kiểm tra chẩn đoán vào thời gian rảnh, thực hành tình huống trực tiếp với phản hồi và hoàn thành bài đánh giá tiếp theo không đồng bộ.
Những khả năng này hỗ trợ bằng chứng trong dòng thứ nhất và thứ hai của kế hoạch của bạn. Chúng không thay thế các dòng về chuyển giao và kết quả, vốn phụ thuộc vào những gì xảy ra trong công việc. Hãy kiểm tra xem bạn cần những tính năng báo cáo và soạn thảo cụ thể nào bằng cách xem bản demo trước khi bạn quyết định thiết kế, và hãy coi bất kỳ công cụ hoặc tích hợp bên ngoài nào là riêng biệt với quy trình làm việc cốt lõi cho đến khi bạn thấy nó hoạt động.
Hãy thử với chương trình của riêng bạn.
Hãy điền vào sơ đồ sáu lĩnh vực cho một chương trình mà bạn đang thực hiện hiện nay, bắt đầu bằng quyết định mà chương trình đó nên hỗ trợ.
Để xem cách thức ghi nhận bằng chứng học tập trong kế hoạch của bạn trong một buổi học trực tiếp hoặc tự học, hãy khám phá AhaSlides.
Các câu hỏi thường gặp
Các chỉ số đánh giá hiệu quả đào tạo là gì?
Đây là những tiêu chí bạn sử dụng để đánh giá xem khóa đào tạo có đạt được mục đích hay không. Một bộ tiêu chí hữu ích bao gồm việc so sánh kết quả học tập với mục tiêu, khả năng áp dụng vào công việc và kết quả hoạt động trong bối cảnh cụ thể, chứ không chỉ đơn thuần là hoàn thành và sự hài lòng.
Tỷ lệ hoàn thành có phải là một chỉ số hữu ích không?
Công cụ này hữu ích để theo dõi sự tham gia và phát hiện các vấn đề về khả năng tiếp cận. Tuy nhiên, nó không thể chứng minh ai đó đã học hoặc áp dụng được kỹ năng nào, vì vậy hãy kết hợp nó với một bài đánh giá và một buổi theo dõi tiếp theo.
Tôi nên đánh giá khả năng chuyển giao kiến thức sau bao lâu kể từ khi bắt đầu huấn luyện?
Thời gian đủ dài để người học có cơ hội thực sự sử dụng kỹ năng đó. Một nhiệm vụ hàng ngày có thể cần vài tuần, trong khi một nhiệm vụ hiếm gặp cần thời gian dài hơn. Hãy thiết lập khoảng thời gian này trong kế hoạch của bạn trước khi bắt đầu đào tạo.
Tôi có cần chứng minh lợi tức đầu tư (ROI) cho từng khóa học không?
Không. Hãy đối chiếu bằng chứng với quyết định. Nhiều chương trình sẽ hiệu quả hơn nếu có bằng chứng về việc học hỏi và chuyển giao kiến thức, cùng với các kết quả hoạt động được báo cáo kèm theo bối cảnh. Chỉ nên sử dụng phân tích nhân quả cho các chương trình có rủi ro cao hoặc chi phí cao, khi thiết kế cho phép.
