Một chương trình thí điểm kết thúc. Mười hai người tham gia, gần như tất cả đều nói rằng nó hữu ích và người điều phối rất hài lòng. Sau đó, người đứng đầu bộ phận vận hành đặt một câu hỏi hợp lý: "Có ai làm việc của mình khác đi không?" Trước khi chương trình thí điểm bắt đầu, không ai đo lường cách mọi người làm việc, không ai so sánh họ với ai, và nhóm đã thay đổi quy trình của mình ngay trong cùng tháng đó. Chương trình thí điểm tạo ra thiện chí, chứ không phải bằng chứng.
Đây là một tình huống minh họa, không phải là trường hợp khách hàng đã được ghi nhận. Nó cho thấy một cách phổ biến mà việc đánh giá các chương trình đào tạo thường mắc sai lầm: chương trình thí điểm được thực hiện, nhưng nó chưa bao giờ được thiết kế để trả lời một câu hỏi cụ thể.
Hướng dẫn này dành cho các trưởng bộ phận Đào tạo và Phát triển, các nhà thiết kế chương trình giảng dạy và các nhà quản lý đào tạo. Nó bao gồm năm bước: xác định câu hỏi thí điểm, lựa chọn người tham gia và các chỉ số cơ sở, ghi lại hành trình học tập, đánh giá hiệu suất và khả năng chuyển giao nhiệm vụ mới, và thống nhất cách kết quả sẽ ảnh hưởng đến việc triển khai. Cuối cùng là một mẫu bạn có thể điều chỉnh và những hạn chế còn lại.
Phi công huấn luyện là gì?
Chương trình thí điểm đào tạo là một đợt chạy thử nhỏ, có thời hạn, của một thiết kế học tập trước khi bạn triển khai nó trên quy mô lớn. Mục đích của nó là tìm hiểu xem thiết kế đó có khả thi hay không và liệu nó có đáng để theo đuổi hay không, chứ không phải để chứng minh nó hiệu quả ở mọi nơi.
Sự khác biệt đó rất quan trọng. Trung tâm Y học Bổ sung và Tích hợp Quốc gia Hoa Kỳ mô tả nghiên cứu thí điểm là một thử nghiệm quy mô nhỏ về các phương pháp và quy trình sẽ được sử dụng trên quy mô lớn hơn, và cảnh báo rằng nghiên cứu thí điểm không đủ mạnh để trả lời các câu hỏi về hiệu quả, vì vậy bất kỳ tác dụng nào mà nó thể hiện đều không ổn định.NCCIH, Nghiên cứu thí điểm: Các cách sử dụng và lạm dụng phổ biếnHướng dẫn đó được viết cho nghiên cứu y tế, nhưng logic vẫn áp dụng được. Một thử nghiệm thí điểm với mười hai người có thể cho bạn biết liệu bạn có thể tuyển dụng, triển khai, đo lường và theo dõi hay không. Nhưng nó không thể cho bạn biết một cách chắc chắn hiệu quả sẽ lớn đến mức nào trên toàn bộ tổ chức.
sự kiện nhanh chóng
| câu hỏi | Câu trả lời ngắn |
|---|---|
| Phi công có vai trò gì? | Kiểm tra các giả định về học tập và phương pháp giảng dạy trước khi mở rộng quy mô. |
| Bạn cần chuẩn bị những gì trước khi bắt đầu? | Một câu hỏi có thể kiểm chứng, một nhiệm vụ, một mốc chuẩn và các tiêu chí quyết định. |
| Những giấy tờ nào được coi là bằng chứng chuyển nhượng? | Hiệu quả thực hiện nhiệm vụ mới sau khi làm quen với công việc, chứ không phải sự hài lòng. |
| Bạn có cần nhóm đối chứng không? | Không phải lúc nào cũng vậy. Nhóm đối chứng hoặc triển khai theo từng giai đoạn sẽ hữu ích khi điều đó khả thi và công bằng. |
| Khi nào bạn thiết lập các tiêu chí quyết định? | Trước khi xem bất kỳ kết quả nào. |
| Phi công có thể giấu bạn điều gì chứ? | Tác động sẽ lớn đến mức nào trên quy mô lớn? |
1. Xác định câu hỏi thí điểm
Hãy bắt đầu bằng một câu hỏi có thể trả lời là có hoặc không, hoặc bằng một con số, và nêu rõ quyết định mà câu hỏi đó sẽ cung cấp thông tin.
Một câu hỏi yếu: "Chương trình hướng dẫn nhân viên mới có hiệu quả không?" Một câu hỏi có thể kiểm chứng: "Sau khi thiết kế lại chương trình hướng dẫn, liệu nhân viên mới có thể xử lý các trường hợp khiếu nại của khách hàng mà không cần trợ giúp, và liệu chương trình thí điểm có khả thi để thực hiện với thời gian đào tạo hiện có?"
Hãy viết ra ba điều:
- Nhiệm vụ. Mọi người sẽ có thể làm được những việc mà trước đây họ không thể làm được, hoặc làm không tốt?
- Quyết định. Bạn sẽ điều chỉnh thiết kế, chạy thử nghiệm thêm một lần nữa hay triển khai rộng rãi hơn?
- Các giả định về học tập và truyền đạt kiến thức. Bạn đang giả định điều gì về các điều kiện tiên quyết, thời gian, năng lực huấn luyện và các công cụ mà thí điểm nên thử nghiệm?
Nếu bạn không thể nêu tên quyết định, bạn chưa sẵn sàng để thực hiện dự án thí điểm. Kết quả sẽ đến mà không có ai chờ đợi để hành động dựa trên nó.
2. Lựa chọn người tham gia và các chỉ số cơ bản
Mức cơ sở là bằng chứng về cách mọi người thực hiện nhiệm vụ trước khi được đào tạo. Nếu không có nó, sự "cải thiện" sẽ không có gì để so sánh.
Hãy lựa chọn người tham gia một cách cẩn trọng. Hãy chọn những người thực hiện nhiệm vụ thực tế và có đặc điểm giống với nhóm mà bạn dự định triển khai. Một chương trình thử nghiệm chỉ với những tình nguyện viên nhiệt tình nhất sẽ giúp thiết kế trở nên thuyết phục hơn.
Ghi lại dữ liệu cơ bản. Hãy sử dụng cùng một loại thước đo mà bạn sẽ sử dụng sau này, để hai kết quả có thể được so sánh. Các lựa chọn bao gồm một mẫu công việc ngắn, một quan sát có cấu trúc, một đánh giá về các sản phẩm gần đây hoặc một trường hợp được chấm điểm. Ghi lại những người tham gia, số lượng người đủ điều kiện và thời điểm bạn tiến hành đo lường.
Hãy thử so sánh. Thiết kế tối ưu nhất là so sánh những người tham gia chương trình thí điểm với những người tương tự nhưng không tham gia. Điều này không phải lúc nào cũng khả thi hoặc công bằng, đặc biệt khi việc đào tạo cần thiết cho mục đích an toàn hoặc tuân thủ quy định. Triển khai theo từng giai đoạn là một giải pháp thay thế thiết thực: một nhóm bắt đầu ngay bây giờ, một nhóm tương tự bắt đầu sau đó, và nhóm sau đóng vai trò là nhóm so sánh cho nhóm đầu tiên. Dù bạn chọn phương pháp nào, hãy nêu rõ trong kế hoạch lý do tại sao nó công bằng với những người liên quan.
3. Truyền đạt và ghi lại hành trình học tập
Bằng chứng chỉ hữu ích nếu bạn biết những gì đã được giao. Hãy ghi chép lại một cách rõ ràng những gì đã xảy ra, bởi vì chi phí và công sức giao hàng là một phần của những gì mà dự án thí điểm thử nghiệm.
Ghi lại:
- Sự chuẩn bị. Mọi người đã làm gì trước các buổi họp, và quá trình đó kéo dài bao lâu?
- Thực hành. Họ đã giải quyết những trường hợp hoặc bài tập nào, và nhận được phản hồi như thế nào?
- Huấn luyện. Ai là người huấn luyện, trong bao lâu, và đó là hình thức trực tiếp hay không trực tiếp?
- Những thay đổi về mặt vận hành. Bất kỳ thay đổi nào khác xảy ra trong quá trình thí điểm, chẳng hạn như công cụ mới, thay đổi chính sách, mùa cao điểm hoặc thay đổi người quản lý.
- Cấu hình sản phẩm và chi phí. Cấu hình thực tế bạn đã sử dụng, cũng như thời gian và chi phí để thực hiện.
Hai yếu tố cuối cùng là quan trọng nhất đối với quyết định triển khai. Một thiết kế chỉ hoạt động hiệu quả với mức độ huấn luyện mà bạn không đủ khả năng chi trả ở quy mô lớn đã dạy cho bạn một bài học quý giá, và nhật ký chính là bằng chứng cho điều đó.
4. Đánh giá hiệu suất và khả năng chuyển giao nhiệm vụ mới
Việc đánh giá hiệu quả đào tạo thường được mô tả bằng bốn cấp độ của mô hình Kirkpatrick: phản ứng, học tập, hành vi và kết quả (Kirkpatrick PartnersPhi công nên vượt ra ngoài cấp độ đầu tiên. Phản hồi, liệu mọi người có thấy nó hữu ích hay không, rất nhanh chóng thu thập nhưng lại không nói lên nhiều điều về việc liệu họ có hành động khác đi hay không.
Kiểm tra kiến thức đã học bằng một nhiệm vụ mới. Hãy đưa cho người tham gia một trường hợp mà họ chưa từng thực hành, và chấm điểm trường hợp đó bằng cùng tiêu chí bạn đã sử dụng ở giai đoạn ban đầu. Nhiệm vụ mới này cho thấy liệu mọi người có thể áp dụng những gì họ đã học hay không, chứ không phải liệu họ có nhớ được ví dụ đó hay không.
Theo dõi sau khi tiếp xúc tại nơi làm việc. Chuyển giao kiến thức nghĩa là áp dụng những gì đã học vào công việc và duy trì nó theo thời gian. Bài đánh giá năm 1988 thường được trích dẫn của Baldwin và Ford định nghĩa chuyển giao kiến thức là sự khái quát hóa kiến thức đã học vào công việc và duy trì nó theo thời gian, đồng thời xem xét cách thiết kế đào tạo, đặc điểm của người được đào tạo và môi trường làm việc ảnh hưởng đến nó.Baldwin và Ford, 1988Vì vậy, hãy lên kế hoạch theo dõi sau khi mọi người đã hoàn thành công việc thực tế, ví dụ như vài tuần sau, và đo lường hiệu quả của cùng một nhiệm vụ một lần nữa.
Ghi nhận các rào cản. Nếu ai đó không áp dụng phương pháp mới tại nơi làm việc, hãy hỏi lý do. Câu trả lời có thể là do thiếu công cụ, người quản lý vẫn muốn sử dụng cách làm cũ hoặc không đủ thời gian. Đây là những phát hiện về môi trường làm việc, chứ không phải là lỗi của người học.
Không nên suy luận sự chuyển giao từ sự hài lòng. Điểm phản hồi tốt rất đáng được ghi nhận. Nó không chứng minh rằng hành vi đã thay đổi.
5. Xác định xem kết quả ảnh hưởng đến việc triển khai như thế nào.
Hãy viết ra các tiêu chí quyết định trước khi xem kết quả. Nếu không, bạn sẽ dễ dàng tìm ra lý do để tiếp tục với bất cứ kết quả nào.
Một cấu trúc đơn giản:
| Nếu phi công xuất hiện | Sau đó |
|---|---|
| Hiệu suất công việc được cải thiện, việc chuyển giao được thực hiện, việc giao hàng khả thi. | Lên kế hoạch triển khai rộng rãi hơn và tiếp tục đo lường hiệu quả. |
| Hiệu suất công việc được cải thiện, nhưng việc chuyển giao kiến thức bị cản trở bởi môi trường làm việc. | Khắc phục sự cố rào chắn, sau đó chạy thử nghiệm lần thứ hai. |
| Nhiệm vụ mới hầu như không có thay đổi gì. | Hãy chỉnh sửa thiết kế trước khi tiến hành chạy thử nghiệm tiếp. |
| Chi phí giao hàng hoặc thời gian huấn luyện không khả thi. | Hãy thiết kế lại cách thức triển khai, sau đó tiến hành thử nghiệm lại. |
Hãy trung thực về khả năng hỗ trợ của một nhóm nhỏ. Coi các con số chỉ mang tính chất tham khảo, báo cáo quy mô nhóm và mẫu số, và tránh sử dụng các chỉ số hiệu quả hoặc đảm bảo. Nêu rõ những thay đổi khác đã xảy ra cùng lúc trước khi ghi nhận công lao của khóa đào tạo.
Mẫu đo lường thí điểm
Chỉ mang tính minh họa. Người thực hiện công việc này nên xem xét lại trước khi sử dụng.
| Phần | Nên ghi chép những gì |
|---|---|
| Câu hỏi thí điểm | Câu hỏi có thể kiểm chứng và quyết định mà nó cung cấp thông tin. |
| Nhiệm vụ | Nhiệm vụ mới mà mọi người cần thực hiện và cách thức chấm điểm. |
| Những người tham gia | Những đối tượng nào được đưa vào nghiên cứu, có bao nhiêu người đủ điều kiện và có nhóm so sánh nào không? |
| Baseline | Số liệu, ngày tháng và điểm số trước khi huấn luyện. |
| Hành trình học tập | Sự chuẩn bị, luyện tập, huấn luyện, thời gian và chi phí. |
| Thay đổi đồng thời | Còn điều gì khác đã thay đổi trong quá trình phát sóng thử nghiệm không? |
| Kết quả nhiệm vụ mới | Điểm số đạt được trong một nhiệm vụ chưa được thực hành trong giai đoạn thử nghiệm. |
| Theo dõi | Thời gian, đối tượng tiếp cận và điểm số sau khi tiếp xúc với môi trường làm việc. |
| Rào cản | Điều gì đã ngăn cản mọi người áp dụng những kiến thức đã học? |
| Tiêu chí quyết định | Các ngưỡng bạn đặt ra trước khi xem xét kết quả. |
| Kết quả | Nên xem xét lại, thử nghiệm lại hay triển khai rộng rãi, và tại sao? |
Trong trường hợp phương thức giao hàng tương tác giúp ích
Các định dạng tương tác phù hợp với giai đoạn thực hành của một dự án thí điểm vì mỗi người cam kết đưa ra câu trả lời trước khi xem câu trả lời của cả nhóm, điều này giúp bạn ghi lại quá trình lập luận chứ không chỉ đơn thuần là điểm danh. Người điều phối có thể thực hiện một trường hợp trực tiếp, và trường hợp tương tự cũng có thể được sử dụng để tự học nhằm chuẩn bị hoặc theo dõi. AhaSlides hỗ trợ học tập tương tác và chuyển đổi giữa hình thức trực tiếp và tự học. Hãy kiểm tra bất kỳ chức năng soạn thảo, phản hồi hoặc báo cáo cụ thể nào bạn dự định sử dụng so với quy trình làm việc của riêng bạn, và coi các tính năng AI, mô phỏng và tích hợp là các tính năng bên ngoài hoặc chưa được xác nhận cho đến khi bạn thấy chúng hoạt động. Để lựa chọn giữa các định dạng, hãy xem Khi nào nên sử dụng phương pháp học tập thích ứng, tương tác và trực tiếp?Để lựa chọn các hoạt động phù hợp với loại tư duy bạn muốn đo lường, hãy xem hướng dẫn của chúng tôi về... Phù hợp các hoạt động học tập với Phân loại Bloom..
Những ràng buộc có thể vẫn còn
Ngay cả một tập phim thử nghiệm được thiết kế tốt cũng vẫn còn một số vấn đề chưa được giải quyết:
- Số lượng ít. Dự án thí điểm cho thấy tính khả thi và định hướng, chứ không phải quy mô hiệu quả khi triển khai trên quy mô lớn.
- Môi trường làm việc. Mọi người có thể hoàn thành tốt nhiệm vụ mới nhưng vẫn không sử dụng nó trong công việc nếu người quản lý, công cụ hoặc các biện pháp khuyến khích của họ hướng theo cách khác.
- Thời gian. Việc theo dõi sau vài tuần không thể cho thấy tình trạng còn lại sau sáu tháng.
- Thay đổi đồng thời. Những thay đổi khác trong cùng thời kỳ cũng có thể giải thích một phần sự cải thiện đó.
- Sự lựa chọn. Những người tình nguyện có thể khác với những người mà bạn sẽ tiếp cận.
Hãy lên kế hoạch khắc phục riêng cho từng vấn đề và thông báo cho nhà tài trợ biết những câu hỏi nào mà chương trình thí điểm chưa giải quyết được.
Các câu hỏi thường gặp
Phi công huấn luyện nên có kích thước như thế nào?
Đủ lớn để kiểm tra xem thiết kế có khả thi để triển khai và đo lường hay không, và đủ nhỏ để thay đổi với chi phí thấp. Không có một con số đúng duy nhất. Báo cáo quy mô nhóm và coi bất kỳ kết quả nào cũng chỉ mang tính chất tham khảo.
Tôi có cần nhóm đối chứng để đánh giá một chương trình đào tạo không?
Nhóm đối chứng giúp củng cố bằng chứng, nhưng không phải lúc nào cũng khả thi hoặc công bằng. Một nhóm cơ sở kết hợp với việc triển khai theo từng giai đoạn, trong đó một nhóm tương tự bắt đầu sau, là một giải pháp thay thế thiết thực.
Khi nào thì nên đo lường sự chuyển giao?
Sau khi mọi người có thời gian và cơ hội áp dụng những kiến thức đã học vào công việc, hãy cho họ ít nhất vài tuần. Đo lường hiệu quả của cùng một nhiệm vụ một lần nữa, và hỏi về những rào cản đã ngăn cản họ sử dụng kiến thức đó.
Liệu sự hài lòng có phải là một thước đo hữu ích?
Nó hữu ích để cải thiện trải nghiệm, nhưng không phải là bằng chứng về khả năng chuyển giao kiến thức. Hãy kết hợp nó với hiệu suất thực hiện một nhiệm vụ mới.
Bắt đầu từ đâu
Hãy chọn một nhiệm vụ quan trọng và viết ra quyết định mà chương trình thử nghiệm sẽ đưa ra. Ghi lại cách một số người thực hiện nhiệm vụ đó hiện nay, bằng cách sử dụng một mẫu công việc ngắn hoặc một trường hợp được chấm điểm. Sau đó, hãy viết ra các tiêu chí quyết định của bạn trước khi chương trình thử nghiệm bắt đầu và ghi lại ngày theo dõi vào nhật ký.
Để xem cách một trường hợp thực hành có thể được triển khai trực tiếp với nhóm của bạn và được tái sử dụng theo tốc độ riêng sau đó, hãy khám phá AhaSlides.
