Một nhóm nhân viên bệnh viện đã thiết kế lại quy trình xử lý yêu cầu bồi thường. Họ đào tạo nhân viên hành chính về quy trình mới, và sáu tháng sau, chi phí cho mỗi yêu cầu bồi thường đã giảm xuống. Phòng tài chính rất hài lòng và hỏi con số cụ thể: việc đào tạo đã tiết kiệm được bao nhiêu?
Câu trả lời trung thực khó hơn câu hỏi. Trong cùng sáu tháng đó, nhân sự thay đổi, khối lượng yêu cầu bồi thường biến động và một bên thanh toán thay đổi quy tắc của họ. Một phần tiết kiệm đến từ việc thiết kế lại, một phần từ đào tạo và một phần không đến từ bất kỳ yếu tố nào trong số trên. Hiệu quả đầu tư (ROI) của đào tạo cải thiện chất lượng là việc phân tách các yếu tố đó và báo cáo những gì còn lại với mức độ tin cậy nhất định.
Đây là một tình huống minh họa, không phải là một trường hợp đã được ghi nhận. Hướng dẫn này dành cho các giám đốc đào tạo và phát triển (L&D) của bệnh viện và các trưởng bộ phận tin học hoặc tuân thủ làm việc cùng họ. Nó bao gồm cách xác định sự so sánh, đo lường nhiệm vụ thực tế, kết nối bằng chứng đó với dữ liệu hoạt động, loại trừ các giải thích khác và báo cáo kết quả mà không phóng đại.
ROI của đào tạo nâng cao chất lượng là gì?
ROI của đào tạo nâng cao chất lượng so sánh lợi ích của một dự án cải tiến liên quan đến đào tạo với chi phí của nó. Nó đặt ra câu hỏi tổ chức đã đạt được những gì mà nếu không có đào tạo thì sẽ không đạt được, và liệu lợi ích đó có xứng đáng với chi phí đào tạo và dự án hay không. Hình thức phổ biến nhất rất đơn giản: lợi ích ròng (lợi ích trừ chi phí) chia cho chi phí, được thể hiện dưới dạng phần trăm.
Tính toán là phần dễ. Phần khó là quyết định lợi ích nào thuộc về chương trình đào tạo. Viện ROI, nơi thúc đẩy khung đánh giá năm cấp độ, liệt kê "tác động riêng biệt của dự án" là một bước khi phân tích dữ liệu (Viện ROINăm cấp độ của nó là phản ứng, học hỏi, ứng dụng, tác động và lợi tức đầu tư (ROI). Sự hài lòng và hoàn thành nằm ở cấp độ đầu tiên. Chúng là những chỉ số hữu ích về việc thực hiện, nhưng không phải là bằng chứng về việc tiết kiệm chi phí.
sự kiện nhanh chóng
| câu hỏi | Câu trả lời ngắn |
|---|---|
| Nhiệm vụ là gì? | Đánh giá chi phí và lợi ích của một dự án cải tiến liên quan đến đào tạo. |
| Bạn đạt được bao nhiêu điểm? | Ước tính chi phí ròng và độ tin cậy trong việc xác định nguyên nhân. |
| Khảo sát mức độ hài lòng có đủ không? | Không. Nó cho thấy khóa học được đón nhận như thế nào, chứ không phải là số tiền đã tiết kiệm được. |
| Ai là người thẩm định phương pháp? | Một đối tác tài chính và một người phụ trách tin học hoặc tuân thủ quy định. |
| Huấn luyện không thể giải quyết được vấn đề gì? | Những thay đổi về nhân sự, biến động về khối lượng công việc và các quy định của bên thanh toán diễn ra cùng một lúc. |
| Làm sao bạn biết nó có tác dụng? | So sánh các nhiệm vụ ban đầu và nhiệm vụ tiếp theo, cùng với dữ liệu hoạt động, và kiểm tra các nguyên nhân khác. |
1. Xác định kết quả và sự so sánh.
Trước khi thu thập bất kỳ dữ liệu nào, hãy ghi lại ba điều: biện pháp can thiệp, các vai trò bị ảnh hưởng và quyết định mà phân tích phải hỗ trợ. Câu hỏi "Liệu khóa đào tạo có tiết kiệm được tiền không?" quá chung chung. Câu hỏi "Chúng ta có nên mở rộng chương trình xử lý yêu cầu bồi thường sang địa điểm thứ hai không?" là một quyết định, và nó cho bạn biết bằng chứng nào là đủ.
Sau đó, phân tách hai loại chi phí. Phí giao hàng Bao gồm thời gian thiết kế, thời gian của người hướng dẫn hoặc huấn luyện viên, số giờ học, tài liệu và bất kỳ phần mềm nào. Phí phẫu thuật Báo cáo cần đề cập đến những thay đổi trong chính quy trình: công cụ mới, thủ tục được sửa đổi, việc vận hành song song tạm thời trong khi nhân viên học phương pháp mới. Chỉ số ROI đào tạo nếu chỉ tính chi phí thực hiện sẽ làm giảm giá trị của chương trình. ROI tính đến mọi thứ có thể là thước đo đúng cho dự án cải tiến nhưng lại không công bằng đối với hoạt động đào tạo. Hãy xác định câu hỏi bạn đang muốn trả lời và nêu rõ điều đó trong báo cáo.
Thời gian của nhân viên cần được trân trọng. Thời gian dành cho đào tạo là một chi phí thực tế ngay cả khi không ai gửi hóa đơn, vì vậy hãy ghi lại chúng bằng mức giá mà đối tác tài chính của bạn đồng ý.
2. Đo lường nhiệm vụ thực tế
Nhiệm vụ ở đây không phải là "tham gia chương trình". Đó là điều người học thực hiện tại nơi làm việc, chẳng hạn như điều chỉnh các yêu cầu dựa trên danh sách kiểm tra mới, mã hóa các trường hợp từ chối theo nguyên nhân hoặc ghi lại trường hợp ngoại lệ. Đo lường điều đó bằng chứng cứ có thể quan sát được.
- Đặt đường cơ sở Trước khi huấn luyện: một mẫu các nhiệm vụ thực tế hoặc tương tự được chấm điểm dựa trên các tiêu chí đã thống nhất.
- Tiến hành một cuộc đánh giá tương tự Sau quá trình đào tạo, sử dụng các bài tập mới có độ khó tương đương thay vì các bài tập mà người học đã thực hành trước đó.
- Hãy duy trì sự hoàn thành và sự hài lòng. như các chỉ số giao hàng, được báo cáo riêng.
Đây là lúc bằng chứng thực hiện nhiệm vụ phát huy tác dụng. Nếu nhân viên giờ đây có thể thực hiện nhiệm vụ chính xác hơn trong các trường hợp chưa từng gặp, thì mối liên hệ giữa đào tạo và bất kỳ thay đổi nào trong hoạt động sẽ trở nên hợp lý. Nếu họ không thể, thì việc tiết kiệm chi phí khó có thể là do đào tạo mang lại. Để biết thêm về thực hành viết và phản hồi liên quan đến nhiệm vụ, hãy xem hướng dẫn của chúng tôi về Thiết kế bài tập tương tác với phản hồi hữu ích.
3. Kết nối bằng chứng thực hiện nhiệm vụ với dữ liệu vận hành
Bây giờ hãy đặt bằng chứng về nhiệm vụ bên cạnh dữ liệu hoạt động. Đối với mỗi chỉ số, hãy ghi lại bốn thông tin: đối tượng (ai được bao gồm), mẫu số (theo yêu cầu, theo nhân viên hoặc theo tháng), khoảng thời gian và nguồn.
Các chỉ số thường dùng trong các dự án cải tiến quản lý bao gồm tỷ lệ làm lại, tỷ lệ yêu cầu bị từ chối vì lý do có thể tránh được, thời gian hoàn thành nhiệm vụ và chi phí cho mỗi giao dịch. Chỉ chuyển đổi mỗi thay đổi thành tiền với đơn giá đã được đối tác tài chính của bạn phê duyệt. Sau đó, đưa ra con số quan trọng:
- Lợi ích ước tính: Sự thay đổi về số đo nhân với đơn giá đã thỏa thuận.
- Tỷ lệ đóng góp nhờ đào tạo: Một tỷ lệ phần trăm có cơ sở, không phải là phỏng đoán, kèm theo lý do được ghi chép rõ ràng.
- Ước tính ròng: Lợi ích được quy đổi trừ đi chi phí đào tạo và dự án mà bạn đã quyết định đưa vào.
Hãy xem một mối liên hệ khả thi như một mối liên hệ khả thi. Việc giảm số lượng công việc phải làm lại sau khóa đào tạo phù hợp với việc khóa đào tạo có hiệu quả. Điều đó không chứng minh chắc chắn rằng khóa đào tạo đã có hiệu quả.
4. Xem xét các lời giải thích thay thế
Hãy xem xét những thay đổi khác diễn ra trong giai đoạn so sánh. Một danh sách kiểm tra ngắn gọn sẽ hữu ích:
- Khối lượng công việc. Khối lượng giao dịch tăng hay giảm? Một quý yên tĩnh hơn thường đồng nghĩa với ít lỗi hơn.
- Nhân sự. Liệu những người có kinh nghiệm đã nghỉ việc, hay những người mới chưa được đào tạo đã gia nhập?
- Sự kết hợp giữa khách hàng hoặc người trả tiền. Các loại yêu cầu bồi thường có thay đổi không?
- Thay đổi quy trình hoặc hệ thống. Ngoài ra, còn điều gì khác trong quy trình làm việc thay đổi cùng lúc đó không?
Khi có thể, hãy sử dụng phép so sánh. so sánh phù hợp Xem xét một đội tương tự nhưng chưa được đào tạo. A triển khai theo từng giai đoạn Điều này giúp bạn so sánh gần như miễn phí: các nhóm được đào tạo sau đóng vai trò là nhóm đối chứng cho các nhóm được đào tạo trước. Cả hai phương pháp này đều không phải lúc nào cũng khả thi trong bệnh viện, nơi mà mọi nhóm có thể cần thay đổi cùng một lúc, và trong trường hợp đó, bạn sẽ báo cáo mức độ tự tin thấp hơn một cách trung thực.
Một bài đánh giá năm 2022 trên tạp chí BMC Health Services Research về lợi tức đầu tư (ROI) từ việc cải thiện chất lượng chăm sóc sức khỏe quy mô lớn rất hữu ích ở đây. Các tác giả định nghĩa lợi tức đầu tư một cách rộng rãi, là bất kỳ giá trị tiền tệ hoặc phi tiền tệ nào thu được từ việc cải thiện chất lượng, và chỉ ra rằng các kết quả có liên quan mật thiết với nhau và khó quan sát. Họ đề xuất đánh giá sự đóng góp vào kết quả hơn là khẳng định sự quy kết trực tiếp, và gọi ROI truyền thống là "một chỉ số xa vời và không đầy đủ về giá trị của cải thiện chất lượng" (Thusini và cộng sự, BMC Health Services Research, 2022Điều đó cũng phù hợp với các dự án quản lý. Hãy báo cáo bằng chứng về sự đóng góp và mức độ tin tưởng của bạn vào nó, chứ không phải chỉ một con số duy nhất với độ chính xác giả tạo.
5. Báo cáo kết quả và chọn hành động tiếp theo.
Một báo cáo mà ủy ban tài chính có thể xem xét và thông qua chỉ gói gọn trong một trang. Mẫu bố cục này cố ý để trống các trường kết quả. Hãy điền vào đó dữ liệu của riêng bạn, tuyệt đối không sử dụng các chỉ số hiệu quả mượn từ nơi khác.
| Phần | Cần ghi lại những gì | Kết quả |
|---|---|---|
| Sự can thiệp và vai trò | Chương trình, dự án và những người tham gia | |
| Dân số và thời kỳ | Những ai được bao gồm, từ thời điểm nào đến thời điểm nào | |
| Điểm số nhiệm vụ ban đầu và điểm số nhiệm vụ tiếp theo | Cùng tiêu chí, nhưng trường hợp khác nhau | |
| Biện pháp vận hành và mẫu số | Ví dụ: tỷ lệ xử lý lại trên 100 yêu cầu bồi thường. | |
| Lợi ích ước tính | Thay đổi nhân với chi phí đơn vị đã được phê duyệt | |
| Chia sẻ kinh nghiệm từ quá trình đào tạo và lý do tại sao | Lý luận, so sánh được sử dụng | |
| Chi phí giao hàng và vận hành | Được liệt kê riêng biệt | |
| Ước tính ròng và độ tin cậy | Cao, trung bình hoặc thấp, kèm theo lý do. | |
| Những thay đổi khác trong giai đoạn này | Khối lượng công việc, nhân sự, sự kết hợp, quy trình | |
| hành động đề nghị | Điều chỉnh quy mô, sửa đổi hoặc dừng lại |
Hãy quyết định trước những yếu tố nào sẽ biện minh cho mỗi hành động. Bạn có thể mở rộng chương trình khi điểm số nhiệm vụ được cải thiện trong các trường hợp chưa từng thấy, các chỉ số hoạt động chuyển biến theo hướng dự kiến, các lời giải thích khác đã được kiểm tra và ước tính ròng vẫn tích cực dựa trên các giả định thận trọng. Bạn có thể điều chỉnh lại chương trình khi điểm số nhiệm vụ được cải thiện nhưng các chỉ số hoạt động thì không, điều này cho thấy những hạn chế nằm ngoài phạm vi đào tạo. Bạn có thể dừng chương trình khi cả hai đều không thay đổi. Hãy thống nhất các quy tắc này với người bảo trợ của bạn trước khi xem số liệu, để kết quả không quyết định tiêu chí.
Hãy cùng nhau tìm hiểu một ví dụ thực tế.
Ví dụ minh họa. Một đối tác tài chính và một người phụ trách công nghệ thông tin hoặc tuân thủ quy định nên xác nhận trường hợp này và các tiêu chí trả lời trước khi sử dụng.
Trường hợp. Một nhóm đã thiết kế lại quy trình xử lý yêu cầu bồi thường trong khi số lượng nhân viên và khối lượng công việc cũng thay đổi. Tỷ lệ công việc phải làm lại giảm trong sáu tháng sau khi đào tạo. Hai chuyên viên mã hóa giàu kinh nghiệm đã nghỉ việc trong cùng kỳ, và khối lượng công việc giảm nhẹ trong quý thứ hai.
Nhiệm vụ. Người học ước tính khoản tiết kiệm mà khóa đào tạo có thể mang lại một cách hợp lý, giải thích quyết định, đưa ra bằng chứng và nêu rõ những thông tin còn thiếu.
Lần thử đầu tiên. "Số lượng công việc phải làm lại giảm xuống, vậy là khóa đào tạo đã tiết kiệm được toàn bộ khoản chênh lệch. Tôi đã nhân mức giảm đó với chi phí cho mỗi công việc phải làm lại và báo cáo kết quả đó như là tỷ suất lợi nhuận đầu tư (ROI)." Điều này chỉ ghi nhận công lao của khóa đào tạo mà bỏ qua những thay đổi khác.
Phản hồi và thử lại. Huấn luyện viên hỏi còn những thay đổi nào khác, liệu nhân viên được đào tạo và chưa được đào tạo có khác nhau không và chi phí đơn vị đến từ đâu. Người học được yêu cầu chia sẻ lợi ích.
Một nỗ lực mạnh mẽ hơn. "Số lượng công việc phải làm lại giảm, nhưng hai lập trình viên giàu kinh nghiệm đã nghỉ việc và khối lượng công việc giảm, vì vậy tôi không thể quy tất cả cho việc đào tạo. Điểm số công việc trên các trường hợp chưa từng thấy tăng lên, điều này ủng hộ giả thuyết về đóng góp của đào tạo. Tôi sẽ báo cáo khoản tiết kiệm quan sát được, tỷ lệ giảm mà tôi có thể biện minh được, và mức độ tin cậy từ thấp đến trung bình. Để nâng cao độ tin cậy, tôi cần số liệu về công việc phải làm lại của cả nhân viên đã được đào tạo và chưa được đào tạo, cũng như chi phí đơn vị từ bộ phận tài chính." Điều này phân biệt giữa khoản tiết kiệm quan sát được và khoản tiết kiệm do thực tế gây ra, đồng thời nêu rõ bằng chứng nào còn thiếu.
Đánh giá năng lực bằng một tiêu chí đơn giản.
Hãy chấm điểm cho mỗi tiêu chí từ 0 đến 2:
| Tiêu chí | Bằng chứng có thể quan sát được |
|---|---|
| Thực thi nhiệm vụ | Đo lường chi phí và lợi ích của một dự án liên quan đến đào tạo và ghi lại bằng chứng hỗ trợ cho mỗi con số. |
| lý luận | Giải thích các hạn chế, phương án thay thế và sự không chắc chắn, đồng thời kiểm tra ước tính chi phí ròng và độ tin cậy trong việc phân bổ chi phí. |
| Ranh giới | Sử dụng các quy trình đã được phê duyệt và tìm kiếm sự trợ giúp khi thông tin hoặc thẩm quyền không đầy đủ. |
Thang điểm: 0 là không có hoặc không được hỗ trợ, 1 là một phần với những thiếu sót liên quan, và 2 là đầy đủ và được chứng minh dựa trên các tiêu chí đã thống nhất. Xác định riêng các lỗi nghiêm trọng, chẳng hạn như cho rằng toàn bộ sự thay đổi là do đào tạo mà không kiểm tra các nguyên nhân khác, để điểm tổng thể không che giấu được lỗi nào. Bảng đánh giá này chỉ là một đề xuất, không phải là tiêu chuẩn sẵn sàng đã được xác nhận: hãy điều chỉnh nó cùng với người thực hành và thử nghiệm. Để phù hợp với từng hoạt động với tư duy mà nó yêu cầu, hãy xem hướng dẫn của chúng tôi về Phù hợp các hoạt động học tập với Phân loại Bloom..
Trong trường hợp phương thức giao hàng tương tác giúp ích
Các định dạng tương tác rất hữu ích khi người tham gia cần cam kết trước khi nghe câu trả lời. Trong một buổi học trực tiếp, người điều phối có thể trình bày trường hợp yêu cầu bồi thường, yêu cầu mỗi người nhập tỷ lệ tiết kiệm mà họ cho là nhờ đào tạo, sau đó hiển thị sự khác biệt trước khi thảo luận về lý do tại sao các ước tính lại khác nhau. Trường hợp tương tự cũng có thể được thực hiện theo hình thức tự học để chuẩn bị. AhaSlides hỗ trợ học tập tương tác và chuyển đổi giữa hình thức trực tiếp và tự học. Hãy kiểm tra bất kỳ chức năng soạn thảo, phản hồi hoặc báo cáo cụ thể nào mà bạn dự định sử dụng so với quy trình làm việc của riêng bạn, và coi AI, trình mô phỏng và tích hợp hệ thống là các yếu tố bên ngoài hoặc chưa được xác nhận cho đến khi bạn thấy chúng hoạt động. Để được hướng dẫn về việc lựa chọn định dạng, hãy xem bài viết của chúng tôi về... Khi nào nên sử dụng phương pháp học tập thích ứng, tương tác và trực tiếp?.
Những ràng buộc có thể vẫn còn
- Ghi nhận. Nếu không có nhóm đối chứng, bạn chỉ có thể ước tính mức độ đóng góp chứ không thể chứng minh nguyên nhân.
- Thời gian trễ. Một số khoản tiết kiệm cần thời gian để hiển thị, và nếu chỉ cần một khoảng thời gian ngắn, bạn có thể bỏ lỡ chúng.
- Chất lượng dữ liệu. Dữ liệu hoạt động có thể không đầy đủ hoặc định nghĩa của chúng có thể thay đổi giữa kỳ.
- Các thay đổi khác. Vấn đề nhân sự, khối lượng công việc và quy định của bên chi trả có thể làm lu mờ hiệu quả nhỏ của một chương trình đào tạo.
- Chuyển khoản. Hiệu suất trong một bài tập huấn luyện không giống với hiệu suất dưới áp lực công việc hàng ngày.
Hãy nêu rõ những điều này với nhà tài trợ ngay từ đầu. Đào tạo giúp cải thiện khả năng của mọi người, chứ không thay đổi điều kiện làm việc.
Các câu hỏi thường gặp
ROI của đào tạo nâng cao chất lượng là gì?
Phương pháp này so sánh lợi ích của một dự án cải tiến liên quan đến đào tạo với chi phí của nó, thường được tính bằng lợi ích ròng chia cho chi phí. Bước quan trọng là xác định xem đào tạo có thể đóng góp bao nhiêu vào lợi ích đó một cách chính đáng.
Bạn có thể chứng minh việc đào tạo đã dẫn đến khoản tiết kiệm đó không?
Hiếm khi. Một sự so sánh tương đồng hoặc một quá trình triển khai theo từng giai đoạn sẽ cung cấp bằng chứng thuyết phục hơn, nhưng trong hầu hết các cơ sở bệnh viện, người ta thường báo cáo về sự đóng góp hợp lý và mức độ tin cậy chứ không phải là bằng chứng xác thực.
Chi phí giao hàng và chi phí vận hành có nên được tính chung với nhau không?
Hãy báo cáo chúng riêng biệt. Chi phí đào tạo mô tả chính quá trình đào tạo. Chi phí vận hành mô tả dự án cải tiến tổng thể. Hãy cho biết tổng số nào bạn sử dụng để tính toán ROI.
Khảo sát mức độ hài lòng có phải là bằng chứng cho thấy đã tiết kiệm được chi phí không?
Không. Sự hài lòng và hoàn thành là các chỉ số đánh giá việc thực hiện. Việc tiết kiệm chi phí cần có bằng chứng về nhiệm vụ và dữ liệu hoạt động.
Bắt đầu từ đâu
Chọn một dự án cải tiến đã có dữ liệu cơ sở. Viết ra quyết định mà phân tích cần hỗ trợ, liệt kê các chi phí bạn sẽ tính vào, chọn một chỉ số hoạt động với mẫu số của nó và nhờ đối tác tài chính phê duyệt chi phí đơn vị. Soạn thảo báo cáo một trang với các trường kết quả để trống và thống nhất các quy tắc về quy mô, sửa đổi hoặc dừng trước khi dữ liệu được gửi đến.
Để xem cách một trường hợp như thế này có thể được triển khai trực tiếp với nhóm của bạn và được tái sử dụng theo tốc độ riêng sau đó, hãy khám phá AhaSlides.
