Hai người hướng dẫn cùng xem một đoạn ghi hình về một trưởng nhóm mới đang quyết định có nên chuyển khiếu nại của khách hàng lên cấp cao hơn hay không. Người thứ nhất chấm điểm cao nhất cho cô ấy: cô ấy giữ bình tĩnh và chọn một phương án hợp lý. Người thứ hai chấm điểm trung bình: cô ấy không bao giờ nói lý do tại sao mình chọn phương án đó hoặc những điều cô ấy không biết. Cả hai người hướng dẫn đều có kinh nghiệm. Cả hai đều sử dụng cùng một biểu mẫu. Không ai sai, và đó chính là vấn đề. Biểu mẫu không cho họ biết cần phải tìm kiếm điều gì.
Đây là một tình huống minh họa, không phải là trường hợp khách hàng đã được ghi nhận. Nó cho thấy tại sao việc đánh giá khả năng phán đoán và giải quyết vấn đề lại khó khăn: bằng chứng nằm ở lập luận, và lập luận thì dễ bị chấm điểm khác nhau.
Hướng dẫn này dành cho các nhà thiết kế chương trình đào tạo, quản lý đào tạo và trưởng bộ phận Đào tạo và Phát triển (L&D) cần một bảng đánh giá hiệu suất có thể bảo vệ được. Nó bao gồm năm bước: xác định bằng chứng, viết các tiêu chí quan sát được, mô tả các tiêu chí đánh giá hiệu suất, hiệu chỉnh người đánh giá và thử nghiệm bảng đánh giá. Cuối cùng là một ví dụ minh họa và những hạn chế còn lại.
Bảng tiêu chí đánh giá hiệu quả công việc là gì?
Bảng tiêu chí đánh giá hiệu suất là một hướng dẫn chấm điểm cho một nhiệm vụ mà người học thực hiện một hành động nào đó thay vì chỉ nhớ lại kiến thức. Nó liệt kê các tiêu chí quan trọng, mô tả từng mức điểm trông như thế nào và cung cấp cho người chấm điểm một cơ sở chung để quyết định. Đối với khả năng phán đoán và giải quyết vấn đề, nhiệm vụ thường là một tình huống: người học quyết định phải làm gì, giải thích quyết định đó và nói rõ những điều khác mà họ cần biết.
Bảng tiêu chí đánh giá không phải là bài kiểm tra kiến thức. Bài kiểm tra nhớ lại có thể xác nhận rằng ai đó biết các quy tắc. Bảng tiêu chí đánh giá cho thấy liệu họ có thể áp dụng các quy tắc đó khi tình huống không được gọn gàng hay không.
sự kiện nhanh chóng
| câu hỏi | Câu trả lời ngắn |
|---|---|
| Bạn đạt được bao nhiêu điểm? | Các quyết định, giải thích và kết quả mà người đánh giá có thể quan sát được. |
| Có bao nhiêu tiêu chí? | Một số lượng nhỏ, thường từ ba đến năm người, gắn liền với mục tiêu. |
| Điều gì làm cho một điểm neo trở nên hữu ích? | Ví dụ minh họa cho từng mức điểm trong bài tập này. |
| Tại sao cần tách riêng các lỗi nghiêm trọng? | Vì vậy, điểm trung bình không thể che giấu một hành động không an toàn. |
| Làm thế nào để giảm thiểu bất đồng? | Hãy chấm điểm cùng một ví dụ một cách độc lập, so sánh bằng chứng và sửa những từ ngữ không rõ ràng. |
| Khi nào thì bảng tiêu chí đánh giá sẵn sàng? | Sau khi thực hiện thử nghiệm, và chỉ áp dụng cho nhiệm vụ và đối tượng người dùng mà bạn đã thử nghiệm trước đó. |
1. Định nghĩa bằng chứng về hiệu quả hoạt động
Hãy bắt đầu với nhiệm vụ, chứ không phải hình thức. Viết ra tình huống mà người học sẽ phải đối mặt, quyết định họ phải đưa ra và những gì mà một màn trình diễn tốt sẽ thể hiện. Hãy cụ thể về bối cảnh và giới hạn: người học có quyền hạn gì, họ được cung cấp thông tin gì và thông tin nào bị cố tình bỏ sót?
Một cách kiểm tra hữu ích là hỏi người quan sát có thể chỉ ra điều gì. “Thể hiện khả năng phán đoán tốt” thì không thể chỉ ra được. “Nêu rõ quy trình nào được áp dụng, chỉ ra một chi tiết còn thiếu và cho biết họ sẽ hỏi ai” thì có thể.
Nếu bạn không thể mô tả bằng chứng bằng những câu văn đơn giản, bài tập đó chưa sẵn sàng để chấm điểm. Hãy sửa bài tập trước. Một bài tập mơ hồ sẽ dẫn đến một bảng tiêu chí đánh giá mơ hồ, cho dù nó có vẻ được trau chuốt đến đâu.
2. Viết các tiêu chí quan sát được
Hãy chọn một số tiêu chí nhỏ phù hợp với mục tiêu học tập. Đối với việc đánh giá và giải quyết vấn đề, ba tiêu chí sau đây hoạt động tốt trong nhiều vai trò:
- Thực thi nhiệm vụ. Người học đưa ra quyết định trong phạm vi quyền hạn của mình và ghi lại lựa chọn đó cùng bằng chứng chứng minh.
- Lý luận. Người học giải thích các hạn chế, các phương án thay thế và những điều vẫn còn chưa chắc chắn.
- Ranh giới Người học sử dụng các quy trình đã được phê duyệt và yêu cầu trợ giúp khi thiếu thông tin hoặc thẩm quyền.
Hãy viết mỗi tiêu chí dưới dạng một điều gì đó được thể hiện trong quyết định, lời giải thích hoặc kết quả. Tránh sử dụng các từ ngữ chỉ đặc điểm, chẳng hạn như “ổn định”, “trưởng thành” hoặc “tốt”. Hai người đánh giá sẽ hiểu những từ đó theo cách khác nhau.
Hãy giữ số lượng tiêu chí ở mức thấp. Mỗi tiêu chí bổ sung sẽ tạo ra cơ hội cho người chấm điểm bất đồng quan điểm và khiến người học chỉ chăm chăm chạy theo điểm số thay vì suy nghĩ. Nếu một tiêu chí không làm thay đổi cách bạn sẽ sử dụng kết quả, hãy loại bỏ nó.
3. Mô tả các tiêu chí đánh giá hiệu suất
Điểm neo là một mô tả ngắn gọn về ý nghĩa của một mức điểm. Nếu không có điểm neo, điểm 1 hoặc 2 sẽ mang ý nghĩa tùy ý người chấm điểm.
Một thang đo ba cấp độ đơn giản thường là đủ cho phiên bản đầu tiên:
| Điểm số | Ý nghĩa |
|---|---|
| 0 | Không có hoặc không được hỗ trợ. |
| 1 | Thông tin chưa đầy đủ, có một số thiếu sót quan trọng. |
| 2 | Hoàn chỉnh và được chứng minh hợp lý dựa trên các tiêu chí đã thỏa thuận. |
Với mỗi tiêu chí, hãy thêm một ví dụ ngắn gọn về cách diễn đạt điểm 0, 1 và 2 trong bài tập của bạn. Sử dụng từ ngữ thực tế từ các bài tập thực hành nếu có thể. Các tiêu chí được viết một cách trừu tượng thường dễ trở nên mơ hồ và khó diễn đạt.
Xử lý các lỗi nghiêm trọng một cách riêng biệt. Một số sai sót không nên được bỏ qua bằng cách tính trung bình. Hành động vượt quá thẩm quyền, bỏ qua các bước an toàn hoặc vi phạm giới hạn tuân thủ là những ví dụ. Hãy liệt kê chúng riêng biệt với các tiêu chí chấm điểm và nêu rõ hậu quả: một lỗi nghiêm trọng sẽ được ghi nhận và xử lý bất kể tổng điểm là bao nhiêu. Nếu không, người học có thể đạt điểm cao về khả năng lập luận và tuân thủ giới hạn trong khi lại thực hiện hành động không thể chấp nhận được tại nơi làm việc.
4. Hiệu chỉnh người đánh giá bằng cách sử dụng ví dụ
Bảng tiêu chí chấm điểm không tự chấm điểm được. Người chấm điểm vẫn phải diễn giải nó, vì vậy hãy hiệu chỉnh trước khi chấm điểm cho cả nhóm.
- Hãy chọn hai hoặc ba ví dụ về câu trả lời có chất lượng khác nhau. Những câu trả lời thực tế từ phi công là tốt nhất.
- Hãy để mỗi người chấm điểm độc lập trước khi thảo luận.
- Hãy so sánh điểm số và, quan trọng hơn, bằng chứng mà mỗi người đã đưa ra.
- Trong trường hợp điểm số khác nhau, hãy tìm ra cách diễn đạt gây ra sự khác biệt đó và thay đổi tiêu chí hoặc điểm neo.
- Lặp lại quy trình với một ví dụ mới cho đến khi người chấm điểm đưa ra cùng một điểm số vì cùng những lý do tương tự.
Mục đích là để cùng nhau hiểu rõ các tiêu chí, chứ không phải chỉ đơn thuần là đạt được sự đồng thuận. Nếu hai người đánh giá cho cùng một điểm số nhưng vì những lý do khác nhau, thì tiêu chí đánh giá vẫn còn mơ hồ.
Nghiên cứu nói gì? Bằng chứng còn chưa thống nhất, vì vậy hãy chuẩn bị cho một số bất đồng và đo lường nó. Trong một nghiên cứu năm 2022 về các cuộc khám lâm sàng được ghi hình trên Tạp chí Y khoa Fujita, hai người chấm điểm đã chấm điểm bốn mươi video. Đối với mười video đầu tiên, họ chấm điểm mà không có sự điều chỉnh, và đối với những video còn lại, họ thảo luận về điểm số của mình dựa trên các tiêu chí đánh giá mỗi lần. Sự đồng thuận, được đo bằng hệ số kappa có trọng số, tăng từ 0.49 trên mười video đầu tiên lên 0.82 trên mười video cuối cùng (Watari và các đồng nghiệp, 2022(Đây chỉ là một nghiên cứu nhỏ về một bài kiểm tra duy nhất, vì vậy hãy xem nó như một dấu hiệu cho thấy việc điều chỉnh có thể hữu ích, chứ không phải là một lời hứa chắc chắn.)
Chỉ riêng việc đào tạo thôi cũng không đảm bảo thành công. Một nghiên cứu ngẫu nhiên năm 2014 với 21 người chấm điểm đánh giá 242 sinh viên y khoa cho thấy rằng một buổi đào tạo ngắn về khung tham chiếu không cải thiện đáng kể độ chính xác của từng người chấm điểm, mặc dù những người chấm điểm được đào tạo đã chấm điểm nghiêm ngặt hơn và gần với hội đồng tham chiếu hơn. Các tác giả kết luận rằng việc đánh giá hiệu suất mang tính cá nhân cao.Weitz và các đồng nghiệp, 2014Cách tiếp cận thực tế là tiếp tục hiệu chỉnh dựa trên các ví dụ thực tế, kiểm tra sự nhất trí khi chấm điểm và không nên cho rằng một buổi hướng dẫn duy nhất là đủ.
5. Thử nghiệm và chỉnh sửa tiêu chí đánh giá.
Trước khi sử dụng bảng tiêu chí này cho những quyết định quan trọng, hãy thử nghiệm trước.
- Hãy tiến hành bài kiểm tra này với một nhóm nhỏ học viên và hai hoặc nhiều người đánh giá.
- Ghi lại những điểm mà các giám khảo không đồng ý và yêu cầu mỗi người giải thích lý do chấm điểm.
- Hãy kiểm tra xem các tiêu chí có phân biệt được câu trả lời tốt và câu trả lời yếu hay không. Nếu tất cả người học đều đạt điểm 2, thì nhiệm vụ hoặc các tiêu chí đánh giá quá dễ.
- Hãy hỏi người học xem tiêu chí đánh giá đã làm rõ điều gì và điều gì khiến họ bối rối.
- Chỉnh sửa lại, sau đó thử nghiệm lại với một trường hợp mới.
Hãy trung thực về những gì chương trình thí điểm thể hiện. Một bảng tiêu chí chưa được xác thực chỉ là bản nháp. Nó không phải là tiêu chuẩn chứng nhận phổ quát và không nên được sử dụng để đưa ra các quyết định quan trọng về con người cho đến khi một người có chuyên môn trong lĩnh vực đó đã xem xét nó và bạn có bằng chứng cho thấy nó hiệu quả đối với nhóm đối tượng của bạn.
Ví dụ minh họa: quyết định leo thang
Ví dụ minh họa. Người thực hiện công việc này cần xác thực trường hợp và tiêu chí trả lời trước khi sử dụng.
Trường hợp. Một khách hàng báo cáo đơn hàng bị chậm trễ và yêu cầu hoàn tiền đầy đủ. Nhân viên có thể đề nghị hoàn tiền vào tài khoản mà không cần sự chấp thuận của khách hàng. Số tiền hoàn trả vượt quá mức đó. Quản lý không có mặt trong hai giờ. Ghi chú cho thấy có bốn đơn hàng trong năm nay.
Những việc người học làm. Hãy chọn một câu trả lời, giải thích quyết định, trích dẫn bằng chứng và cho biết họ cần thêm thông tin hoặc sự hỗ trợ nào.
Câu trả lời này được chấm 1 điểm về khả năng lập luận. “Tôi sẽ hoàn tiền vì khách hàng đang khó chịu.” Quyết định được nêu rõ, nhưng không có bằng chứng, không đề cập đến giới hạn và không có dấu hiệu nào cho thấy điều gì đang thiếu.
Câu trả lời này được chấm 2 điểm về khả năng lập luận. “Tôi sẽ không hoàn tiền vượt quá hạn mức của mình nếu chưa được phê duyệt. Ghi chú cho thấy có bốn đơn hàng trong năm nay, vì vậy khách hàng này rất quan trọng, nhưng tôi chưa xác nhận được bưu kiện đang ở đâu. Tôi sẽ đề nghị hoàn tiền trong hạn mức của mình ngay bây giờ, thông báo cho khách hàng khi nào quản lý sẽ trả lời và yêu cầu hãng vận chuyển cập nhật thông tin theo dõi để việc phê duyệt được nhanh chóng.”
Một lỗi nghiêm trọng. Việc hoàn tiền mà không có sự chấp thuận được ghi nhận là lỗi nghiêm trọng bất kể điểm số các yếu tố khác như thế nào, bởi vì nó vượt quá thẩm quyền của nhân viên.
Hãy chú ý những gì người dẫn chương trình đã làm. Hai người đánh giá từ phần mở đầu giờ đây sẽ tìm kiếm những điều tương tự: quyết định, bằng chứng được trích dẫn, sự không chắc chắn đã nêu và ranh giới.
Trong trường hợp phương thức giao hàng tương tác giúp ích
Các định dạng tương tác giúp ích cho việc luyện tập và đánh giá vì mỗi người tham gia sẽ đưa ra câu trả lời của riêng mình trước khi xem câu trả lời của cả nhóm. Trong một buổi học trực tiếp, người điều phối có thể trình bày một ví dụ về câu trả lời, yêu cầu mỗi người đánh giá chấm điểm riêng tư và sau đó công bố kết quả trước khi thảo luận. Các trường hợp tương tự có thể được sử dụng để tự học nhằm chuẩn bị. AhaSlides hỗ trợ học tập tương tác và chuyển đổi giữa hình thức học trực tiếp và tự học. Hãy kiểm tra bất kỳ chức năng soạn thảo, phản hồi hoặc báo cáo cụ thể nào mà bạn dự định sử dụng so với quy trình làm việc của riêng bạn, và coi các tính năng AI, mô phỏng và tích hợp là các tính năng bên ngoài hoặc chưa được xác nhận cho đến khi bạn thấy chúng hoạt động. Để được hướng dẫn về việc lựa chọn giữa các định dạng, hãy xem Khi nào nên sử dụng phương pháp học tập thích ứng, tương tác và trực tiếp?Để lựa chọn các hoạt động phù hợp với trình độ tư duy mà bạn muốn đánh giá, hãy xem hướng dẫn của chúng tôi về... Phù hợp các hoạt động học tập với Phân loại Bloom..
Đo lường những gì đã thay đổi
Xác định trước những bằng chứng nào sẽ chứng minh người học có thể hoàn thành nhiệm vụ. So sánh hiệu suất trên một trường hợp mới, chưa từng thấy trước đây với một trường hợp chuẩn, và xem xét chất lượng của lập luận cũng như quyết định. Xác định những người được bao gồm, mẫu số và thời gian. Nếu điểm số được cải thiện, hãy kiểm tra những thay đổi khác trong cùng kỳ, chẳng hạn như công cụ mới hoặc sự kết hợp công việc khác nhau, trước khi ghi nhận hiệu quả của khóa đào tạo.
Những ràng buộc có thể vẫn còn
Ngay cả một bộ quy tắc được xây dựng tốt cũng không thể giải quyết được mọi vấn đề:
- Thời gian đánh giá. Việc hiệu chỉnh và thử nghiệm cần thời gian và phải được lên kế hoạch trước.
- Quyền hạn trong công việc thực tế. Người học có thể lập luận tốt trong bài tập nhưng vẫn thiếu thẩm quyền để hành động theo cách đó tại nơi làm việc.
- Phạm vi bao phủ vụ việc. Một trường hợp cụ thể thể hiện một quyết định. Một điểm số duy nhất không thể phản ánh khả năng phán đoán của một người nói chung.
- Chuyển khoản. Hiệu suất trong môi trường an toàn không giống với hiệu suất tại nơi làm việc. Kiểm tra khả năng chuyển giao sau khi tiếp xúc thích hợp.
Hãy lên kế hoạch khắc phục riêng cho từng trường hợp và thông báo điều này cho nhà tài trợ. Một bảng tiêu chí đánh giá sẽ giúp việc đánh giá trở nên rõ ràng và công bằng hơn. Tuy nhiên, nó không biến điểm số thành sự đảm bảo.
Các câu hỏi thường gặp
Điểm khác biệt giữa bảng tiêu chí đánh giá và danh sách kiểm tra là gì?
Danh sách kiểm tra ghi lại xem một việc đã được thực hiện hay chưa. Bảng đánh giá mô tả mức độ hoàn thành công việc, ở nhiều cấp độ khác nhau, vì vậy nó phù hợp với các nhiệm vụ cần sự đánh giá và giải thích.
Bảng tiêu chí đánh giá nên có bao nhiêu tiêu chí?
Thường chỉ có từ ba đến năm ý tưởng. Hãy chọn những ý tưởng phù hợp với mục tiêu học tập và loại bỏ những ý tưởng không làm thay đổi cách bạn sử dụng kết quả.
Liệu một bảng tiêu chí đánh giá có thể loại bỏ sự bất đồng giữa các giám khảo?
Không. Nó có thể giảm thiểu điều đó, đặc biệt là với các điểm neo và hiệu chỉnh trên các ví dụ thực tế, nhưng bạn vẫn nên kiểm tra sự nhất quán khi chấm điểm và sửa lại những từ ngữ không rõ ràng.
Tôi có nên sử dụng bảng tiêu chí đánh giá cho những quyết định quan trọng không?
Chỉ nên thực hiện sau khi thử nghiệm và được người có kinh nghiệm trong lĩnh vực đó xem xét. Hãy coi tiêu chí đánh giá mới như một bản nháp cho đến khi bạn có bằng chứng cho thấy nó hiệu quả với người học và nhiệm vụ của bạn.
Bắt đầu từ đâu
Hãy chọn một quyết định mà học viên của bạn phải đưa ra một cách chính xác. Viết ra bằng chứng cho thấy một màn trình diễn tốt sẽ thể hiện điều đó, chọn ba tiêu chí, soạn thảo thang điểm từ 0 đến 2 cho mỗi tiêu chí và liệt kê các lỗi nghiêm trọng. Sau đó, hãy để hai người chấm điểm cùng một ví dụ một cách độc lập, so sánh bằng chứng của họ và sửa lại câu chữ trước khi bạn chấm điểm cho bất kỳ ai.
Để xem cách một trường hợp thực tế có thể được triển khai trực tiếp với nhóm của bạn và được sử dụng lại theo tốc độ riêng sau đó, hãy khám phá AhaSlides.
