Một cảnh báo được kích hoạt lúc 02:10. Một kỹ sư đẩy một thay đổi cấu hình, dịch vụ kiểm tra bắt đầu trả về lỗi, và người phụ trách trực ca đã hoàn tác lại sau 40 phút. Trong cuộc họp đánh giá, câu hỏi đầu tiên là "Ai đã đẩy thay đổi này?". Chỉ trong vài phút, cuộc trò chuyện xoay quanh phán đoán của một người nào đó lúc 2 giờ sáng, và không ai hỏi tại sao thay đổi lại có thể được đưa vào môi trường sản xuất mà không có canary, tại sao cảnh báo lại mất quá nhiều thời gian để được gửi đi, hoặc tại sao sổ tay vận hành lại lỗi thời.
Đây là một tình huống minh họa, không phải trường hợp khách hàng cụ thể. Nó dễ nhận biết vì nó thực sự xảy ra: một báo cáo sự cố chỉ tập trung vào người cuối cùng hành động sẽ tạo ra một câu chuyện mạch lạc nhưng lại mang đến rất ít bài học kinh nghiệm.
Hướng dẫn này dành cho các nhà quản lý kỹ thuật và người phụ trách đào tạo muốn nâng cao khả năng phân tích bằng chứng sự cố và thống nhất các cải tiến có thể kiểm chứng được. Nó bao gồm cách phân biệt khoảng cách kỹ năng với các điều kiện xung quanh, cách thiết kế quy trình thực hành, cách đánh giá sau sự cố và cách đo lường hiệu quả của các đánh giá.
"Vô tội" có nghĩa là gì và không có nghĩa là gì
Cuốn sách Kỹ thuật Độ tin cậy Hệ thống (Site Reliability Engineering) của Google đã nêu rõ: để một cuộc điều tra sau sự cố thực sự không mang tính đổ lỗi, nó phải tập trung vào việc xác định các nguyên nhân gây ra sự cố mà không cáo buộc bất kỳ cá nhân hoặc nhóm nào về hành vi xấu hoặc không phù hợp. Nó cũng mô tả giả định cơ bản: tất cả những người liên quan đều hành động với thiện chí và làm điều đúng đắn với thông tin mà họ có.Sách của Google SRE, "Văn hóa hậu sự cố: Học hỏi từ thất bại".)
Không đổ lỗi không có nghĩa là không có hậu quả. Chương đó cũng yêu cầu các cuộc điều tra sau sự cố phải kết thúc bằng các mục hành động có mức độ ưu tiên và người chịu trách nhiệm. Điều tra không đổ lỗi vẫn đòi hỏi trách nhiệm giải trình, nhưng trách nhiệm giải trình chuyển từ "ai gây ra điều này" sang "ai sẽ làm cho hệ thống an toàn hơn, và khi nào". Nếu các cuộc đánh giá của bạn bỏ qua phần thứ hai, bạn sẽ có một cuộc trò chuyện dễ chịu, chứ không phải một quá trình học hỏi.
1. Xác định hành vi và bối cảnh của nó.
Hãy bắt đầu bằng việc xác định hành vi cụ thể mà bạn muốn thay đổi. Ví dụ, "Việc xem xét sự cố của chúng ta chỉ tập trung vào người cuối cùng hành động" là điều có thể quan sát được. Còn "Văn hóa của chúng ta quá chú trọng đến việc đổ lỗi" thì không.
Sau đó hãy tự hỏi liệu đây có phải là vấn đề về kỹ năng hay không. Việc đào tạo chỉ có thể khắc phục một số nguyên nhân dẫn đến hiệu suất kém. Trước khi bắt tay vào xây dựng bất cứ điều gì, hãy phân biệt ba khả năng sau:
- Một kỹ năng còn thiếu. Người đánh giá không biết cách xây dựng trình tự thời gian, phân biệt yếu tố gây ra với yếu tố góp phần, hoặc đặt câu hỏi "điều gì khiến hành động này có vẻ hợp lý vào thời điểm đó?"
- Các ưu đãi. Các đánh giá góp phần vào các cuộc thảo luận về hiệu suất, vì vậy mọi người điều chỉnh tài khoản của mình để tự bảo vệ bản thân.
- Sự chênh lệch quyền lực và các phản ứng trong quá khứ. Một kỹ sư trẻ đã nêu lên mối lo ngại vào quý trước và được bảo là đừng nên bi quan, sẽ không nêu vấn đề đó trong cuộc họp này, cho dù họ được đào tạo tốt đến đâu.
Chỉ có vấn đề đầu tiên là vấn đề đào tạo. Hai vấn đề còn lại là vấn đề về điều kiện. Nếu bạn chỉ đào tạo kỹ năng mà bỏ qua các điều kiện, mọi người sẽ lặp lại những hành vi mà nơi làm việc sẽ trừng phạt. Hãy coi quan điểm hiện tại của bạn về nguyên nhân như một giả thuyết, và kiểm chứng nó bằng một vài cuộc trò chuyện với các kỹ sư và xem xét các tài liệu đánh giá gần đây trước khi bạn cam kết thực hiện một chương trình nào đó.
2. Thiết lập các điều kiện hoạt động cho việc thực hành
Việc thực hành chỉ có hiệu quả nếu môi trường làm việc đáp ứng được yêu cầu. Trước khi bất kỳ ai tập dượt, hãy thống nhất những điều này với những người phụ trách đánh giá:
- Các trách nhiệm đã được phê duyệt. Ai là người điều phối, ai lập kế hoạch thời gian, ai chịu trách nhiệm về các hành động tiếp theo? Hãy xác định rõ vai trò để người điều phối không tự ý đảm nhiệm vai trò đó.
- Cách các nhà lãnh đạo tiếp nhận các mối quan ngại. Nếu một kỹ sư nói "công cụ triển khai cho phép tôi bỏ qua bước canary", thì người quản lý sẽ làm gì tiếp theo? Hãy quyết định câu trả lời trước, ví dụ: cảm ơn họ, ghi nhận đó là yếu tố góp phần và giao nhiệm vụ cần thực hiện.
- Phản hồi của người giám sát. Buổi diễn tập của nhân viên cần có phản hồi tương xứng từ người giám sát. Nếu bạn đào tạo các kỹ sư lên tiếng trong các buổi đánh giá nhưng người quản lý của họ vẫn hỏi "lỗi của ai?", thì việc đào tạo sẽ thất bại.
Một buổi hướng dẫn ngắn gọn cho các nhà quản lý về quy trình đánh giá cũng quan trọng như việc đào tạo cho người tham gia. Hãy đưa ra một tuyên bố rõ ràng về cách thức sử dụng và không sử dụng các tài liệu đánh giá trong quản lý hiệu suất.
3. Thiết kế hành trình học tập dựa trên hành vi
Hướng dẫn về mục tiêu học tập của Trung tâm Eberly thuộc Đại học Carnegie Mellon đưa ra một điểm hữu ích: mục tiêu, đánh giá và chiến lược giảng dạy cần phải phù hợp với nhau.Trung tâm Eberly, Mục tiêu học tập(Đó là hướng dẫn thiết kế, không phải bằng chứng về bất kỳ công cụ hoặc kết quả cụ thể nào, nhưng đó là một bài kiểm tra tốt cho chương trình này: nếu mục tiêu là phân tích bằng chứng và thống nhất các cải tiến có thể kiểm chứng được, thì chỉ riêng các câu hỏi về khả năng nhớ lại không thể là phương pháp đánh giá.)
Thang phân loại Bloom hữu ích ở đây như một cách để mô tả yêu cầu nhận thức của nhiệm vụ: phân tích, đánh giá, sáng tạo. Nó mô tả những gì nhiệm vụ yêu cầu một người thực hiện. Nó không giải thích tại sao họ làm hoặc không làm điều đó, vì vậy đừng sử dụng nó để chẩn đoán động lực.
Một hành trình khả thi gồm ba giai đoạn.
| Traineeship | Hành động của người học | Giao hàng tận nơi |
|---|---|---|
| Chuẩn bị | Hãy đọc kỹ chính sách xem xét sự cố và bảng thuật ngữ ngắn gọn (nguyên nhân gây ra, yếu tố góp phần, biện pháp giảm thiểu, hành động cần thực hiện). Một bước chẩn đoán ngắn gọn sẽ kiểm tra các điều kiện tiên quyết. | Tự học theo tốc độ riêng. Bài kiểm tra kiến thức chỉ nhằm xác nhận các điều kiện tiên quyết, không phải để ôn tập kỹ năng. |
| Thực hành | Phân tích trường hợp sự cố đã được chuẩn bị và thống nhất các cải tiến có thể kiểm chứng. Cần có câu trả lời có lý lẽ, chứ không phải là lựa chọn từ nhiều đáp án. | Thực hành tình huống tương tác hoặc có sự hướng dẫn, kèm theo phản hồi về chất lượng phân tích các yếu tố đóng góp và quá trình thực hiện. |
| Xem xét và chuyển giao | Thảo luận về một lựa chọn không rõ ràng, sau đó hoàn thành một trường hợp mới hoặc một bài đánh giá thực tế có giám sát. | Huấn luyện trực tiếp hoặc đánh giá không đồng bộ. Kiểm tra khả năng chuyển giao kỹ năng sau khi người học đã có thời gian sử dụng kỹ năng đó trong công việc. |
Hãy giữ cho bài toán thực tế và nhờ một kỹ sư giàu kinh nghiệm xác nhận. Một bài toán sai về mặt kỹ thuật sẽ khiến người đánh giá nghi ngờ tính chính xác của bài tập.
4. Phân tích tình huống và thảo luận sau đó.
Dưới đây là cách một buổi thực hành có thể diễn ra với kịch bản 02:10. Gói bằng chứng bao gồm nhật ký triển khai, dòng thời gian cảnh báo, chính sách phân trang, yêu cầu kéo và sổ tay vận hành, tất cả đều là giả định.
Gợi ý cho người tham gia. "Hãy giải thích lý do tại sao kỹ sư lại thúc đẩy sự thay đổi vào thời điểm đó. Nêu rõ bằng chứng bạn đã sử dụng. Cho chúng tôi biết bạn cần thêm thông tin hoặc sự hỗ trợ nào nữa trước khi có thể tự tin khẳng định điều đó."
Một phản hồi yếu kém sẽ như thế này: "Kỹ sư đáng lẽ phải kiểm tra khâu chuẩn bị." Câu trả lời chỉ nêu tên một người, không dẫn chứng gì và không đề xuất thay đổi nào.
Một phản hồi mạnh mẽ hơn sẽ như sau: "Nhật ký triển khai cho thấy thay đổi đã được thực hiện trực tiếp vì bước canary là tùy chọn trong công cụ. Yêu cầu kéo có một người đánh giá đã phê duyệt sau khoảng thời gian 20 phút. Trang được kích hoạt 18 phút sau khi lỗi bắt đầu vì ngưỡng cảnh báo được đặt ở mức trung bình 5 phút. Tôi muốn biết có bao nhiêu thay đổi khác trong tháng này đã bỏ qua bước canary, và liệu các kỹ sư trực ca đã từng được thông báo rằng bước này có thể bỏ qua hay chưa. Các hành động đề xuất: bắt buộc thực hiện canary cho cấp dịch vụ này, người chịu trách nhiệm: nhóm nền tảng, kiểm tra: thử triển khai bỏ qua canary trong môi trường thử nghiệm và xác nhận rằng nó bị chặn; giảm khoảng thời gian cảnh báo, người chịu trách nhiệm: trưởng nhóm trực ca, kiểm tra: phát lại các lỗi của tuần trước so với ngưỡng mới."
Hãy chú ý điều gì làm cho nó tốt hơn. Nó sử dụng bằng chứng, nêu rõ các hạn chế và sự không chắc chắn, và kết thúc bằng các hành động có thể kiểm chứng được.
Giờ đến phần tổng kết. Đừng chỉ chấm điểm. Hãy hỏi:
- Các bằng chứng đã chứng minh điều gì, và bạn đã suy đoán điều gì?
- Trong số các hành động bạn đề xuất, nhóm của bạn thực sự có quyền thực hiện hành động nào?
- Điều gì sẽ giúp bạn dễ dàng lặp lại hành vi này trong lần đánh giá thực tế tiếp theo? Điều gì sẽ khiến việc đó khó khăn hơn?
Câu hỏi thứ ba là quan trọng nhất. Nó nêu bật các điều kiện từ phần 2. Nếu ba người tham gia đều nói "quản lý của tôi sẽ hỏi ai đã làm việc đó", thì bạn đã tìm ra một hạn chế mà việc đào tạo không thể loại bỏ.
5. Đo lường hành vi và theo dõi tiến độ
Câu hỏi then chốt là bằng chứng nào sẽ chứng minh người học có thể phân tích bằng chứng sự cố và thống nhất các cải tiến có thể kiểm chứng được. Dưới đây là một bảng tiêu chí để bắt đầu. Đây là một đề xuất cần được điều chỉnh với sự hỗ trợ của một kỹ sư giàu kinh nghiệm, chứ không phải là một tiêu chuẩn sẵn sàng đã được xác nhận.
| Tiêu chí | Bằng chứng có thể quan sát được | 0 | 1 | 2 |
|---|---|---|---|---|
| Thực thi nhiệm vụ | Phân tích bằng chứng và thống nhất các cải tiến; ghi lại hành động và bằng chứng liên quan. | Không có hoặc không được hỗ trợ | Một phần, với những thiếu sót liên quan. | Hoàn chỉnh và được chứng minh dựa trên các tiêu chí đã thỏa thuận. |
| lý luận | Giải thích các hạn chế, phương án thay thế và sự không chắc chắn; các yếu tố đóng góp vượt ra ngoài hành động cuối cùng. | Không có hoặc không được hỗ trợ | Một phần, với những thiếu sót liên quan. | Hoàn chỉnh và hợp lý |
| Ranh giới | Sử dụng các quy trình đã được phê duyệt; yêu cầu trợ giúp khi thiếu thông tin hoặc thẩm quyền. | Không có hoặc không được hỗ trợ | Một phần, với những thiếu sót liên quan. | Hoàn chỉnh và hợp lý |
Hãy xác định rõ các lỗi nghiêm trọng một cách riêng biệt, ví dụ như chỉ đích danh một cá nhân là nguyên nhân hoặc đề xuất một hành động mà không xác định người chịu trách nhiệm. Điểm số tổng cao không bao giờ được che giấu một lỗi nghiêm trọng.
Về bản thân phép đo:
- Chất lượng của phân tích các yếu tố đóng góp. So sánh các bài đánh giá được viết trước chương trình với các bài đánh giá được viết sau đó, được chấm điểm theo cùng một tiêu chí bởi một người không biết bài nào là bài nào. Sử dụng cả các trường hợp theo dõi chưa từng thấy cũng như các trường hợp thực tế.
- Thực hiện theo. Hãy đếm tỷ lệ các mục hành động có người chịu trách nhiệm, có bài kiểm tra và đã được hoàn thành, trên tổng số mục hành động được nêu ra. Nêu rõ mẫu số và khung thời gian.
- Kết hợp quan sát với thay đổi quy trình. Hãy ngồi lại và tham gia buổi đánh giá thực tế. Kiểm tra xem các mục hành động đã được thực hiện như thế nào sau đó.
Hãy cẩn thận với số lượng báo cáo. Nếu có nhiều mối lo ngại và sự cố suýt xảy ra được ghi nhận sau chương trình, điều đó có thể có nghĩa là an toàn đã được cải thiện, lòng tin đã được nâng cao, hoặc một công cụ mới đã giúp việc ghi nhận dễ dàng hơn. Một cú ngã có thể có nghĩa là ít vấn đề hơn hoặc ít sẵn lòng lên tiếng hơn. Hãy xem xét những gì đã thay đổi trong cùng kỳ trước khi quy kết bất kỳ sự thay đổi nào cho việc đào tạo, và tránh khẳng định một hiệu quả mà bạn chưa đo lường được.
Hướng dẫn của Eberly nêu trên đề cập đến việc điều chỉnh; nó không phải là bằng chứng cho thấy cách tiếp cận này làm giảm số vụ tai nạn. Hãy giữ lại dữ liệu cơ sở và dữ liệu theo dõi của riêng bạn và coi chúng như bằng chứng tại chỗ.
Những hạn chế nào có thể vẫn còn tồn tại ngay cả sau khi kỹ năng được cải thiện?
Hãy thành thật về những điều này với các nhà tài trợ:
- Các tài liệu đánh giá vẫn có thể ảnh hưởng đến các quyết định về hiệu suất.
- Các nhóm đang chịu áp lực về tiến độ có thể bỏ qua những hành động tốn kém nhưng hợp lý.
- Các pha phối hợp giữa các đội có thể bị đình trệ vì không ai kiểm soát được đường biên.
- Các kỹ sư cấp cao vẫn có thể chiếm ưu thế trong các cuộc thảo luận.
Phân tích tốt hơn không loại bỏ được những vấn đề này. Hãy lập kế hoạch thay đổi quy trình riêng biệt cho từng trường hợp.
Áp dụng vào thực tế với AhaSlides
AhaSlides hỗ trợ học tập thích ứng, học tập tương tác và chuyển đổi linh hoạt giữa hình thức học trực tiếp và tự học. Trong hành trình này, điều đó có thể bao gồm bước chuẩn bị tự học, phiên thảo luận tình huống trực tiếp hoặc có người hướng dẫn với các câu hỏi mở để mọi người cùng cam kết phân tích trước khi thảo luận nhóm, và nhiệm vụ tiếp theo sau phiên thảo luận. Các chức năng soạn thảo, chấm điểm và báo cáo cụ thể cần được kiểm tra trong bản demo với trường hợp của riêng bạn trước khi bạn sử dụng chúng, và bất kỳ chức năng nào liên quan đến AI, trình mô phỏng hoặc tích hợp với công cụ xử lý sự cố của bạn đều cần được xem xét riêng cho đến khi được trình diễn.
Bước tiếp theo: Hãy lấy bảng tiêu chí đánh giá ở trên và điều chỉnh nó cùng với một trong những kỹ sư cấp cao của bạn, sau đó xây dựng trường hợp thực tế mà bạn sẽ sử dụng. Nếu bạn muốn xem một phiên bản thực tế và tự học theo tốc độ riêng của mình về hành trình này có thể hoạt động như thế nào, Đặt lịch dùng thử quy trình làm việc của AhaSlides sau khi bạn đã soạn thảo xong trường hợp và tiêu chí đánh giá.
