מנהל הדרכה פותח את לוח המחוונים של הלמידה ביום שני. שיעור ההשלמה הוא 96 אחוז. שביעות הרצון הממוצעת היא 4.5 מתוך 5. לאחר מכן, ראש צוות שואל את השאלה המביכה: "האם אנשים מטפלים בפניות הלקוחות בצורה שונה?" לוח המחוונים אינו יכול לענות. הוא מתעד שהקורס הסתיים, לא שמשהו השתנה בעבודה.
זהו הפער שרוב מדדי ההכשרה משאירים פתוח. שלב ההשלמה אומר לכם מי הגיע לסוף. הוא לא אומר לכם מי למד את המיומנות, מי השתמש בה, או האם העסק זז. מדריך זה נותן לכם היררכיה של ראיות ותוכנית מדידה בת עמוד אחד שתוכלו למלא עבור כל תוכנית, מבלי להעמיד פנים שכל קורס זקוק למחקר ROI סיבתי מלא.
תרחיש הפתיחה לעיל הוא להמחשה, לא מקרה מתועד של לקוח.
עובדות מהירות
| שאלה | תשובה קצרה |
|---|---|
| מה הבעיה עם שיעורי השלמה? | הם מודדים השתתפות, לא למידה או שינוי במקום העבודה. |
| מה כדאי למדוד במקום זאת? | למידה מול יעדים, העברה לתפקיד, ולאחר מכן תוצאות תפעוליות עם הקשר |
| האם כל קורס צריך ניתוח החזר השקעה (ROI)? | לא. התאם את עומק הראיות להחלטה המתקבלת |
| מה נכנס לתוכנית מדידה? | תוצאה, מדד, מקור, מכנה, עיתוי ובעלים |
1. הגדירו את ההחלטה שהנתונים צריכים לתמוך בה
לפני בחירת מדד, ציין את שם ההחלטה שהוא יביא להחלטה. שלושה מדדים נפוצים דורשים ראיות שונות:
- לשפר את התוכנית. עליכם לדעת היכן הלומדים התקשו, כך שתוצאות ברמת הפריט וברמת המשימה חשובות יותר מציון עובר.
- אשר את המוכנות. אתה צריך ראיות לכך שאדם יכול לבצע משימה מוגדרת בסטנדרט מוסכם, בדרך כלל באמצעות תצפית או משימה עם ציון.
- הערכת פריסה. עליכם להשוות קבוצות או תקופות, כך שמדידות, מכנים ותזמון עקביים הם החשובים ביותר.
אם אינך יכול לומר באיזו החלטה הנתונים תומכים, תאסוף הכל ותסיק מעט מאוד. מבחן קצר: אם התוצאה הייתה גרועה, מה היית עושה אחרת? אם התשובה היא "כלום", המדד אינו מרוויח את מקומו.
2. מדידת למידה מול יעדים
התחילו ממשימת העבודה, לא מתוכן הקורס. כתבו את המטרה כמשהו שאדם עושה ("מיון תלונה מוסלמת באמצעות הקריטריונים המוסכמים"), ולאחר מכן עצבו את ההערכה בהתאם. מרכז קרנגי מלון אברלי מציג את הנקודה הבסיסית בבירור: הערכות, יעדים ופעילויות הוראה צריכות לחזק זו את זו, והוראת מיומנויות אנליטיות תוך הערכת זכירה עובדתית בלבד גורמת ללומדים לתרגל את הדבר הלא נכון (הנחיות מרכז אברלי בנוגע ליישור בין הערכות, יעדים ואסטרטגיות הוראה).
בפועל, זה נותן לך שלוש אפשרויות עיצוב:
- קבע קו בסיס. הערך את המשימה לפני האימון, או השתמש באבחון קצר, כדי שתדע היכן כל לומד מתחיל. ללא בסיס, ציון טוב לאחר האימון יכול פשוט לשקף מיומנות קודמת.
- השתמש במעקב תואם. ההערכה המאוחרת יותר צריכה לבחון את אותה משימה ותקן, תוך שימוש במקרה חדש ולא זה שתורגל. חזרה על פריטים זהים מתגמלת את זכירת התשובות.
- שמרו על סיפוק בנפרד. תגובות הלומדים עוזרות לכם לשפר את החוויה, אך המרכזים לבקרת מחלות ומניעתן (CDC) בארה"ב מבהירים בהנחיות הערכת ההכשרה שלהם ששביעות רצון הלומדים אינה קובעת האם הכשרה יעילה (CDC, הערכת הכשרה: מדידת יעילותדווח על כך, אך לעולם אל תדווח על כך כממלא מקום ללמידה.
רובריקה פשוטה בת שלוש נקודות עוזרת כאן. תנו ציון לכל קריטריון 0 (חסר או לא נתמך), 1 (חלקי, עם השמטות רלוונטיות) או 2 (שלם ומוצדק), והגדירו שגיאות קריטיות בנפרד כך שציון כולל לא יוכל להסתיר כשל חמור. התאימו את הקריטריונים עם מומחה לנושא; רובריקה שכתבתם בעצמכם היא נקודת התחלה, לא סטנדרט מאומת.
3. הערכת העברה לאחר חשיפה לעבודה
לימוד של משהו בקורס ועשייתו בעבודה הם אירועים שונים. הנחיות ה-CDC מפרידות בין הערכת למידה לבין הערכת העברת למידה, אשר שואלת עד כמה הלומד מיישם בהצלחה את מה שלמד לאחר שובו למקום העבודה.
העברת ראיות דורשת זמן. קבעו פגישת מעקב לאחר שהייתה הזדמנות אמיתית ללומד להשתמש במיומנות, שיכולה להימשך שבועיים למשימה יומית ומספר חודשים למשימה נדירה. לאחר מכן, אספו ראיות באחת או יותר מהדרכים הבאות:
- תצפית או סקירת דוגמית עבודה כנגד אותה רובריקה המשמשת באימון.
- קלט של מנהל או עמית באמצעות שאלות ספציפיות המבוססות על התנהגות במקום "האם הם השתפרו?".
- ראיות מערכתיות היכן שהמשימה משאירה עקבות, כגון טופס שהושלם או מקרה שנרשם.
רשמו חסמים בקפידה כמו תוצאות. לומד שיכול לבצע את המשימה בהכשרה אך לא עושה אותה בעבודה, עלול להיעדר הכלים, הסמכות, הזמן או תמיכת המנהל. אילוצים אלה יכולים להישאר גם לאחר שיפור ביצועי המשימה בכיתה, והם הממצאים בעלי הסיכוי הגבוה ביותר לשנות את החלטתכם הבאה. שאלו "מה מנע מכם ליישם זאת?" וקטלגו את התשובות.
4. פרשנו תוצאות תפעוליות בהקשר
מדדים תפעוליים כמו שיעורי שגיאות, זמני טיפול או שיעורי פתרון חשובים משום שהם מה שמעניין את הארגון. הם גם הקלים ביותר לקריאה יתר על המידה.
שלושה הרגלים שומרים עליכם כנים:
- השתמשו בתעריף דומה. ספירות מטעות כאשר הנפחים משתנים. השוו שיעורים מול מכנה מוגדר: שגיאות למאה מקרים, לא שגיאות בסך הכל.
- רשמו הסברים חלופיים. עונתיות, כלי חדש, שינוי בצוות או עדכון מדיניות - כולם יכולים להזיז את אותו מספר באותו רבעון. רשמו אותם לפני שאתם מסתכלים על התוצאה.
- תגיד איזה סוג של טענה זו. אם צוות מיומן מראה שיעור טוב יותר מאשר צוות לא מיומן, זהו קשר נצפה. טענה סיבתית זקוקה לתכנון ששולל את החלופות, כגון קבוצת השוואה או פריסה מדורגת. רוב התוכניות אינן זקוקות לרמת קפדנות כזו, וזה בסדר לומר זאת בפשטות: "התוצאות נעו בכיוון שקיווינו; הנה מה עוד השתנה".
הימנעו מהבטחת תשואה על ההשקעה רק מהכשרה. דווחו על מה שצפיתם, על ההקשר ועל המגבלות.
5. בניית תוכנית מדידה מעשית
שימו את החלקים בטבלה אחת לכל תוכנית. כל שורה היא שאלה שהנתונים חייבים לענות עליה.
| שדה | מה לכתוב | למה זה משנה |
|---|---|---|
| תוֹצָאָה | השינוי שאתה מצפה לו, במונחים נצפים | עוצר מטרות מעורפלות |
| לִמְדוֹד | ציון המדד או הרובריקה הספציפי | הופך אותו לניתן לבדיקה |
| מָקוֹר | מאיפה מגיעים הנתונים | מראה אם הוא קיים ואמין |
| מְכַנֶה | מי או מה המדד יוצא ממנו | מונע ספירות גולמיות מטעות |
| תזמון | כאשר הוא נאסף | מפריד בין למידה להעברה |
| בעלים | האדם האחראי ששמו נקוב | גורם לזה לקרות |
דוגמה מעשית (להמחשה, לא מוצגות תוצאות)
דמיינו תוכנית שתעזור לצוות תמיכת הלקוחות להתמודד עם תלונות שהוסרו. ההחלטה: לוודא מוכנות לפני שנציגים מטפלים בתלונות ללא שותף.
| תוֹצָאָה | לִמְדוֹד | מָקוֹר | מְכַנֶה | תזמון | בעלים |
|---|---|---|---|---|---|
| סוכנים מבצעים מיון על הסלמה באמצעות הקריטריונים המוסכמים | ציון רובריק (0 עד 2 לכל קריטריון, ללא שגיאות קריטיות) על מקרה חדש | תרגול מקרים מדורגים | סוכנים שמשלימים את התוכנית | סוף התוכנית, מול קו בסיס שלפני ההכשרה | מוביל הדרכה |
| סוכנים מיישמים את שלבי המיון על תיקים חיים | ציון רובריק על הסלמות אמיתיות שנדגמו | דוגמה לסקירת איכות | הסלמות מדגמיות לכל סוכן | ארבעה עד שישה שבועות לאחר ההסלמות החיות הראשונות | ראש צוות |
| ידועים המכשולים ליישום הצעדים | סיבות מסווגות ממעקב קצר | בדיקת מעקב של הסוכן | סוכנים שטיפלו בהסלמה | אותו חלון מעקב | מוביל הדרכה |
| תוצאות ההסלמה מתבצעות בהקשר | שיעור תיקים שנפתחו מחדש, עם שינויים מקבילים שצוינו | מערכת תיקים | הסלמות נסגרו בתקופה | רבעוני, בהשוואה לתקופה הקודמת | אנליסט תפעול |
שימו לב למה שחסר: אין הבטחה לשיפור באחוזים, ואין טענה שהאימון לבדו מניע את השורה הסופית. התוכנית מחייבת אתכם לאיסוף ראיות כנות, לא לתשובה מסוימת.
היכן משתלבים מסירה אינטראקטיבית ואדפטיבית
מדידה קלה יותר כאשר הלמידה עצמה מייצרת ראיות. פעילויות אינטראקטיביות, כגון שאלות מקרה עם ניקוד, סקרי תרחישים ובדיקות ידע קצרות, מספקות לכם נתונים לכל לומד ולכל פריט במהלך ההכשרה, ולמידה אדפטיבית יכולה לנתב אנשים בהתאם לביצועיהם. עיצובים משולבים הנעים בין מפגשים חיים ללימוד בקצב עצמי מאפשרים לכם לבצע אבחון בזמנכם הפנוי, לתרגל מקרה בזמן אמת עם משוב, ולהשלים סקירת מעקב באופן אסינכרוני.
יכולות אלו תומכות בראיות בשורות אחת ושתיים של התוכנית שלכם. הן אינן מחליפות את שורות ההעברה והתוצאה, שתלויות במה שקורה בעבודה. בדקו אילו תכונות דיווח וכתיבה ספציפיות אתם צריכים מול הדגמה לפני שאתם מתחייבים לעיצוב, והתייחסו לכל כלי או אינטגרציה חיצוניים כנפרדים מתהליך העבודה המרכזי עד שתראו אותם פועלים.
נסה זאת עם התוכנית שלך
מלאו את התוכנית בת ששת התחומים עבור תוכנית אחת שאתם מנהלים כעת, החל מההחלטה שהיא צריכה לתמוך בה.
כדי לראות כיצד ניתן ללכוד את ראיות הלמידה בתוכנית שלך בפגישה חיה או בקצב אישי, עיינו ב-AhaSlides.
שאלות נפוצות
מהם מדדי יעילות אימון?
אלו הם המדדים בהם אתם משתמשים כדי לשפוט האם ההכשרה השיגה את מטרתה. סט שימושי מכסה למידה מול יעדים, העברה לתפקיד ותוצאות תפעוליות הנקראות בהקשר, ולא השלמה ושביעות רצון בלבד.
האם שיעור השלמה הוא מדד שימושי?
זה שימושי למעקב אחר השתתפות ולאיתור בעיות גישה. זה לא יכול להראות שמישהו למד או יישם מיומנות מסוימת, לכן יש לשלב זאת עם הערכה ומעקב.
כמה זמן לאחר האימון עליי למדוד העברה?
מספיק זמן כדי שללומדים תהיה הזדמנות אמיתית להשתמש במיומנות. משימה יומית עשויה להזדקק לכמה שבועות, בעוד שמשימה נדירה תזדקק ליותר זמן. קבעו את חלון הזמן בתוכנית שלכם לפני תחילת האימון.
האם אני צריך להוכיח החזר השקעה (ROI) עבור כל קורס?
לא. התאם את הראיות להחלטה. תוכניות רבות נהנות מלמידה והעברת ראיות, בנוסף לתוצאות תפעוליות המדווחות בהקשר. שמור ניתוח סיבתי לתוכניות בעלות סיכון גבוה או עלות גבוהה, כאשר התכנון מאפשר זאת.
