הערכת תוכניות הכשרה: כיצד להפעיל פיילוט המודד למידה והעברה למקום העבודה

פיילוט מסתיים. שנים עשר אנשים השתתפו, כמעט כולם אמרו שזה היה מועיל והמנחה מרוצה. לאחר מכן, ראש מחלקת התפעול שואל שאלה הוגנת: "האם מישהו עשה את עבודתו אחרת?" אף אחד לא מדד איך אנשים עבדו לפני הפיילוט, אף אחד לא השווה אותם לאף אחד, והצוות שינה את התהליך שלו באותו חודש. הפיילוט הניב רצון טוב, לא ראיות.

זהו תרחיש להמחשה, לא מקרה מתועד של לקוח. הוא מראה דרך נפוצה שבה הערכת תוכניות הכשרה משתבשת: הפיילוט מופעל, אך הוא מעולם לא תוכנן לענות על שאלה.

מדריך זה מיועד לראשי תחומי למידה ופיתוח, מעצבי הוראה ומנהלי הדרכה. הוא מכסה חמישה שלבים: הגדרת שאלת הפיילוט, בחירת משתתפים ומדדי בסיס, רישום מסע הלמידה, הערכת ביצועי המשימות החדשות והעברה, והסכמה כיצד התוצאות ישפיעו על הפריסה. הוא מסתיים בתבנית שתוכלו להתאים ובאילוצים שנותרו.

מהו טייס אימון?

פיילוט הכשרה הוא ניסוי קצר ומוגבל בזמן של עיצוב למידה לפני שמתחייבים אליו בקנה מידה גדול. תפקידו הוא לברר האם העיצוב בר ביצוע ומה כדאי לשאוף אליו, לא להוכיח שהוא עובד בכל מקום.

להבחנה זו יש חשיבות. המרכז הלאומי לבריאות משלימה ואינטגרטיבית בארה"ב מתאר מחקר פיילוט כבדיקה בקנה מידה קטן של השיטות והנהלים שיש להשתמש בהם בקנה מידה גדול יותר, ומזהיר כי מחקר פיילוט אינו מוסמך לענות על שאלות לגבי יעילות, ולכן כל השפעה שהוא מראה לכאורה אינה יציבה (NCCIH, מחקרי פיילוט: שימושים נפוצים ושימושים לרעה). ההנחיות הללו נכתבו למחקר בריאות, אך ההיגיון ממשיך הלאה. פיילוט של שנים עשר אנשים יכול לומר לכם האם תוכלו לגייס, לספק, למדוד ולעקוב אחריהם. הוא אינו יכול לומר לכם, בביטחון, עד כמה תהיה ההשפעה על פני ארגון שלם.

עובדות מהירות

1. הגדירו את שאלת הפיילוט

התחילו בשאלה שניתן לענות עליה בכן או לא, או במספר, וציינו את שם ההחלטה שהיא תשפיע עליה.

שאלה חלשה: "האם תוכנית הקליטה החדשה עובדת?" שאלה ניתנת לבדיקה: "לאחר הקליטה המחודשת, האם עובדים חדשים יכולים להתמודד עם הסלמה סטנדרטית של לקוח ללא עזרה, והאם הפיילוט מעשי לביצוע בזמן האימון שיש לנו?"

רשמו שלושה דברים:

• המשימה. מה אנשים יוכלו לעשות שלא יכלו לעשות, או שלא עשו טוב, קודם?
• ההחלטה. האם תשנו את העיצוב, תרצו פיילוט נוסף או תיצרו אותו באופן נרחב יותר?
• הנחות הלמידה והמסירה. מה אתה מניח לגבי דרישות קדם, זמן, יכולת אימון וכלים שהפיילוט צריך לבחון?

אם אינך יכול לנקוב בשם של ההחלטה, אינך מוכן להפעיל את הפיילוט. התוצאה תגיע מבלי שאף אחד יחכה לפעול על פיה.

2. בחירת משתתפים ומדדי בסיס

קו בסיס הוא ראיה לאופן שבו אנשים מבצעים את המשימה לפני האימון. בלעדיו, ל"שיפור" אין שום דבר שניתן להשוות אליו.

בחרו משתתפים במכוון. בחרו אנשים שיעשו את המשימה האמיתית ודומים לקבוצה שאליה אתם מתכננים להשיק. פיילוט עם המתנדבים הנלהבים ביותר שלכם יחמיא לעיצוב.

לכוד את קו הבסיס. השתמשו באותו סוג מדד בו תשתמשו לאחר מכן, כדי שניתן יהיה להשוות בין השניים. האפשרויות כוללות מדגם עבודה קצר, תצפית מובנית, סקירה של תוצאות אחרונות או מקרה מדורג. רשמו מי נכלל, כמה היו זכאים ומתי מדדתם.

תחשבו על השוואה. התכנון החזק ביותר משווה אנשים שהשתתפו בפיילוט עם אנשים דומים שלא. זה לא תמיד אפשרי או הוגן, במיוחד כאשר ההכשרה נדרשת לבטיחות או עמידה בתקנות. פריסה הדרגתית היא חלופה מעשית: קבוצה אחת מתחילה עכשיו, קבוצה דומה מתחילה מאוחר יותר, והקבוצה המאוחרת יותר משמשת כהשוואה לקבוצה הראשונה. מה שלא תבחרו, ציינו בתוכנית מדוע היא הוגנת כלפי המעורבים.

3. להעביר ולתעד את מסע הלמידה

ראיות שימושיות רק אם ידוע מה סופק. שמור יומן פשוט של מה שקרה, כי העלות והמאמץ של המסירה הם חלק ממה שהפיילוט בודק.

תקליט:

• הכנה. מה אנשים עשו לפני המפגשים, וכמה זמן זה נמשך?
• תרגול. על אילו מקרים או תרגילים הם עבדו, ואיזה משוב הם קיבלו?
• אימון. מי אימן, במשך כמה זמן, והאם זה היה בשידור חי או אסינכרוני?
• שינויים תפעוליים. כל דבר אחר שהשתנה במהלך הפיילוט, כגון כלי חדש, שינוי מדיניות, עונתי או החלפת מנהל.
• תצורת המוצר ועלויותיו. ההתקנה בפועל שבה השתמשת, והזמן והכסף שנדרשו כדי לספק.

שני האחרונים חשובים ביותר להחלטת הפריסה. עיצוב שעובד רק עם רמת אימון שאינך יכול להרשות לעצמך בקנה מידה גדול לימד אותך משהו בעל ערך, והיומן הוא מה שמראה זאת.

4. הערכת ביצועי המשימה החדשה והעברה

הערכת הכשרה מתוארת לעתים קרובות באמצעות ארבע הרמות של מודל קירקפטריק: תגובה, למידה, התנהגות ותוצאות.קירקפטריק פרטנרס). טייס צריך להגיע מעבר לרמה הראשונה. תגובות, האם אנשים מצאו אותן מועילות, ניתנות לאיסוף מהיר אך אומרות מעט על האם הם יבצעו אותן אחרת.

מבחן למידה במשימה חדשה. תנו למשתתפים מקרה שלא תרגלו, ודרגו אותו לפי אותם קריטריונים בהם השתמשתם בתחילת המחקר. משימה חדשה מראה האם אנשים יכולים ליישם את מה שלמדו, לא האם הם זוכרים דוגמה.

מעקב לאחר חשיפה לעבודה. העברה פירושה יישום של מה שנלמד בעבודה, ושמירה על כך לאורך זמן. סקירתם המצוטטת לעתים קרובות של בולדווין ופורד משנת 1988 מגדירה העברה הן כהכללה של חומר נלמד לתפקיד והן בתחזוקה שלו לאורך זמן, ובוחנת כיצד תכנון ההכשרה, מאפייני המתלמד וסביבת העבודה משפיעים עליה (בולדווין ופורד, 1988). לכן, תכננו מעקב לאחר שאנשים היו צריכים לעשות עבודה אמיתית, למשל כמה שבועות לאחר מכן, ומדדו שוב את אותה משימה.

מחסומי שיא. אם מישהו לא משתמש בגישה החדשה בעבודה, שאלו מדוע. התשובה עשויה להיות כלי חסר, מנהל שמצפה לדרך הישנה או מעט מדי זמן. אלו ממצאים לגבי סביבת העבודה, לא כשלים של הלומד.

אין להסיק העברה משביעות רצון. ציון משוב טוב ראוי לרישום. הוא אינו מראה על שינוי בהתנהגות.

5. החלט כיצד התוצאות משפיעות על ההשקה

כתבו את קריטריוני ההחלטה לפני שאתם מסתכלים על התוצאות. אחרת קל למצוא סיבה להמשיך עם מה שאתם רואים.

מבנה פשוט:

היו כנים לגבי מה שקבוצה קטנה יכולה לתמוך בו. התייחסו למספרים כאל אינדיקציות, דווחו על גודל הקבוצה והמכנה, והימנעו מגדלי אפקט או ערבויות. ציינו אילו שינויים נוספים התרחשו בו זמנית לפני שאתם נותנים קרדיט להכשרה.

תבנית מדידה לפיילוט

לדוגמה. על מטפל שעושה עבודה זו לעיין בה לפני השימוש.

היכן שהעברת מידע אינטראקטיבית עוזרת

פורמטים אינטראקטיביים מתאימים לשלב התרגול של פיילוט מכיוון שכל אדם מתחייב לתשובה לפני שהוא רואה את התשובה של הקבוצה, מה שנותן לך תיעוד של נימוקים ולא רק נוכחות. מנחה יכול להריץ מקרה בשידור חי, וניתן להשתמש באותו מקרה בקצב אישי להכנה או מעקב. AhaSlides תומך בלמידה אינטראקטיבית ובמעבר בין מסירה חיה למסירה בקצב אישי. בדוק כל פונקציית כתיבה, משוב או דיווח ספציפית שאתה מתכנן להסתמך עליה מול זרימת העבודה שלך, והתייחס לתכונות בינה מלאכותית, סימולציה ואינטגרציה כחיצוניות או לא מאושרות עד שתראה אותן פועלות. כדי לבחור בין פורמטים, ראה מתי להשתמש בלמידה אדפטיבית, אינטראקטיבית וחיהכדי להתאים פעילויות לחשיבה שברצונך למדוד, עיין במדריך שלנו ל... התאמת פעילויות למידה לטקסונומיה של בלום.

אילוצים שעשויים להישאר

אפילו פיילוט שתוכנן היטב משאיר כמה דברים לא פתורים:

• מספרים קטנים. פיילוט מראה היתכנות וכיוון, לא כמה גדולה תהיה ההשפעה בקנה מידה גדול.
• סביבת עבודה. אנשים יכולים לבצע ביצועים טובים במשימה החדשה ועדיין לא להשתמש בה בעבודה אם המנהל, הכלים או התמריצים שלהם מצביעים לכיוון השני.
• תִזמוּן. מעקב לאחר מספר שבועות אינו מראה מה נותר לאחר שישה חודשים.
• שינוי מקביל. שינויים אחרים באותה תקופה יכולים להסביר חלק מהשיפור.
• בְּחִירָה. אנשים שהתנדבו עשויים להיות שונים מהאנשים אליהם אתה מפנה את התרומות.

תכננו תיקונים נפרדים עבור אלה, וספרו לספונסרים אילו שאלות הפיילוט לא פתר.

שאלות נפוצות

כמה גדול צריך להיות טייס אימון?

גדול מספיק כדי לבדוק האם העיצוב מעשי למסירה ולמדידה, וקטן מספיק כדי לשנות אותו בזול. אין מספר אחד נכון. דווח על גודל הקבוצה והתייחס לכל תוצאה כאל אינדיקציה.

האם אני צריך קבוצת ביקורת כדי להעריך תוכנית אימונים?

קבוצת השוואה מחזקת את הראיות, אך היא לא תמיד אפשרית או הוגנת. קו בסיס בתוספת פריסה הדרגתית, שבה קבוצה דומה מתחילה מאוחר יותר, היא חלופה מעשית.

מתי עליי למדוד העברה?

לאחר שלאנשים היה זמן והזדמנות ליישם את הלמידה בעבודה, תנו לזה לפחות כמה שבועות. מדדו שוב את אותה משימה, ושאלו על המחסומים שמנעו מאנשים להשתמש בה.

האם שביעות רצון היא מדד שימושי?

זה שימושי לשיפור החוויה, אבל זה לא מהווה עדות להעברה. שלבו זאת עם ביצועים במשימה חדשה.

איפה להתחיל

בחרו משימה אחת שחשובה וכתבו את ההחלטה שהפיילוט יקבל. תעדו כיצד קומץ אנשים מבצעים אותה היום, באמצעות דוגמת עבודה קצרה או מקרה שעבר ניקוד. לאחר מכן, כתבו את קריטריוני ההחלטה שלכם לפני תחילת הפיילוט, ורשמו את תאריך המעקב ביומן.

כדי לראות כיצד ניתן להריץ מקרה תרגול בשידור חי עם הצוות שלכם, ולעשות בו שימוש חוזר בקצב אישי לאחר מכן, עיינו ב-AhaSlides.