רובריקה להערכת ביצועים: כיצד להעריך שיקול דעת ופתרון בעיות בהכשרה

שני מאמנים צופים באותה הקלטה של ​​ראש צוות חדש שמחליט האם להעלות תלונת לקוח. הראשונה נותנת לה ציונים גבוהים: היא נשארה רגועה ובחרה באפשרות הגיונית. השנייה נותנת לה ציון בינוני: היא מעולם לא אמרה מדוע בחרה בה או מה היא לא יודעת. שתי המדריכות מנוסות. שתיהן השתמשו באותו טופס. אף אחת מהן לא טועה, וזו הבעיה. הטופס לא אמר להן מה לחפש.

זהו תרחיש להמחשה, לא מקרה מתועד של לקוח. הוא מראה מדוע קשה להעריך שיקול דעת ופתרון בעיות: הראיות נמצאות בהיגיון, וקל לתת ניקוד שונה להיגיון.

מדריך זה מיועד למעצבי הוראה, מנהלי הדרכה וראשי תחומי למידה ופיתוח הזקוקים לרובריקה להערכת ביצועים שיוכלו להגן עליה. הוא מכסה חמישה שלבים: הגדרת הראיות, כתיבת קריטריונים נצפים, תיאור עוגני ביצועים, כיול מעריכים וניסוי של הרובריקה. הוא מסתיים בדוגמה מעשית ובמגבלות שנותרו.

מהי רובריקה להערכת ביצועים?

רובריקה להערכת ביצועים היא מדריך לניקוד למשימה שבה הלומד עושה משהו במקום להיזכר במשהו. היא מפרטת את הקריטריונים החשובים, מתארת ​​כיצד נראית כל רמת ציון ומספקת למעריכים בסיס משותף להחלטה. לצורך שיפוט ופתרון בעיות, המשימה היא בדרך כלל מקרה: הלומד מחליט מה לעשות, מסביר את ההחלטה ואומר מה עוד עליו לדעת.

רובריקה אינה מבחן ידע. בוחן זיכרון יכול לאשר שמישהו מכיר את הכללים. רובריקה מראה האם הוא יכול ליישם את הכללים הללו כאשר המצב לא מסודר.

עובדות מהירות

1. הגדירו את ראיות הביצוע

התחילו במשימה, לא בצורה. רשמו את הסיטואציה שעמה יתמודד הלומד, את ההחלטה שעליו לקבל ומה ביצוע יעיל יראה לעין. היו ספציפיים לגבי ההקשר והמגבלות: איזו סמכות יש ללומד, איזה מידע ניתן לו ומה חסר במכוון?

מבחן שימושי הוא לשאול על מה צופה יכול להצביע. לא ניתן להצביע על "מראה שיקול דעת טוב". ניתן להצביע על "מציין איזה נוהל חל, מציין עובדה אחת שחסרה ואומר את מי ישאל".

אם אינך יכול לתאר את הראיות במשפטים פשוטים, המשימה אינה מוכנה לציון. תקן את המשימה תחילה. משימה מעורפלת מייצרת רובריקה מעורפלת, גם אם היא תיראה מלוטשת.

2. כתבו קריטריונים נצפים

בחרו מספר קטן של קריטריונים התואמים את מטרת הלמידה. לצורך שיקול דעת ופתרון בעיות, שלושה מהם מתאימים היטב בתפקידים רבים:

• ביצוע משימה. הלומד מקבל החלטה במסגרת סמכותו ומתעד את הבחירה ואת הראיות העומדות מאחוריה.
• הַנמָקָה. הלומד מסביר את האילוצים, את החלופות ומה עדיין לא ברור.
• גבולות. הלומד משתמש בהליכים מאושרים ומבקש עזרה כאשר מידע או סמכות חסרים.

כתבו כל קריטריון כמשהו שניתן לראות בהחלטה, כהסבר או בפלט. הימנעו ממילים המציינות תכונה, כגון "נכון", "בוגר" או "טוב". שני מעריכים קוראים את המילים הללו בצורה שונה.

שמרו על מספר נמוך. כל קריטריון נוסף מוסיף מקום לחלוקת דעות מצד מעריכים וסיבה ללומדים לרדוף אחר ציונים במקום לחשוב. אם קריטריון לא משנה את מה שהייתם עושים עם התוצאה, בטלו אותו.

3. תאר עוגני ביצועים

עוגן הוא תיאור קצר של איך נראית רמת ציון. ללא עוגנים, ציון של 1 או 2 משמעו כל מה שהמעריך רוצה שהוא יאמר.

סולם פשוט בן שלוש רמות מספיק לעתים קרובות לגרסה ראשונה:

עבור כל קריטריון, הוסיפו דוגמה קצרה כיצד נשמעים 0, 1 ו-2 עבור המשימה שלכם. השתמשו בניסוחים אמיתיים מניסיונות תרגול במידת האפשר. עוגנים שנכתבים בתקציר נוטים לחזור לתארים מעורפלים.

התייחסו לשגיאות קריטיות בנפרד. חלק מהכשלים לא צריכים להיות ממוצעים. פעולה מעבר לסמכות, התעלמות משלב בטיחות או הפרת מגבלת תאימות הן דוגמאות. רשמו אותם בנפרד מהקריטריונים שניתנו להם וציינו את התוצאה: שגיאה קריטית נרשמת ומטופלת בהתאם לסכום הכולל. אחרת, לומד יכול לקבל ציון גבוה על נימוק וגבולות תוך נקיטת פעולה שתהיה בלתי מקובלת בעבודה.

4. כיול מעריכים באמצעות דוגמאות

רובריקה לא נותנת ציון מעצמה. מעריכים עדיין מפרשים אותה, לכן יש לכייל לפני שאתם נותנים ציון לקבוצה.

1. בחרו שתיים או שלוש תשובות לדוגמה שנבדלות באיכותן. ניסיונות אמיתיים של פיילוט הם הטובים ביותר.
2. בקשו מכל מעריך ציון באופן עצמאי, לפני כל דיון.
3. השוו ציונים, וחשוב מכך, את הראיות שכל אדם ציטט.
4. במקומות בהם הציונים שונים, יש למצוא את הניסוח שגרם לכך ולשנות את הקריטריון או את העוגן.
5. חזרו על הפעולה עם דוגמה חדשה עד שהמעריכים יתנו את אותו הציון מאותן סיבות.

המטרה היא קריאה משותפת של הקריטריונים, לא הסכמה כשלעצמה. אם שני מעריכים נותנים את אותו הציון מסיבות שונות, הרובריקה עדיין מעורפלת.

מה אומר המחקר? הראיות מעורבות, לכן יש להעריך חילוקי דעות ומדוד אותם. במחקר משנת 2022 על בדיקות קליניות מוקלטות בווידאו בכתב העת הרפואי פוג'יטה, שני מעריכים ניקדו ארבעים סרטונים. עבור עשרת הסרטונים הראשונים הם נתנו ציון ללא ביקורת, ועבור השאר הם דנו בניקוד שלהם מול קריטריוני הרובריקה בכל פעם. ההסכמה, שנמדדה באמצעות מקדם קאפה משוקלל, עלתה מ-0.49 בעשרת הסרטונים הראשונים ל-0.82 בעשרת האחרונים (ווטארי ועמיתיו, 2022זה היה מחקר קטן של מטלת בחינה אחת, לכן התייחסו לזה כסימן לכך שמתיחות יכולה לעזור, לא כהבטחה.

גם הכשרה לבדה אינה ערובה. מחקר אקראי משנת 2014, שנערך בקרב 21 מעריכים שהעריכו 242 סטודנטים לרפואה, מצא כי מפגש הכשרה קצר במסגרת ייחוס לא שיפר באופן מדיד את הדיוק של מעריכים בודדים, למרות שמעריכים מאומנים נתנו ציון בצורה מחמירה יותר וקרוב יותר לפאנל ייחוס. המחברים הסיקו כי הערכת ביצועים היא אינדיבידואלית מאוד (וייץ ועמיתיו, 2014הקריאה המעשית היא להמשיך את הכיול על סמך דוגמאות אמיתיות, לבדוק התאמה תוך כדי ציון, ולא להניח שמפגש תדרוך אחד מספיק.

5. ניסוי ותיקון של הרובריקה

לפני שאתם משתמשים ברובריקה לקבלת החלטות חשובות, ערכו ניסוי.

• הפעל זאת עם קבוצה קטנה של לומדים ושני מעריכים או יותר.
• רשמו היכן המעריכים חלוקים בדעתם ובקשו מכל אחד להסביר את ציונם.
• בדקו שהקריטריונים מפרידים בין תשובות חזקות לתשובות חלשות. אם כל לומד מקבל ציון 2, המשימה או העוגנים קלים מדי.
• שאלו את התלמידים מה הבהירה הרובריקה ומה בלבל אותם.
• בצע עדכון, ולאחר מכן בצע פיילוט שוב ​​עם מקרה חדש.

היו כנים לגבי מה שמוצג בפיילוט. רובריקה לא מאומתת היא טיוטה עובדת. היא אינה תקן הסמכה אוניברסלי, ואין להשתמש בה לקבלת החלטות בעלות סיכון גבוה לגבי אנשים עד שאיש מקצוע בתפקיד יבחן אותה ויש לכם הוכחות שהיא עובדת עבור האוכלוסייה שלכם.

דוגמה מעשית: החלטה על הסלמה

לדוגמה. על מטפל שעושה עבודה זו לאמת את המקרה ואת קריטריוני התשובה לפני השימוש.

המקרה. לקוח מדווח על הזמנה שעוכבה ומבקש החזר כספי מלא. הסוכן יכול להציע זיכוי עד לסכום קבוע ללא אישור. סכום ההחזר גבוה מסכום זה. המנהל אינו זמין במשך שעתיים. ההערות מציגות ארבע הזמנות השנה.

מה שהלומד עושה. בחרו תגובה, הסבירו את ההחלטה, צטטו את הראיות וציינו איזה מידע או תמיכה נוספים הם יזדקקו להם.

תשובה קיבלה ציון 1 בהנמקה. "הייתי מציע את ההחזר כי הלקוח נסער." ההחלטה מפורשת, אך אין ראיות, אין אזכור של המגבלה ואין סימן למה שחסר.

תשובה קיבלה ציון 2 בהנמקה. "לא הייתי מחזיר כסף מעבר למגבלה שלי ללא אישור. ההערות מראות ארבע הזמנות השנה, כך שהלקוח הזה חשוב, אבל לא אישרתי היכן החבילה נמצאת. הייתי מציע זיכוי במסגרת המגבלה שלי עכשיו, אומר ללקוח מתי המנהל יענה ומבקש מהספק עדכון מעקב כדי שהאישור יוכל להיות מהיר."

שגיאה קריטית. הנפקת ההחזר ללא אישור נרשמת כשגיאה קריטית ללא קשר לציונים האחרים, משום שהיא חורגת מסמכות הסוכן.

שימו לב מה עשו המגישים. שני המעריכים מהפתיחה יחפשו כעת את אותם הדברים: ההחלטה, הראיות המצוטטות, אי הוודאות המוצהרת והגבול.

היכן שהעברת מידע אינטראקטיבית עוזרת

פורמטים אינטראקטיביים מסייעים בתרגול ובכיול מכיוון שכל אדם מתחייב לתשובה לפני שהוא רואה את תשובה הקבוצה. בפגישה חיה, מנחה יכול להציג תשובה לדוגמה, לבקש מכל מעריך לתת לה ציון באופן פרטי ולאחר מכן לחשוף את הפריסה לפני הדיון. ניתן להשתמש באותם מקרים בקצב אישי לצורך הכנה. AhaSlides תומך בלמידה אינטראקטיבית ובמעבר בין מסירה חיה לקצב אישי. בדקו כל פונקציית כתיבה, משוב או דיווח ספציפית שאתם מתכננים להסתמך עליה מול זרימת העבודה שלכם, והתייחסו לתכונות בינה מלאכותית, סימולציה ואינטגרציה כחיצוניות או לא מאושרות עד שתראו אותן פועלות. להדרכה בבחירה בין פורמטים, ראו מתי להשתמש בלמידה אדפטיבית, אינטראקטיבית וחיהכדי להתאים פעילויות לרמת החשיבה שברצונך להעריך, עיין במדריך שלנו ל... התאמת פעילויות למידה לטקסונומיה של בלום.

מדוד מה השתנה

החליטו מראש אילו ראיות מראות שהלומדים יכולים לבצע את המשימה. השוו ביצועים במקרה חדש שלא נראה לעין מול נתון בסיסי, ובדקו את איכות ההנמקה וכן את ההחלטה. הגדירו את מי נכלל, את המכנה ואת התזמון. אם הציונים משתפרים, בדקו מה עוד השתנה באותה תקופה, כגון כלי חדש או תמהיל עבודה שונה, לפני מתן קרדיט להכשרה.

אילוצים שעשויים להישאר

אפילו רובריקה בנויה היטב לא פותרת הכל:

• זמן שמאי. כיול ופיילוט גוזלים זמן שיש לתכנן.
• סמכות בעבודה האמיתית. לומד עשוי להסיק מסקנות טובות בתרגיל ועדיין להיעדר הסמכות לפעול כך בעבודה.
• כיסוי תיקים. מקרה אחד מראה החלטה אחת. ציון בודד אינו מתאר את שיקול דעתו של מישהו באופן כללי.
• לְהַעֲבִיר. ביצוע בסביבה בטוחה אינו זהה לביצוע בעבודה. יש לבדוק את ההעברה לאחר חשיפה מתאימה.

תכננו תיקונים נפרדים עבור אלה וצרו זאת לנותני החסות. רובריקה הופכת את ההערכה לברורה והוגנת יותר. היא לא הופכת ציון לערובה.

שאלות נפוצות

מה ההבדל בין רובריקה לרשימת בדיקה?

רשימת תיוג מתעדת האם משהו בוצע. רובריקה מתארת ​​עד כמה הוא בוצע, בכמה רמות, כך שהיא מתאימה למשימות הדורשות שיקול דעת והסבר.

כמה קריטריונים צריכים לכלול רובריקה?

מעטים, בדרך כלל שלושה עד חמישה. בחרו את אלה שתואמים את מטרת הלמידה, והשמיטו את אלה שלא ישנו את מה שתעשו עם התוצאה.

האם רובריקה יכולה להסיר חילוקי דעות בין מעריכים?

לא. זה יכול להפחית את זה, במיוחד עם עוגנים וכיול על דוגמאות אמיתיות, אבל עדיין כדאי לבדוק התאמה כשאתם מנקים ומתקנים ניסוח לא ברור.

האם עליי להשתמש ברובריקה עבור החלטות בעלות סיכון גבוה?

רק לאחר פיילוט וביקורת על ידי איש מקצוע בתפקיד. התייחסו לרובריקה חדשה כאל טיוטה עד שיהיו לכם ראיות שהיא מתאימה ללומדים ולמשימה שלכם.

איפה להתחיל

בחרו החלטה אחת שהתלמידים חייבים לקבל היטב. כתבו את הראיות שביצוע ראוי יראה, בחרו שלושה קריטריונים, ניסחו עוגן של 0 עד 2 לכל אחד מהם ורשמו את השגיאות הקריטיות. לאחר מכן, בקשו משני מעריכים לתת ציון לאותה דוגמה באופן עצמאי, ישוו את הראיות שלהם ותקנו את הניסוח לפני שאתם נותנים ציון למישהו.

כדי לראות כיצד ניתן לנהל מקרה בשידור חי עם הצוות שלכם, ולהשתמש בו שוב בקצב אישי לאחר מכן, עיינו ב-AhaSlides.