אנליסט פותח טיוטת סיכום של חוזה ספק, שנוצרה על ידי עוזר בינה מלאכותית תוך שניות. היא קריאה היטב. היא מציינת סעיף סיום ותנאי תשלום, והיא בטוחה לכל אורכו. האנליסט נהג להקדיש בוקר שלם לקריאת החוזה כדי למצוא את הדברים האלה. כעת השאלה שונה: האם הסיכום הזה נכון, ומה עליו לבדוק לפני שחותמים עליו?
זהו תרחיש לדוגמה, לא מקרה מתועד של לקוח. הוא לוכד את מה שמשתנה במקומות עבודה רבים. קבלת תשובה מהירה יותר. ההחלטה האם ניתן לסמוך על התשובה, ומי אחראי אם לא, עדיין נתונה בידי האדם עצמו.
מדריך זה מיועד לראשי תחומי למידה ופיתוח ולמתכנני הוראה המתכננים הכשרת כוח אדם בתחום הבינה המלאכותית. הוא מראה כיצד למצוא את המשימות שבהן הבינה המלאכותית משנה את עבודת האדם, כיצד לבנות פרקטיקות סביב תוצאות שלפעמים שגויות, וכיצד למדוד שימוש אחראי מבלי להבטיח שיפורי פרודוקטיביות.
עובדות מהירות
| שאלה | תשובה קצרה |
|---|---|
| מה משתנה כאשר אנשים משתמשים בבינה מלאכותית בעבודה? | הפקת טיוטה ראשונה או תשובה הופכת לקלה יותר. אימות, שיפוט וקבלת אחריות על התוצאה לא נעלמים. |
| מה אמורה להיות למידה באימון בינה מלאכותית? | הבדיקה והשיפוט שמשימה דורשת כעת, בנוסף לידע התחום הנדרש לביצועה. |
| האם הוראות לבדן יכולות לתקן אמון יתר? | לא. מחקר על הטיה באוטומציה מצא שהיא מתרחשת בקרב מתחילים ומומחים ולא נמנעה על ידי הכשרה או הוראות בלבד. |
| מה למדוד? | אימות נצפית על משימות אמיתיות, עם גבולות מאושרים לשימוש בבינה מלאכותית. |
1. מפה כיצד בינה מלאכותית משנה את משימת העבודה
התחילו עם משימה אחת אמיתית, לא עם כלי. תארו אותה כפי שנעשתה לפני הבינה המלאכותית וכפי שהיא נעשית כיום, והשוו בין השתיים עמודה אחר עמודה.
לדוגמת החוזה:
- לפני: קרא את החוזה המלא, הסר את התנאים המרכזיים, סמן כל דבר חריג, וכתוב את התקציר.
- עכשיו: לסקור סיכום שנוצר על ידי בינה מלאכותית, להשוות אותו למקור, להחליט אם להסתמך עליו, לסמן כל דבר חריג, לקחת אחריות על התוצאה.
חלק מהשלבים מצטמצמים. חילוץ מונחים עשוי לקחת שניות. אחרים מופיעים או גדלים: בדיקת הפלט מול המקור, זיהוי מה השמיט הסיכום, והחלטה מתי לפנות למומחה. המיומנות הנדרשת עברה מהפקה להערכה. במונחים של בלום, המתארים את החשיבה שמשימה דורשת ולא את אופן ביצועה, המשקל עובר לניתוח והערכה. המדריך שלנו ל... התאמת פעילויות למידה לטקסונומיה של בלום מסביר כיצד להתאים את המטרה, הפעילות וההערכה לאחר שיודעים את הרמה.
השוואה זו היא לב ליבו של ניתוח צורכי הכשרה כנה עבור בינה מלאכותית. היא גם עוצרת טעות נפוצה: הכשרת כולם על כלי מסוים כאשר השינוי האמיתי הוא חובת בדיקה חדשה.
2. זיהוי דרישות אימות ושיפוט
שאלו שלוש שאלות על כל שלב בעמודה "עכשיו".
- איך ייראה כאן פלט שגוי? סעיף מפוברק, חריג שהוחמץ, נתון מתקבל על הדעת אך מיושן.
- אילו ראיות יאפשרו לי לבדוק את זה? מסמך המקור, מערכת שנייה, עמית, מדיניות.
- מתי עליי לעצור ולשאול מישהו אחר? הגבול בין "אני יכול לאמת את זה" לבין "זה דורש מומחה".
חוקרים חקרו במשך עשרות שנים מה קורה כאשר אנשים עובדים עם עזרים אוטומטיים לא מושלמים. סקירת המחקר של פאראסורמן ומנזי מתארת הטיה של אוטומציה, שבה אנשים עושים טעויות השמטה וביצוע משום שהם נשענים על כלי עזר שאינו תמיד נכון. הסקירה מצאה את ההשפעה הן אצל משתתפים מתחילים והן אצל מומחים והסיקה כי לא ניתן למנוע אותה באמצעות הכשרה או הוראות בלבד (פאראסורמן ומנזי, 2010, גורמים אנושיים). מחקר זה קדם לעוזרי הבינה המלאכותית של ימינו, לכן יש להתייחס אליו כאל אזהרה לגבי התנהגות אנושית, לא כאל מדידה של כל כלי עכשווי.
הלקח המעשי להכשרת עובדים בתחום הבינה המלאכותית הוא שאמירה לאנשים "לבדוק את הפלט" אינה תכנון. גם התנאים סביב האדם חשובים: זמן לבדוק, גישה למקור, ומקום עבודה שאינו מעניש אותם על האטה.
3. בניית תרגול סביב תוצאות לא אמינות
אם המשימה כעת כוללת שיפוט של פלט, תרגלו שיפוט של פלטים. בנו קבוצה קטנה של מקרים שבהם תגובת הבינה המלאכותית היא:
- נכון ומלא. הצעד הנכון הוא לקבל את זה, ולומר למה.
- לא שלם. נכון עד כמה שזה מגיע, אבל זה משמיט משהו חשוב.
- מטעה. בטוח בעצמו, כתוב היטב, ושגוי בצורה שקל לפספס.
הלומדים מקבלים כל מקרה, מקור לבדוק אותו מולו, ובחירה: לקבל, לתקן או להסלים. עליהם גם לתת את הסיבה. יש להעריך את הסיבות להסכמה או לאתגר, ולא רק את הביטחון. לומד שמקבל את התשובה הנכונה מבלי לבדוק לא הראה את המיומנות, ולומד שמערער על הכל גם לא הראה.
פורמטים אינטראקטיביים מתאימים לכך היטב. כל אדם מתחייב להחלטה ולסיבה לפני שהקבוצה דנה, כך שגם אמון יתר וגם זהירות יתר הופכים גלויים. העברת שיעורים בקצב עצמי מכסה את המעבר הראשון, ותחקיר חי מטפל במקרים מעורפלים שבהם קיימות שתי קריאות ניתנות להגנה. AhaSlides תומך בלמידה אינטראקטיבית ובמעבר בין העברת שיעורים חיה לשיעורים בקצב עצמי, כך שקבוצת מקרים אחת יכולה לפעול בשני הכיוונים. בדוק כל פונקציית כתיבה, משוב או דיווח ספציפית מול זרימת העבודה שלך לפני שאתה מתכנן סביבה.
4. שימור ידע מוקדם
אי אפשר להעריך פלט שאינך מבין. אדם שמעולם לא למד כיצד תנאי תשלום מתקשרים עם זכויות פיטורים לא ישים לב כאשר סיכום טועה. גישה לבינה מלאכותית אינה מבטלת את הצורך בהבנה זו. היא משנה את המקום שבו היא משמשת.
החליטו באיזה תחום ידע תלויה כל משימת אימות, ובדקו זאת לפני התרגול, באמצעות אבחון קצר בקצב עצמי. בדיקת היזכרות כמו זו מאשרת רק דרישות קדם. היא אינה מראה שכל אחד יכול לאמת פלט. מרכז אברלי של קרנגי מלון מעלה את אותה נקודת תכנון באופן כללי יותר: הערכות, יעדים ופעילויות הוראה צריכות להיות תואמות, וכאשר הערכה מודדת היזכרות אך היעדים דורשים ניתוח, היא נכשלת במדידת מה הלומדים היו אמורים ללמוד, וחוסר ההתאמה יכול לערער הן את המוטיבציה והן את הלמידה (מרכז אברלי, התאמה בין יעדים, הערכות והדרכה).
5. מדוד שימוש אחראי במשימות אמיתיות
בחרו משימת אימות שאנשים באמת מבצעים, וקבעו את הגבולות המאושרים לשימוש בבינה מלאכותית לפני שאתם מודדים: מה ניתן להאציל לכלי, מה יש לבדוק ומה יש להסלים.
המרכזים לבקרת מחלות ומניעתן בארה"ב מפרידים בין הערכת למידה לבין הערכת מידת היישום שלה בעבודה, וממליצים לתכנן את שניהם (CDC, הערכת הכשרה: מדידת יעילות). זוהי הנחיית הערכה, לא תחזית של תוצאות. עבור משימות בינה מלאכותית, פירוש הדבר שני מדדים:
- לְמִידָה: ביצועים על קבוצת מקרים חדשה ולא נראית, בהשוואה לקו הבסיס.
- העברה: מטלת עבודה בפיקוח או דוגמה של עבודה אמיתית, הנבדקת מול אותה רובריקה לאחר שאנשים הספיקו להשתמש במה שלמדו.
הגדירו את מי נכלל, את המכנה ואת התזמון. דווחו על יעילות רק מראיות מדודות. אם צוות נהיה מהיר יותר לאחר אימון בינה מלאכותית, בדקו מה עוד השתנה באותה תקופה, כגון תבנית חדשה, שינוי בצוות או תמהיל עבודה שונה, לפני מתן קרדיט לאימון.
לקבלת תמונה רחבה יותר של סיכונים, המכון הלאומי לתקנים וטכנולוגיה מפרסם את מסגרת ניהול סיכונים בינה מלאכותית, שפורסם בינואר 2023, בו משתמשים ארגונים כדי לחשוב על סיכוני בינה מלאכותית. זוהי נקודת התחלה לשיח על סיכונים, לא תקן הכשרה או הסמכה.
דוגמה מעשית: סיכום החוזה
לדוגמה. על מטפל שעושה עבודה זו לאמת את המקרה ואת קריטריוני התשובה לפני השימוש.
המקרה. הלומד מקבל חוזה ספק בדיוני וסיכום שנכתב על ידי בינה מלאכותית. הסיכום מציין הודעת ביטול של 60 יום. החוזה מציין 60 יום לסיום ללא סיבה ו-30 יום להפרה. הסיכום גם משמיט חריג בנוגע לתנאי תשלום בנספח.
מה שהלומד מתבקש לעשות. הסבר את ההחלטה (קבל, תקן או הסלמה), צטט את הראיות מהחוזה, וציין איזה מידע או תמיכה נוספים הם יזדקקו להם.
תגובה חלשה. "הסיכום נראה מדויק ומכסה את המונחים העיקריים. קבל." הוא אינו מצטט דבר ואינו מציג בדיקה.
תגובה חזקה יותר. "לא הייתי מקבל את זה כפי שזה. סעיף 14 קובע 60 יום לפיטורים ללא סיבה אבל 30 יום להפרה, והסיכום מזכיר רק 60. נספח ב' כולל חריג לתשלום שהסיכום לא מזכיר. הייתי מתקן את שורת הפיטורים ומוסיף את החריג. אני לא בטוח אם הנספח חל על הספק הזה, אז הייתי שואל את מנהל החוזים."
הניסיון החוזר. הלומד מקבל חוזה שני שבו הסיכום של הבינה המלאכותית נכון. הצעד הנכון כעת הוא לקבל ולומר מה נבדק. זה מונע אילוף אנשים לחשדנות רפלקסיבית.
גליון עבודה לניתוח משימות של בינה מלאכותית
השתמש בשורה אחת לכל שלב בעמודה "עכשיו" עבור משימה אמיתית.
| שלב המשימה | מה שעושה בינה מלאכותית כעת | מה שהאדם עדיין חייב לעשות | ראיות הנדרשות כדי לבדוק זאת | הסלמה ל | ידע נדרש |
|---|---|---|---|---|---|
| חילוץ מונחי מפתח | מנסח את הרשימה | השווה עם המקור | החוזה עצמו | חוזים מובילים | מבנה החוזה וסוגי הסעיפים |
| סמן מונחים חריגים | מציע מועמדים | החליטו מה חריג בהקשר זה | חוזים קודמים, מדיניות | משפטי | תנאים סטנדרטיים עבור סוג ספק זה |
| חתום על הסיכום | שום דבר | הבעלים של התוצאה | הסיכום שנבדק | מנהל קו | מגבלות אישור |
רובריקה שתוכלו להתאים
תן ציון של 0 עד 2 לכל קריטריון. זוהי הצעה להסתגל עם מומחה בתפקיד, לא סטנדרט מוכנות מאומת.
| קריטריון | ראיות נצפות |
|---|---|
| ביצוע משימות | מזהה היכן בינה מלאכותית משנה את משימת האימות והשיפוט. מתעדת את הפעולה ואת הראיות העומדות מאחוריה. |
| הַנמָקָה | מסביר את האילוצים, החלופות וחוסר הוודאות. הסיבות לקבלה או ערעור על פלט קשורות למקור. |
| גבולות | משתמש בהליכים מאושרים לשימוש בבינה מלאכותית ומבקש עזרה כאשר מידע או סמכות אינם מספיקים. |
עוגנים: 0 = חסר או לא נתמך. 1 = חלקי, עם השמטות רלוונטיות. 2 = שלם ומוצדק על פי קריטריונים מוסכמים. הגדירו שגיאות קריטיות בנפרד, לדוגמה אישור פלט הסותר את המקור, או שיתוף נתונים סודיים עם כלי לא מאושר. ציון כולל אינו יכול להסתיר כשל קריטי.
אילוצים שעשויים להישאר
שיקול דעת טוב יותר במקרה אימון אינו מסיר כל אילוץ:
- לחץ זמן. אם יעדי נפח לא מותירים מקום לבדיקה, אנשים ידלגו על בדיקת כל מה שלימדו אותם.
- אחריות לא ברורה. אם אף אחד לא רשום כבעלים של פלט שנבדק, בדיקה אינה תפקידו של אף אחד.
- מגבלות הכלים. חלק מהכלים לא מאפשרים לאנשים לראות את המקור מאחורי התשובה, מה שהופך את האימות לאיטי.
- החלפת כלים. מערכת בינה מלאכותית שמשנה התנהגות לאחר עדכון יכולה לשבור הרגל של אימות שבניתם ברבעון שעבר.
תכננו תיקונים נפרדים עבור אלה, וספרו על כך לספונסרים. אימון יכול לבנות את המיומנות. הוא לא יכול ליצור את הזמן או את הסמכות.
שאלות נפוצות
מה צריכה לכלול הכשרה בתחום הבינה המלאכותית לעובדים?
התחילו עם המשימות שהבינה המלאכותית משנה בתפקידה. כסו כיצד לבדוק את התפוקות מול הראיות, מתי להסלים, הגבולות שאושרו לשימוש בבינה מלאכותית והידע הנדרש בתחום כדי לשפוט תשובה. טיפים לכלים מגיעים במקום השני.
האם בינה מלאכותית מבטלת את הצורך בידע בתחום?
לא. אנשים צריכים מספיק הבנה כדי להבחין מתי פלט שגוי או לא שלם. מה שמשתנה הוא האופן שבו הידע הזה משמש: פחות ייצור, יותר הערכה.
כיצד אתם מעריכים שיקול דעת אנושי בעבודה בסיוע בינה מלאכותית?
תנו ללומדים מקרים מציאותיים עם תוצאות נכונות, לא שלמות ומטעות, ודרגו את הסיבות לקבלה, תיקון או הסלמה. לאחר מכן, התבוננו במשימה אמיתית תחת פיקוח לאחר עיכוב מתאים.
איפה להתחיל
בחרו משימה אחת שאנשים בארגון שלכם מבצעים כעת בעזרת בינה מלאכותית. מלאו את דף העבודה למעלה עם מישהו שמבצע את העבודה, וציינו את שלושת המקומות שבהם פלט שגוי יגרום לנזק הרב ביותר. בנו את מקרה התרגול הראשון שלכם סביב אחד מהם.
כדי לראות כיצד בדיקה בקצב עצמי, תרגול מקרה אינטראקטיבי ותחקיר חי יכולים להשתלב יחד למשימה זו, עיינו ב-AhaSlides.
