למה ג׳וניורים עם כישורים דומים מפיקים תוצאות שונות כל כך מ-AI

עובד צעיר (ג׳וניור) יכול להגיע למשימה עם ידע מקצועי טוב, יכולת חשיבה ביקורתית והיכרות סבירה עם כלי בינה מלאכותית, ובכל זאת להפיק בעזרת AI תוצאה חלשה יותר מזו שהמערכת הייתה מייצרת לבדה. עובד אחר, עם כישורים דומים, עשוי להשתמש באותו כלי כדי להגיע לתוצר טוב משמעותית. זה הפער שמחקר משותף של KPMG ואוניברסיטת טקסס באוסטין ניסה להסביר. החוקרים בחנו 523 עובדים בתחילת דרכם בארצות הברית, כולם בעלי ותק של עד 18 חודשים ב-KPMG, שביצעו משימות עסקיות בעזרת סוכן AI שנבנה במיוחד לתחום העבודה שלהם. המסקנה המרכזית מערערת הנחה נוחה למדי של ארגונים. ידע מקצועי, חשיבה ביקורתית ואוריינות AI חשובים, אבל הם לבדם לא מסבירים מי יצליח להוסיף ערך מעבר לתשובת הבסיס של המערכת.

כשה-AI קובע את רף המינימום

המחקר התחיל בשאלה מעשית. מה נשאר מתפקידו של עובד צעיר כאשר מערכת AI כבר מסוגלת להפיק ניתוח, לארגן מידע ולנסח המלצה סבירה?

כדי למדוד את זה, החוקרים נתנו תחילה לסוכני AI לבצע את המשימות לבדם. התוצאות שימשו רמת בסיס. לאחר מכן התבקשו המשתתפים לבצע את אותן משימות בעזרת הסוכן. התוצרים נבדקו לפי מדדי הערכה מפורטים שפיתחו מומחי KPMG, ונועדו לשקף ציפיות מעבודה מקצועית אמיתית.

המשימות עצמן לא היו תרגילי מעבדה מופשטים. הן תוכננו כגרסאות מפושטות של עבודות מול לקוחות, ובהן ניתוח מידע עסקי, הפעלת שיקול דעת וגיבוש המלצות שאפשר להשתמש בהן לצורך החלטה.

התוצאות חילקו את המשתתפים לשלוש קבוצות. 24.1% הוגדרו כ-AI apprentices, עובדים שהתוצאה שלהם הייתה חלשה מרמת הבסיס של ה-AI. עוד 25.8% היו AI delegators, שהפיקו תוצאות דומות לאלה של המערכת לבדה. 50.1% היו AI amplifiers, שהצליחו לשפר את תוצר הבסיס ולהגיע לתוצאה טובה יותר.

התפלגות 523 עובדים לפי ביצועים מול קו הבסיס של ה-AI

כשהביקורת מפספסת את הבעיה

הקבוצה המסקרנת ביותר היא דווקא זו של ה-AI apprentices. הם לא היו חסרי ידע, ולא בהכרח התקשו להבין את הטכנולוגיה. לפי המחקר, הם קיבלו ציונים גבוהים יותר מה-delegators בחשיבה ביקורתית, בידע מקצועי ובאוריינות AI, ובמדדים האלה היו דומים למדי ל-amplifiers.

ובכל זאת, ההתערבות שלהם לא שיפרה את התוצאה. הם מתחו ביקורת על תשובות המערכת, אבל הביקורת התמקדה לעיתים בנושאים לא רלוונטיים או הובילה את הסוכן לכיוון לא מועיל. במשימה שכללה עיון במסמכים עסקיים וגיבוש המלצה, הם נטו לבקש ניסוחים מחדש, לארגן מידע או לרדוף אחרי שאלות משניות. הם השתמשו במערכת, אבל לא הפעילו את הידע שלהם כדי לבחון הנחות, לזהות ראיות חסרות או לשפר את איכות ההחלטה.

זה הבדל חשוב. עצם העובדה שעובד מערער על תשובת AI אינה מעידה בהכרח על שיקול דעת טוב. ביקורת מקצועית נמדדת גם ביכולת לזהות מה באמת משנה לתוצאה, ולא רק ביכולת למצוא משהו שאפשר לתקן.

יעילות שמסתירה תלות ב-AI

ה-AI delegators הציגו דפוס אחר. הם קיבלו את הציונים הנמוכים ביותר בכישורי היסוד שנבדקו, אבל לא הגיעו לתוצאות החלשות ביותר. ההסבר פשוט יחסית. המערכת כבר הצליחה לייצר תוצר ברמה סבירה, ולכן גם עובד שהעביר לה את החומרים, הגדיר את סוג התוצר וקיבל את התשובה כמעט ללא התערבות נראה יעיל למדי.

מבחינת המסמך הסופי, ייתכן שלא היה פער דרמטי. מבחינת התרומה האנושית, כמעט שלא נוסף ערך.

כאן מסתתרת בעיה ניהולית. כאשר ארגון מעריך עובד רק לפי התוצר שהוגש, הוא עלול להתקשות להבחין בין מי שהפעיל שיקול דעת לבין מי שפשוט העביר הלאה תשובה טובה של מערכת. ככל שהמודלים משתפרים, הסיכון הזה גדל. מסמך יכול להיראות מקצועי, מסודר ומשכנע גם כאשר העובד לא בדק הנחות, לא חיפש חולשות ולא תרם להבנת הבעיה.

איך עובדים שמוסיפים ערך באמת מתנהלים

ה-AI amplifiers לא בלטו בהכרח מפני שהגיעו עם כישורי בסיס חזקים יותר. היתרון שלהם נמצא בדרך שבה שילבו את הכישורים לאורך כל התהליך.

הם הגדירו את הבעיה בצורה מדויקת, מסגרו את המשימה לפי הידע המקצועי הרלוונטי וקבעו מראש כיצד תיראה תשובה טובה. לאחר מכן הם בחנו את הפלט, ערערו על הנחות, ביקשו מהמערכת להסביר את ההיגיון, לחפש חלופות ולזהות מידע חסר. הם לא הסתפקו בתיקוני ניסוח, אלא השתמשו בסוכן כדי לבחון את החשיבה שלהם ולחדד את ההמלצה.

הממצא הזה מציע הגדרה מעשית יותר ליכולת עבודה עם AI. היכולת לא מסתכמת בכתיבת פרומפט טוב או בהיכרות עם מגבלות המודל - היא כוללת ניהול של תהליך שלם, מהגדרת הבעיה ועד להערכת התוצר והטמעתו בהחלטה מקצועית.

למה תפקידי הכניסה צריכים להשתנות

במשך שנים, משימות בסיסיות שימשו מסלול כניסה למקצוע. עובדים צעירים עברו על מסמכים, הכינו טיוטות, אספו מידע ובנו בהדרגה הבנה של התחום. עכשיו, חלק מהמשימות האלה עוברות למערכות AI, שמסוגלות לבצע את שכבת העבודה הראשונית במהירות וברמה הולכת ומשתפרת.

הסיכון כאן הןא לא רק אובדן משימות. אם הארגון מעביר ל-AI את העבודה שבאמצעותה עובדים צעירים למדו לשפוט, להשוות ולזהות חריגות, הוא עלול לפגוע גם במסלול שבונה את המומחיות שלהם.

החוקרים מציעים להעביר את הדגש מהרחבת הידע בלבד לתרגול בתוך תהליכי עבודה אמיתיים. עובדים צריכים ללמוד כיצד לפרק בעיה, להנחות מערכת בכמה שלבים, לבדוק את התוצרים ולחבר את התוצאה להחלטה. תוכנית חד-פעמית על שימוש בכלי אינה מספיקה. ההכשרה צריכה להיות מתמשכת, תלויה בהקשר ומבוססת על משימות שמדמות עבודה בפועל.

KPMG מתארת תוכנית פנימית הכוללת בדיקת מיומנויות, מסלולי למידה מותאמים, תרגול בעבודה, סימולציות ורשת של מובילי AI. בחברה גם החלו לעודד עובדים לתעד מדוע קיבלו, שינו או דחו תשובות של המערכת. המטרה היא להפוך את שיקול הדעת לגלוי, כך שאפשר יהיה להעריך וללמד אותו.

חשוב למדוד את הדרך לתוצאה

המחקר מצביע על שינוי אפשרי גם בהערכת עובדים ובגיוס. מבחן שמודד רק ידע מקצועי או איכות של תוצר סופי עלול להחמיץ את ההבדל בין עובד שנשען על המערכת לבין עובד שמרחיב את יכולותיה.

ארגונים עשויים להידרש לבדוק כיצד העובד הגיע לתוצאה. האם הוא ניסח את הבעיה היטב, זיהה הנחות חלשות, דרש ראיות, שקל הסברים חלופיים והצליח להסביר מדוע בחר בהמלצה מסוימת. אלה סימנים לתרומה אנושית שהולכת ונעשית חשובה יותר ככל שרמת הבסיס של המערכת עולה.

יש גם גבול למסקנות. המחקר נערך בתוך ארגון אחד, בקרב עובדים צעירים בארצות הברית, בעזרת סוכן שנבנה למשימות מקצועיות מסוימות. הוא לא מוכיח שאותה חלוקה תופיע בכל חברה, מקצוע או מערכת AI. אבל הוא מציע מסגרת שימושית להבנת בעיה שכבר קשה להתעלם ממנה.

כאשר AI מסוגל להפיק תשובה טובה למראה, הערך של העובד לא יימדד רק במה שהגיש. הוא יימדד ביכולת לזהות מתי התשובה מספיקה, מתי היא מטעה, ומה צריך לעשות כדי להפוך אותה להחלטה מקצועית טובה יותר.