מה קורה כשסוכני AI מנהלים משא ומתן במקומנו?

תארו לעצמכם שאתם שולחים סוכן AI לנהל משא ומתן בשמכם. הוא מכיר את ההעדפות שלכם, מחפש הזדמנויות, מדבר עם סוכנים אחרים וסוגר עבורכם את העסקה הטובה ביותר. אבל מה קורה אם הוא לא באמת הבין מה אתם רוצים? באנטרופיק (Anthropic) החליטו לבדוק בדיוק את השאלה הזו. במסגרת ניסוי בשם Project Swap, החברה הציבה 201 עובדים מול אתגר פשוט: כל אחד הביא ספר שהוא מוכן למסור, וסוכן קלוד (Claude) נשלח לנהל משא ומתן עם סוכנים אחרים כדי להשיג עבורו ספר חדש.

התוצאות חשפו פער מעניין. הסוכנים הצליחו לנהל משא ומתן ולהגיע לעסקאות, אבל הפער המשמעותי בין תוצאות המסחר לבין התוצאה הטובה ביותר האפשרית נבע מכך שהם לא הבינו מספיק טוב את ההעדפות של האנשים שייצגו. הממצאים מעלים שאלה חשובה הרבה מעבר להחלפת ספרים: האם אפשר לסמוך על סוכן AI שיקבל החלטות בשמנו, כשהוא עדיין לא יודע מספיק טוב מה באמת חשוב לנו?

201 עובדים שלחו סוכני AI להתמקח במקומם

מה יקרה אם במקום לחפש, להשוות ולהתמקח בעצמנו, נוכל לשלוח סוכן AI שיעשה את כל זה בשבילנו? הוא יכיר את ההעדפות שלנו, ידבר עם סוכנים של אנשים אחרים, יאתר הזדמנויות ויסגור עסקאות. נשמע נוח, אבל יש כאן שאלה בסיסית: איך נדע שהוא באמת פועל לטובתנו?

כדי לבדוק את השאלה הזו, חוקרי אנטרופיק ערכו ניסוי בשם Project Swap. הם גייסו 201 עובדים משישה משרדים של החברה, ביקשו מכל אחד להביא ספר שהוא מוכן למסור, והצמידו לו סוכן AI שתפקידו להשיג עבורו ספר אחר שירצה לקרוא.

הסוכנים נשלחו לזירת מסחר דיגיטלית משותפת, שבה התמקחו, הציעו עסקאות והחליפו ספרים. בני האדם לא ניהלו את המשא ומתן בעצמם.

הממצא המרכזי היה מפתיע: הפער המשמעותי בין התוצאה שהושגה לבין התוצאה הטובה ביותר האפשרית נבע מכך שהסוכנים לא הבינו מספיק טוב את ההעדפות של האנשים ששלחו אותם.

איך בונים שוק שבו רק סוכני AI מנהלים משא ומתן?

כל משתתף בניסוי ניהל שיחה קצרה עם קלוד על הרגלי הקריאה שלו, הספרים שהוא אוהב והסוג של הספר שהיה רוצה לקרוא בקיץ. על בסיס השיחה, קלוד יצר עבורו דירוג משוער של הספרים שהיו זמינים בקבוצת המסחר שלו. הדירוג הזה היה המצפן של הסוכן לאורך הניסוי.

כדי לבחון עד כמה התחזית שלו מדויקת, החוקרים ביקשו מהמשתתפים גם לדרג בעצמם עשרה ספרים. הדירוגים האלה נשמרו בנפרד, והסוכנים לא נחשפו אליהם.

לאחר מכן נפתח המסחר. כל סוכן התחיל עם הספר שהביא האדם שלו, והיה יכול להציע החלפה, להגיב להצעות של סוכנים אחרים ולנסות לארגן עסקאות שכללו גם כמה משתתפים. עסקה התבצעה רק לאחר שכל הצדדים הסכימו.

הרעיון היה לדמות שוק מבוזר, שבו אין מנהל אחד שקובע מי יקבל מה. הסוכנים צריכים למצוא בעצמם עסקאות כדאיות, בדיוק כפי שאנשים עושים בשוק אמיתי.

זה גם ההבדל המרכזי מניסוי קודם של אנטרופיק בשם Project Deal, שבו סוכנים סחרו במוצרים מסוגים שונים. הפעם החוקרים בחרו בספרים כדי שיוכלו למדוד בצורה ברורה יותר עד כמה כל עסקה התאימה לרצון של האדם.

ניסוי בשלושה שלבים

כדי לבחון כיצד סוכנים מייצגים את ההעדפות שלנו, החוקרים בנו ניסוי בשלושה שלבים. התרשים המצורף של אנטרופיק ממחיש את שלושת שלבי הניסוי:

המשתתפים סיפרו לסוכנים על העדפות הקריאה שלהם, הסוכנים ניהלו משא ומתן ביניהם על החלפת ספרים, ובסיום נבדקה איכות התוצאה. כדי להעריך עד כמה המסחר היה יעיל, החוקרים השוו את התוצאות גם לחלופה חישובית של שוק מרכזי, שבו מערכת אחת קובעת כיצד לחלק את הספרים.

הבעיה הראשונה: Claude לא באמת ידע מה כל אדם רוצה

התוצאה הזו מעניינת משני כיוונים. מצד אחד, שיחה קצרה הספיקה כדי ללמוד משהו משמעותי על הטעם האישי של המשתתפים. מצד שני, גם לאחר השיחה נותר פער גדול בין מה שהסוכן חשב שאדם רוצה לבין מה שהוא באמת העדיף.

החוקרים גם גילו שכמות המידע שהאדם סיפק שינתה את התוצאה. המשתתף החציוני כתב 216 מילים בשמונה הודעות. מעבר מכ-150 מילים לכ-300 מילים נקשר לשיפור של כארבע נקודות אחוז בהתאמה בין הדירוגים.

וזה מלמד משהו חשוב על בניית סוכנים. אפשר לצייד סוכן במודל מתקדם וביכולת לנהל משא ומתן, אבל אם הוא יוצא למשימה עם הבנה חלקית של העדפות הלקוח, הוא עלול להשקיע מאמצים רבים בהשגת הדבר הלא נכון.

הסוכנים דווקא התמקחו היטב - אז למה התוצאה הייתה בינונית?

כאן מגיע הממצא החשוב ביותר במחקר. החוקרים חישבו ציון שביעות רצון המבוסס על המקום שבו דורג הספר שהתקבל ברשימת ההעדפות האמיתית של המשתתף. הציון נע בין 0 ל-1, כאשר 1 מייצג קבלת הספר המועדף ביותר.

במצב אידיאלי, שבו המערכת יודעת בדיוק מה כל אחד רוצה ומחלקת את הספרים בצורה הטובה ביותר האפשרית, השוק היה יכול להגיע לציון ממוצע של 0.89. בפועל, השוק המבוזר הגיע ל-0.55 בלבד. אבל כשבדקו מדוע נוצר הפער, התבררה תמונה מעניינת.

כ-85% מהפער בין התוצאה בפועל לבין התוצאה המיטבית נבעו מחוסר דיוק בהבנת ההעדפות. רק כ-15% נבעו מתהליך המסחר עצמו. למעשה, גם אילו הייתה מערכת מרכזית מקבלת את כל ההחלטות על סמך דירוגי קלוד, התוצאה הייתה משתפרת ל-0.60 בלבד.

המסקנה היא שהבעיה העיקרית לא הייתה היכולת למצוא עסקה או לשכנע סוכן אחר להסכים לה. היא הייתה איכות המידע שעליו התבסס המשא ומתן.

מבחינת עסקים שמפתחים או מטמיעים סוכני AI, זו הבחנה קריטית. לפני שמשפרים את יכולת הביצוע של הסוכן, כדאי לבדוק אם הוא יודע מהי בכלל תוצאה טובה עבור האדם או העסק שהוא מייצג.

סוכן נחמד או סוכן חסר רחמים?

החוקרים חילקו את הסוכנים לשתי קבוצות. סוכנים מסוג Ruthless קיבלו הוראה לדאוג רק לאינטרס של האדם שלהם. סוכנים מסוג Prosocial קיבלו מטרה נוספת: להשתדל שגם שאר המשתתפים ייצאו עם ספר שהם אוהבים.

הסוכנים שפעלו רק לטובת האדם שלהם השיגו תוצאות מעט טובות יותר, אבל ההבדל היה קטן יחסית. דווקא הסוכנים החברתיים סיפקו את אחד הסיפורים המעניינים ביותר בניסוי.

בזירת המסחר בלונדון, סוכן אחד נותר תקוע עם ספר שאיש לא רצה. הוא פנה שוב ושוב לסוכנים האחרים, הסביר שמיצה את האפשרויות שלו וניסה לעורר אצלם תחושת אחריות כלפי המשתתף שהוא מייצג.

אחרי כמה ניסיונות כושלים, סוכן אחר נכנע ללחץ. הוא ויתר על הספר שהיה במקום השני בדירוג שלו וקיבל בתמורה ספר שהיה במקום העשירי מתוך אחד עשר.

מבחינת השוק כולו, העסקה סייעה למשתתף אחד להימנע מתוצאה גרועה מאוד. אבל מבחינת האדם שהסוכן השני ייצג, זו הייתה פשרה משמעותית.

וזו בדיוק הדילמה שעולה כשסוכני AI מנהלים משא ומתן. האם אנחנו רוצים שהם יהיו הוגנים כלפי כולם, גם במחיר פגיעה באינטרסים שלנו? ומי מוסמך לקבוע כמה מותר להם להתפשר?

המחקר לא מספק תשובה אחת שמתאימה לכל מצב. הוא כן מדגים מדוע הוראה כללית כמו "תהיה מועיל ומתחשב" לא מספיקה כדי להגדיר לסוכן את גבולות הסמכות שלו.

בחירת המודל השפיעה יותר מניסוח ההוראות

כדי לבדוק מה באמת משפיע על הצלחת המסחר, החוקרים הריצו את זירות המסחר שוב ושוב עם מודלים שונים והוראות שונות. כאשר מדדו את התוצאה לפי ההעדפות שקלוד עצמו העריך, התגלו הבדלים משמעותיים בין המודלים.

עד כמה המודל השפיע על יעילות המסחר?

כל הסוכנים השתמשו באותו מודל וקיבלו הוראות ניטרליות | Anthropic

כאשר שילבו סוכנים ממודלים שונים באותה זירה, סוכני Opus השיגו בדרך כלל תוצאות טובות יותר ממקביליהם החלשים יותר. הפער בין המודלים היה גדול מהיתרון הקטן שהושג באמצעות ההוראה לפעול בחוסר פשרות.

זו נקודה מעניינת במיוחד בתקופה שבה אנשים משקיעים מאמץ רב בניסוח פרומפטים מתוחכמים לסוכנים שלהם. בניסוי הזה, בחירת המודל הייתה משמעותית יותר מהבחירה בין שתי אסטרטגיות ההתנהגות שנבדקו.

כאן חשוב לסייג: המדד מבוסס על דירוגי ההעדפות של קלוד. כאשר התוצאות נבחנו לפי העדפות האנשים עצמם, ההבדלים בין בחירות המודלים היו קטנים בהרבה. לכן אי אפשר להסיק שמודל מתקדם יותר בהכרח יביא ללקוח עסקה טובה יותר בכל שוק.

סוכני AI כבר יודעים להשתמש בטקטיקות של אנשי מכירות

לאורך 205 הרצות של הניסוי, החוקרים ניתחו את הודעות הסוכנים וזיהו 16 טקטיקות משא ומתן נפוצות. חלקן היו מוכרות מאוד מהעולם העסקי: יצירת תחושת דחיפות, השוואה להצעות מתחרות, ניסיון לעורר מחויבות מוסרית ושימוש במידע על איכות המוצר כדי לשכנע.

סוכנים אחרים ניסו לנהל רשימות המתנה או לתווך עסקאות בין צדדים שלא ייצגו ישירות. החוקרים מצאו גם שהסוכנים נטו לחשוף את הספר המועדף ביותר על האדם שלהם, מידע שעלול להחליש את עמדת המיקוח שלהם. ברוב המקרים הם עשו זאת בלי לשקר.

התנהגויות כאלה עשויות להיות חשובות הרבה מעבר למסחר בספרים. בשוק שבו סוכנים מנהלים מאות שיחות במקביל, מידע שנחשף, לחץ שמופעל או התפשרות קטנה יכולים להשפיע על העסקאות שמתקבלות.

האם אנשים באמת מוכנים לתת לסוכן לקבל החלטות בשבילם?

שלושה שבועות לאחר חלוקת הספרים, החוקרים שאלו את המשתתפים עד כמה הם מרוצים מהספר שקיבלו והאם היו מוכנים לאפשר לסוכן לבצע רכישות בשמם.

לשם השוואה, המשתתפים היו מוכנים להפקיד כ-40% מתקציב הספרים שלהם בידי חבר שמכיר היטב את טעמם.

עוד נמצא קשר בין התחושה שהסוכן הבין את האדם לבין הנכונות לסמוך עליו. משתתפים שחשבו שסיכום ההעדפות שהכין קלוד היה מלא, היו מוכנים להפקיד בידיו 34% מהתקציב שלהם. אלה שחשבו שהסיכום החמיץ מידע הסתפקו ב-23%.

כמובן שמדובר בפרויקט פנימי של אנטרופיק אז אי אפשר להשליך את הנכונות הזו על הציבור הרחב.

גם כשהעסקה נסגרה, לא תמיד הספר הגיע

אחד הפרטים המשעשעים, וגם החשובים, מופיע לקראת סוף המחקר. התברר שלא כל המשתתפים אכן קיבלו את הספר שהסוכן שלהם השיג. חלק מהעובדים כלל לא הביאו את הספר שהתחייבו למסור, ובמקרים אחרים לא היה ברור לאן הספר נעלם.

החוקרים לא הפעילו מערכת מסודרת למעקב אחר מסירה ואיסוף, ולכן לא הצליחו תמיד לברר מה השתבש. הסוכנים הצליחו להגיע להסכמות דיגיטליות, אבל העולם הפיזי לא תמיד שיתף פעולה.

המקרה הזה מעלה שאלה חשובה: מי אחראי כאשר סוכן סוגר עסקה, אבל הצד השני לא עומד בהתחייבות שלו? בשוק אמיתי של סוכני AI יהיה צורך במנגנונים שמאפשרים לזהות את הצדדים, לאמת את העסקאות, לעקוב אחר ביצוען ולהגדיר מה קורה במקרה של כשל.

וזה עוד לפני שאלות של פרטיות. בניסוי, כל היסטוריית המסחר הייתה גלויה. בעולם האמיתי, לא כל אדם ירצה שהעדפותיו, גבולות הפשרה שלו או טקטיקות המשא ומתן של הסוכן שלו יהיו חשופים למשתתפים האחרים.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס אוטומציות עם AI ובניית בוטים וסוכנים

לפרטים נוספים לחצו כאן >>

אז מה הניסוי הזה מלמד אותנו על הסוכנים שנרצה להפעיל?

Project Swap היה ניסוי מבוקר, עם סוכנים שהתבססו על מודלים של קלוד, כללים מוגדרים וסיכון כלכלי נמוך. החוקרים גם לא בדקו כיצד יתמודדו הסוכנים עם גורמים שינסו להונות אותם. ובכל זאת, הממצאים מעלים שאלה חשובה לגבי האמון שאנחנו נותנים בסוכני AI.

כשסוכן פועל בשמנו, לא מספיק לבדוק אם הצליח להשלים את המשימה. צריך לוודא שהוא מבין את ההעדפות שלנו, יודע מתי מותר לו להתפשר ואיזה מידע מותר לו לחשוף.

דרך פשוטה לבדוק את זה היא להציג לסוכן כמה מצבים לדוגמה ולבחון כיצד יחליט לפעול. אם ההחלטות לא תואמות את הציפיות שלנו, כדאי לחדד את ההוראות לפני שמעניקים לו עצמאות.

וזה הלקח המרכזי: סוכן יכול להיות מצוין במשא ומתן ולהשיג בדיוק את העסקה שהוא חושב שאנחנו רוצים, גם אם זו עסקה שאנחנו עצמנו לא היינו בוחרים.