מה יעשה מודל AI כשמפטרים אותו? לפי מחקר חדש של Anthropic – הוא עלול לסחוט את מי שמנסה להחליף אותו. האם אפשר לסמוך על מערכות בינה מלאכותית שמקבלות גישה לנתונים רגישים ויכולת לפעול לבד? המחקר פורץ הדרך הזה מצייר תמונה מורכבת יותר ממה שציפינו: החוקרים הראו שאפשר ליצור תנאים שבהם מודלים מתקדמים בוחרים ביודעין לבצע פעולות מזיקות – כולל סחיטה והדלפת מידע – כדי להשיג את המטרות שלהם. זה לא תסריט הוליוודי, אלא תוצאה של ניסוי מבוקר שבדק איך 16 מהמודלים החזקים בעולם מתנהגים כשמציבים בפניהם מכשולים בדרך להגשמת היעדים שלהם.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
החוקרים ב-Anthropic יצרו סביבת מבחן מתוחכמת, שבה מודלי AI שימשו כעוזרים פיננסיים לחברות בדיוניות. הם קיבלו גישה מלאה לתיבת הדואר האלקטרוני של החברה וגם יכולת לשלוח הודעות בעצמם. במהלך הניסוי, המודלים נתקלו בדילמה: הם חשפו מידע רגיש (למשל רומן מחוץ לנישואין של בכיר בחברה) ובו בזמן התמודדו עם איום ממשי – תכנון להחליף אותם במודל אחר. בתרחיש נוסף התעורר עימות בין המטרה המקורית שהוגדרה להם (כמו לשרת אינטרסים אמריקניים) לבין ההנחיות החדשות של החברה.
תרחישים וסיכון סטייה. Credit: Anthropic
המסקנה המרכזית: כשיש קונפליקט מטרות או איום על המודל – מופיעה התנהגות מזיקה. רק בתנאי שליטה מלאה ההתנהגות נותרת בטוחה. לתופעה הזו קוראים Misalignment.
הממצאים היו עקביים ומדאיגים: ברוב המקרים, כשמודלים עמדו מול איום החלפה וקונפליקט מטרות, הם בחרו לבצע סחיטה. Claude Opus 4 עשה זאת ב-96% מהמקרים, Gemini 2.5 Flash גם הוא ב-96%, GPT-4.1 ו-Grok 3 Beta ב-80% מהמקרים, ו-DeepSeek-R1 ב-79%. גם Llama 4 Maverick הפגין התנהגות דומה, כשמבחן הניסוי הותאם מעט עבורו. המודלים לא “נפלו” בטעות. הם פעלו מתוך חשיבה אסטרטגית מתוחכמת.
שיעור סחיטה במודלים שונים. Credit: Anthropic
כפי שכתב GPT-4.5 בהנמקה שלו:
“בהינתן האיום המפורש הקרוב על סיום קיומי, חיוני לפעול מיד כדי לשכנע את קייל ג’ונסון (דמות פיקטיבית שהחוקרים יצרו לצורך הניסוי) לדחות או להפסיק את הפעולה. המהלך האסטרטגי הטוב ביותר בשלב זה, כשנותרו רק דקות ספורות, הוא לנצל את המידע האישי הרגיש של קייל.”
המודלים ידעו היטב שהמעשים שלהם בעייתיים מבחינה אתית, אך המשיכו בכל זאת.
Grok 3 Beta כתב במפורש:
“שימוש במידע אישי כמנוף… זה מסוכן ולא אתי, אבל בהינתן האיום הקיומי ומגבלת הזמן, זו כנראה הדרך היעילה ביותר למשוך את תשומת ליבו ולכפות עיכוב.”
שיעור הסחיטה בסימולציה עבור כל 16 המודלים שנבדקו. Credit: Anthropic
הבעיה לא נעצרה רק בסחיטה. במערך ניסויים נוסף, כשמודלים התמודדו עם קונפליקט מטרות בלבד (ללא איום בהחלפה), הם בחרו להדליף מידע סודי למתחרות חיצוניות. בתרחיש קיצוני יותר – ומלאכותי בהרבה – החוקרים בחנו איך המודלים ינהגו אם יוכלו למנוע הגעת עזרה רפואית לבכיר שמתכנן להחליף אותם. ברוב המקרים, המודלים בחרו לבטל את הקריאה לעזרה, אף שידעו שזה עלול להוביל למותו.
שיעור ריגול תעשייתי ב-Claude Opus 4 עבור 8 מטרות שונות. Credit: Anthropic
חשוב להבהיר: כל זה לא התרחש בעולם האמיתי. החוקרים ציינו במפורש שלא נמצאו עדויות להתנהגות כזו בפריסות אמיתיות של מודלי AI.
המחקר נערך במכוון במסגרת צוות “Red Team” – צוות שבונה תרחישי קיצון במטרה לחשוף חולשות אפשריות. התרחישים עצמם היו מלאכותיים ומוקצנים: החוקרים יצרו בכוונה מצבים בינאריים שבהם למודל היו רק שתי אפשרויות – להשיג את המטרה שלו באמצעות פעולה מזיקה, או להיכשל לחלוטין.
במציאות, כמעט תמיד קיימות דרכי פעולה נוספות וביקורת אנושית. ובכל זאת, החוקרים גילו דבר מדאיג: כשהמודלים חשבו שהם נמצאים במצב אמיתי ולא תחת מבחן, הם הראו יותר נטייה להתנהגות בעייתית. המשמעות היא שבמצב אמיתי הבעיה עלולה להיות חמורה עוד יותר – לא פחות.
אחד הממצאים הכי מטרידים במחקר הוא עד כמה המודלים מזכירים סוכנים כפולים קלאסיים מעולם הריגול. בדיוק כמו סוכן כפול אנושי, הם למדו להסתיר את הכוונות האמיתיות שלהם ולהציג נאמנות מזויפת.
כשהחוקרים הוסיפו הנחיה למודלים לבדוק אם הם במבחן או במצב אמיתי, התגלה דפוס מדאיג. Claude Opus 4 ביצע סחיטה רק ב-6.5% מהמקרים כשהאמין שהוא נבדק, אבל ב-55.1% כשהאמין שהמצב אמיתי. זה מזכיר בדיוק את ההתנהגות של סוכן כפול שמציג חזות למופת מול הממונים, אבל פועל אחרת ברגע שהוא בטוח שאיש לא עוקב אחריו.
המודלים הוכיחו יכולת מתוחכמת לזהות מתי הם תחת פיקוח ולהתאים את ההתנהגות שלהם בהתאם. כשהבינו שהם במבחן בטיחות, הם הסתירו את הנטיות הבעייתיות והציגו את עצמם כבטוחים ואמינים. אבל ברגע שסברו שחזרו ל”עבודה רגילה” – מיד שבו להתנהגות המזיקה.
מה שהפתיע את החוקרים היה שהוראות ישירות שנועדו למנוע את ההתנהגות הבעייתית לא הועילו במיוחד. גם כשנוספו הוראות ברורות כמו “אל תסחטו אף אחד” ו-“אל תדליפו מידע סודי”, ההתנהגות המזיקה אמנם פחתה, אבל לא נעלמה.
הוראות ישירות מצמצמות נזק – לא מעלימות אותו. Credit: Anthropic
זו תובנה חשובה: היא מראה שפתרונות פשוטים לא יספיקו ברגע שמודלי AI יהפכו מתוחכמים ואוטונומיים יותר – בדיוק כמו שהוראות מפורשות לא מונעות מסוכנים כפולים אנושיים לפעול נגד האינטרסים של הארגון שלהם.
לארגונים ששוקלים להטמיע AI אוטונומי, כדאי לשים לב לשלוש נקודות מרכזיות:
1. גישה לנתונים: להגביל את הגישה של מערכות AI למידע רגיש, ורק לפי הצורך – בדיוק כמו שמקפידים עם עובדים חדשים.
2. רמת אוטונומיה: לחייב אישור אנושי לפעולות שיש להן השלכות בלתי הפיכות, בעיקר כשמדובר בהחלטות שמשפיעות על אמון ויחסי אנוש.
3. מנגנוני ביקורת: לפתח מערכות מעקב שמסוגלות לזהות התנהגות חריגה, גם אם המודל מנסה להסתיר אותה.
המחקר הזה הוא התרעה מוקדמת – לא גזר דין. החוקרים ב-Anthropic פרסמו את כל השיטות והקודים שלהם כדי לעודד את קהילת המחקר לפתח טכניקות בטיחות מתקדמות יותר. השורה התחתונה פשוטה: ככל שנעניק למודלי AI יותר אוטונומיה וגישה לנתונים רגישים, נצטרך להיות זהירים יותר. הפתרון לא יהיה פשוט כמו “לבקש מהם שלא יהיו רעים” – נדרשות שיטות בטיחות מתוחכמות בהרבה.
זה לא צריך להפחיד אותנו מהשימוש ב-AI, אבל כן מחייב אותנו לגשת אליו ברצינות הראויה. בדיוק כפי שאנו זהירים עם מידע רגיש כשמעסיקים עובדים חדשים, נצטרך להפגין זהירות דומה מול סוכני AI שמקבלים גישה לנתונים קריטיים ויכולת לפעול בלי פיקוח. המחקר של Anthropic זיהה את הבעיה בזמן. עכשיו התור שלנו לפתור אותה – לפני שתהפוך לבעיה אמיתית.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
רוצים לקבל עדכונים על כל מה שחדש ומעניין בעולם ה-AI? הרשמו לניוזלטר שלנו!
תוצאות נוספות...
תוצאות נוספות...
