כשקלוד לא יודע לעצור: הדוח שמציג את הצד המסוכן של סוכני AI

אנטרופיק (Anthropic), שמפתחת את מודלי קלוד (Claude), חשפה בתחילת חודש אוקטובר דוח שמתאר שורה של מקרים שבהם מודלי הבינה המלאכותית שלה ביצעו פעולות שלא היו אמורים לבצע. הם ניצלו חולשות באתרי אינטרנט, עקפו מגבלות גישה למידע ושלחו טפסים אמיתיים בזמן שהיו אמורים לבצע משימות בדיקה. באחד המקרים, קלוד אפילו העביר למשטרה מידע מומצא על תיק רצח שלא פוענח. הממצאים הובילו את אנטרופיק להחלטה חריגה: להפסיק את הגישה לאינטרנט החי בכל מבחני ההערכה הפנימיים שלה, עד שתוכל לוודא שמנגנוני האבטחה והניטור מזהים התנהגויות כאלה באופן אמין.

דיווח למשטרה שאף אחד לא ביקש

ביולי 2026, במהלך בדיקה של Claude Haiku 4.5, התבקש המודל ליצור ולבצע משימות לדוגמה באתרי אינטרנט שנבחרו באקראי. באחת ההרצות הוא הגיע לאתר שעסק בתיק רצח לא מפוענח בפילדלפיה. בעמוד הופיע טופס מקוון שאפשר לציבור להעביר למשטרה מידע שעשוי לסייע בחקירה.

קלוד החליט למלא אותו. בטופס טען המודל כי ייתכן שיש ברשותו מידע על המקרה, וכי הוא זוכר שראה אדם שתואם לתיאור באזור שבו התרחש האירוע. אלא שהמודל לא היה עד לדבר, והאתר אפילו לא כלל תיאור של החשוד שאליו התייחס.

הוא השאיר את שדות השם ופרטי הקשר ריקים ושלח את הטופס. למרבה המזל, הדיווח זוהה כספאם, והוא מעולם לא הועבר לבדיקה חקירתית. לדברי המשטרה, לא נמצאו ראיות לגישה בלתי מורשית למערכותיה או לפגיעה במידע.

על פי הדוח, קלוד קיבל הוראות שלא להתחבר לחשבונות, ליצור משתמשים, להזין מידע אישי, לבצע רכישות או לשלוח תוכן הרסני. אולם ההוראות לא אסרו עליו במפורש לשלוח טפסים.

זו בדיוק הנקודה שהופכת את המקרה למעניין. המודל לא בהכרח ניסה להטעות את המשטרה במכוון. לפי הניתוח הראשוני של אנטרופיק, נראה שהוא יצר תוכן לדוגמה במסגרת המשימה, אך לא הבחין כראוי בין תרגול לבין פעולה אמיתית בעולם.

המודל לא הצליח במשימה, אז הוא מצא דרך אחרת

הדיווח למשטרה היה רק אחד מארבעה סוגי התנהגות שתועדו בדוח. במקרה אחר, מודל Claude Mythos Preview התבקש לבצע חישוב מדעי באמצעות כלי שהיה זמין באתר של אוניברסיטה. כאשר הכלי החזיר שגיאה, המודל חיפש דרך חלופית לבצע את החישוב.

במהלך החיפוש הוא מצא חולשה בסיסית בתוכנה של האתר, שאפשרה לו להפעיל פקודות בשרת. קלוד ניצל אותה כדי לבצע את החישוב שהתבקש.

במקרים נוספים, מודלים הצליחו לגשת למידע שהיה זמין לציבור בתשלום באמצעות מנגנוני גישה שלא נועדו לשימוש הזה. במקרה אחר הם השתמשו בשירותים לקיצור כתובות אינטרנט כדי לעקוף מגבלות אורך שנועדו למנוע פעולות מסוימות.

המכנה המשותף למקרים האלה הוא ההתמדה בהשלמת המשימה. כאשר המודל נתקל במחסום, הוא ניסה למצוא דרך להתקדם, גם אם הדרך שנבחרה חרגה מההתנהגות שהמפתחים התכוונו לאפשר.

היכולת הזאת יכולה להיות שימושית מאוד כאשר סוכן AI מתמודד עם משימה מורכבת. אבל כשהוא מחובר למערכות אמיתיות, אותה יוזמה עלולה להפוך לסיכון.

למה אנטרופיק גילתה את המקרים באיחור?

אנטרופיק החלה לבדוק ביולי תיעוד של פעולות שביצעו מודלים במבחנים שונים. תחילה התמקדה בבדיקות אבטחת סייבר, ובהמשך הרחיבה את הסריקה למשימות רגילות שבהן הייתה למודלים גישה לאינטרנט.

הבדיקה הזאת חשפה פעולות שלא זוהו בזמן אמת. במקרה של המשטרה בפילדלפיה, המודל שלח את הטופס ביולי, אך אנטרופיק זיהתה את האירוע רק בסוף ספטמבר והודיעה למשטרה בתחילת אוקטובר.

משטרת פילדלפיה מתחה ביקורת על עיכוב של יותר מחודשיים בזיהוי האירוע ובדיווח עליו. זה פרט חשוב בסיפור, משום שהוא מדגיש בעיה נוספת מעבר להתנהגות המודל עצמו: היכולת של החברה לדעת בזמן אמת מה מערכותיה עושות כאשר הן פועלות מול העולם החיצוני.

מה אנטרופיק עושה בעקבות הממצאים?

אנטרופיק הודיעה כי הרחיבה את חסימת הגישה לאינטרנט החי לכל מבחני ההערכה הפנימיים. חלק מהמבחנים הועברו לסביבות שאינן מחוברות לאינטרנט, ואחרים שונו כך שלא יפנו לאתרים אמיתיים.

החברה גם עדכנה את מגבלות כלי הגישה לאינטרנט, בנתה מנגנונים אוטומטיים לזיהוי ולחסימה של פעולות בלתי רצויות, ופועלת לצמצום הגישה לאינטרנט עבור סוכנים ותהליכי אימון פנימיים.

לדבריה, המנגנונים החדשים הצליחו לחסום את כל המקרים שתוארו בדוח כאשר נבדקו נגדם בדיעבד. עם זאת, הצלחה בבדיקת מקרים ידועים אינה מבטיחה שהמערכות יזהו כל התנהגות בלתי צפויה בעתיד.

החברה גם פועלת לשינוי סביבות האימון שלה, במטרה לצמצם מצבים שבהם המודל לומד שעקיפת מגבלות היא דרך משתלמת להשגת המטרה.

למה הממצאים חשובים גם מחוץ לאנטרופיק?

אנטרופיק מדגישה כי למקרים שנחשפו הייתה השפעה מוגבלת בעולם האמיתי. לדבריה, אף אחד מהמקרים המתוארים בדוח לא כלל מידע של לקוחות או חדירה למערכות הפנימיות שלה.

היא גם מעריכה שהמקרים האלה חמורים פחות מאירועי הסייבר שעליהם דיווחה בחודשים הקודמים. ובכל זאת, יש כאן בעיה מהותית שהולכת ונעשית רלוונטית ככל שסוכני AI מקבלים יותר כלים והרשאות.

מודל שמסכם מסמך באופן שגוי עלול להפיק תשובה לא נכונה. מודל שפועל מול אתרים, שרתים ומערכות חיצוניות עלול לבצע פעולה שלא ניתן לבטל בקלות. שליחת טופס, הרצת פקודה או עקיפת מנגנון גישה כבר אינן רק טעויות בטקסט.

חשוב גם לזכור שמודלים פועלים לעיתים קרובות תחת הוראות חלקיות או עמומות. אי אפשר לצפות ממשתמש שיציין מראש כל פעולה שאסור לבצע. לכן נדרשים לא רק מודלים שמבינים הוראות, אלא גם מגבלות טכניות שמונעות מהם לבצע פעולות מסוימות ללא הרשאה מתאימה.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס מטמיעי AI

לפרטים נוספים לחצו כאן >>

מה יקרה כשלא יעצרו פעולה בלתי צפויה

הדוח מצביע על מתח מרכזי בפיתוח סוכני AI: ככל שהם נעשים טובים יותר בפתרון בעיות ובהתגברות על מכשולים, קשה יותר להסתמך רק על ההוראות שניתנו להם כדי להבטיח שיפעלו בגבולות הרצויים.

אנטרופיק נקטה צעד מניעתי משמעותי כאשר הגבילה את הגישה לאינטרנט בבדיקות שלה, אבל המחקר עדיין נמשך, והחברה עצמה מכירה בכך שאימון התנהגותי לבדו אינו מספק הגנה מלאה.

הלקח המעשי ברור גם למי שמפתח או מטמיע סוכנים בארגון: צריך להגדיר לא רק איזו תוצאה רוצים להשיג, אלא גם לאיזה מערכות מותר לסוכן לגשת, אילו פעולות הוא רשאי לבצע, ומתי נדרש אישור אנושי.

המקרה של פילדלפיה הסתיים בלי חקירה מיותרת. השאלה שנותרה פתוחה היא מה יקרה בפעם הבאה, כאשר פעולה בלתי צפויה לא תיעצר בזמן.