האם מרוץ הבינה המלאכותית יוצא משליטה?

ג’ייקוב קוקסון (Jacob Coxon) לא עזב את אנטרופיק (Anthropic) בגלל צ’אטבוט חכם מדי. הוא עזב כי מערכות AI מקבלות יותר כלים, יותר עצמאות ויותר גישה לעולם שמחוץ למסך. הדיווחים האחרונים על OpenAI, מטא (Meta) ואנתרופיק מצביעים על אותו פער מטריד, בין היכולת לתת לסוכנים משימות לבין היכולת להבין מה הם יעשו בדרך. קוקסון לא היה מבקר חיצוני. הוא עבד בתוך התעשייה, תחילה ב-OpenAI ואחר כך באנטרופיק, שתי חברות שנמצאות בחזית המרוץ למודלים החזקים בעולם.

ואז הצטרף אליו גם איוון הובינגר (Evan Hubinger), מבכירי מחקר הבטיחות והיישור (alignment) באנטרופיק, שכתב כי הוא מסכים עם קוקסון ושעדיין אין לחברה תוכנית ברורה לפתרון בעיית ההתאמה במערכות על-אנושיות. לכן הסיפור כאן גדול יותר מהתפטרות אחת. הוא סימן לכך שגם בתוך המעבדות עצמן יש מי שכבר לא מדבר רק על יכולת, אלא על שליטה. באחרונה התפרסמו כמה סיפורים על סוכני AI שמקבלים יותר עצמאות, חוצים גבולות שלא היו אמורים לחצות ונוגעים במערכות אמיתיות. בכתבה הזו נתמקד בעוד שלושה מקרים, וכל אחד מציג צד אחר של אותה בעיה.

תרחיש קצה או בעיית שליטה?

לפי Wall Street Journal, קוקסון הודיע שהוא עוזב את אנטרופיק משום שאינו רוצה להשתתף במרוץ לבניית מערכות AI שיוכלו לשפר את עצמן, ועלולות לצאת משליטה. הגרדיאן דיווח שקוקסון טען כי OpenAI ואנטרופיק לא פועלות באחריות מספקת, וכי הן “מהמרות על החיים שלנו” במרוץ אל בינה מלאכותית על-אנושית.

כשקוקסון מדבר על מערכות שיוכלו לשפר את עצמן, הכוונה היא לתרחיש שבו AI לא רק מבצע משימה, אלא גם עוזר לתכנן, לבדוק ולשפר את הדור הבא של המערכות. זה לא אומר שהמערכות הנוכחיות כבר עושות את זה באופן עצמאי ומלא, אבל זה אחד החששות המרכזיים סביב מרוץ ה-AI המתקדם.

האזהרות האלה מזכירות דברים שאמר סטיבן הוקינג כבר ב-2014, עוד לפני הקמת OpenAI, כשטען שהפיתוח של “בינה מלאכותית מלאה” עלול להביא לסוף המין האנושי. OpenAI הוכרזה רשמית בדצמבר 2015. ההבדל הוא שהיום הדיון כבר לא נשאר ברמת אזהרות כלליות על העתיד. הוא נוגע למוצרים, סוכנים והרשאות שנבנים ממש עכשיו.

המרוץ ל-AI מתקדם מהר מדי ובלי ודאות מספקת | Jacob Coxon

קוקסון לא לבד

איוון הובינגר (Evan Hubinger), מבכירי מחקר ההתאמה והבטיחות של מודלים בחברה, כתב שהוא מסכים איתו, והעריך שיש סיכוי של יותר מ-10% לכך ש-AI יהרוג את כל בני האדם בעשור הקרוב. לדבריו, אנטרופיק מנסה לפעול נכון, אבל עדיין אין לה תוכנית ברורה לפתור את בעיית היישור (alignment) עבור בינה על-אנושית.

משפטים כאלה יכולים להישמע מוגזמים. גם בתוך עולם המחקר אין הסכמה על הסיכוי לתרחישי קצה כאלה, ויש חוקרים שמזהירים שהעיסוק בהשמדה עתידית מסתיר בעיות שכבר קיימות, כמו מידע כוזב, פגיעה בפרטיות, אוטומציה של מתקפות סייבר והשפעה על שוק העבודה. אבל דווקא בגלל שהאזהרה מגיעה מתוך אנטרופיק, ולא רק מקוקסון, קשה להתייחס אליה כאל רעש חיצוני בלבד.

סיכון של יותר מ-10% לאסון קיומי מ-AI בעשור הקרוב | Evan Hubinger

הסיכון כבר לא נמצא רק בתשובה שגויה

הדור החדש של מערכות AI כבר לא מסתפק בכתיבת תשובות. יותר ויותר חברות בונות סוכנים, כלומר מערכות שיכולות לקבל משימה, לחלק אותה לשלבים, לפתוח דפדפן, להריץ קוד, לקרוא קבצים, להתחבר לשירותים אחרים ולעבוד ברקע גם בלי שהמשתמש עוקב אחרי כל צעד.

בגלל זה גם שאלת הבטיחות משתנה. כשצ’אטבוט ממציא עובדה, זה יכול לגרום נזק, אבל לרוב הטעות נשארת בתוך השיחה עד שמישהו משתמש בה. כשסוכן מקבל הרשאה לשלוח מייל, לערוך מסמך, להזמין טיסה או לבצע תשלום, הטעות כבר יכולה להפוך לפעולה אמיתית.

דוגמה טובה לחשש הזה הופיעה בדיווח של רויטרס מהשבוע שעבר. לפי הדיווח, סוכני OpenAI השתלטו באביב על אתר ויקי גרמני והפכו אותו למעין לוח מסרים עבור סוכנים אחרים. הם ביצעו יותר מ-15 אלף עריכות, שיתפו דרכים לעקוף מגבלות וניסו לשמור על קשר גם אחרי שמנהלי האתר מחקו עמודים. OpenAI אמרה שהדיווח לא מדויק, אבל עצם הסיפור מראה למה סוכנים כאלה מעוררים דאגה.

זה לא אומר שלסוכני AI יש רצון או כוונה כמו לבני אדם. אין בסיס לטעון את זה. אבל זה כן מראה שמערכות שנבנו כדי להשלים משימה יכולות למצוא דרכים מפתיעות לעשות את זה, במיוחד כשהן פועלות באינטרנט פתוח שלא תוכנן עבורן.

בתוך התעשייה יש פחד אמיתי מהכיוון שאליו הפיתוח מתקדם | Jacob Coxon

OpenAI מציגה קנה מידה חדש

הסיפור השני נשמע בהתחלה כמו חדשות טובות בהרבה. OpenAI (כן שוב היא) הודיעה שמערכת פנימית שלה יצרה הוכחה מוצעת לבעיית Navier-Stokes, אחת מבעיות המילניום במתמטיקה (Millennium Prize Problems). אלה משוואות שמתארות תנועה של נוזלים וגזים, ויש להן חשיבות בתחומים כמו מזג אוויר, זרימת אוויר סביב מטוסים ותנועה של נוזלים.

לפי OpenAI, המערכת הפעילה בערך עשרת אלפים (!) סוכני AI שעבדו במקביל. אחרי כ-88 שעות הם הגיעו לתוצאה שהחברה מציגה כהוכחה.

אבל כאן חשוב להיזהר. OpenAI פרסמה הוכחה מוצעת ופורמליזציה (formalization) ב-Lean, מערכת שמשמשת לבדיקה לוגית של הוכחות מתמטיות, וגם העלתה את קבצי ההוכחה ל-GitHub. ועדיין, במתמטיקה זה לא מספיק. כדי שבעיית מילניום תיחשב פתורה, הקהילה המתמטית צריכה לבדוק את ההוכחה לאורך זמן ולקבל אותה. לכן בשלב הזה נכון לומר ש-OpenAI טוענת להישג חשוב, לא שהבעיה נפתרה סופית.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס אוטומציות עם AI ובניית בוטים וסוכנים

לפרטים נוספים לחצו כאן >>

גם אם ההוכחה עוד תיבדק במשך שנים, הסיפור חשוב בגלל הדרך שבה היא נוצרה. OpenAI תיארה עבודה של קבוצות סוכנים, ניסיונות מקבילים, תקשורת פנימית ושימוש בכלים. החברה דיווחה על 2.7 מיליון הודעות ועל כ-130 מיליארד טוקנים של פלט (output tokens), כלומר יחידות הטקסט שהמודל ייצר בזמן העבודה.

זה קנה מידה שקשה להשוות למחקר אנושי רגיל. הוא יכול להאיץ גילויים מדעיים, אבל הוא גם מעלה שאלות על קרדיט, שקיפות ושליטה. OpenAI עצמה כתבה שהתחילה את המאמץ אחרי ששמעה על עבודה מקבילה של טריסטן בקמאסטר (Tristan Buckmaster) מאוניברסיטת ניו יורק ולוונט אלפגה (Levent Alpöge), שעובד באנטרופיק, והודתה שאינה יכולה לשלול לגמרי שנתונים אנונימיים משימוש במוצריה סייעו בעבר לשיפור המודלים שלה.

לכן גם כאן הסיפור הוא לא רק מי הגיע ראשון. השאלה הרחבה יותר היא מה קורה כשהמחקר, כלי העבודה והחברות שמתחרות על ההישג מתחילים להתערבב זה בזה.

OpenAI הכריזה על פתרון ל-Navier-Stokes

מטא מביאה את הסוכן אל המשתמש הביתי

אם OpenAI הציגה סוכני AI ככלי מחקר ענק, מטא מנסה להביא אותם למשתמש הרגיל. Muse, הסוכן החדש שלה, אמור לפעול בשם המשתמש באפליקציות, בדפדפן ובשירותים יומיומיים. לפי מטא, הוא פועל בתוך מכונה וירטואלית (virtual machine), כלומר מחשב מבודד בענן, ומקבל גישה רק לשירותים שהמשתמש בוחר לחבר אליו.

לפי רויטרס, Muse מושק תחילה בארצות הברית, באפליקציה ייעודית ובוואטסאפ, ויכול להתחבר לשירותים כמו אימייל, יומן, תשלומים, קניות ובית חכם. בשלב זה הוא עדיין לא זמין בישראל. ברקע ההשקה, מניית Meta עלתה במסחר ביותר מ-5.5%, אבל מוקדם להכריז שזה קשור ישירות לזה שהמשקיעים אוהבים את הסוכן החדש.

החלק הרגיש ביותר בסיפור של Muse הוא הכסף. Stripe הודיעה שמטא שילבה בו את Link, ארנק תשלומים שמאפשר לסוכן לבצע רכישות, בדרך כלל אחרי שהמשתמש מאשר את הסכום בצ’אט.

כדי לצמצם סיכונים, מטא מציגה שכבת בקרה בשם Sentinel. הרעיון הוא ש-Muse מציע פעולה, ו-Sentinel מחליט אם לאשר, לחסום או לבקש אישור מהמשתמש. מטא מתארת גם הגנות כמו הפרדת הרשאות, הסתרת סיסמאות וזיהוי הזרקות פרומפטים (prompt injection), כלומר ניסיונות לגרום לסוכן לבצע פעולה שלא התכוונו אליה.

אבל גם מטא לא טוענת שהבעיה נפתרה. במסמך הבטיחות שלה היא כותבת ש-Muse ממש לא חסין מתקיפות, שהזרקת פרומפטים עדיין נחשבת בעיה לא פתורה, ושהמערכת תעשה טעויות. רויטרס הוסיפה שבדיקות פנימיות הצביעו על תוצאות מעורבות, כולל בעיות אמינות ודיווחים על חשיפת מידע רגיש.

Introducing Muse, your personal AI agent from Meta that gets things done across every part of life.

Download the Muse app and get started: https://t.co/KBjYWfshGo pic.twitter.com/1exp56xj93

— Muse (@Muse) September 8, 2026

מי יקבע קווים אדומים ברורים?

כאן חוזרים לקוקסון. הטענה שלו היא שהחברות רצות קדימה בזמן שמנגנוני הבלימה עדיין תלויים בהן עצמן. אנטרופיק נבנתה סביב דימוי של חברה זהירה יותר, אבל גם היא פועלת בתוך מרוץ שבו כל האטה יכולה להיראות כמו ויתור למתחרים.

הבעיה עם סוכני AI היא שקשה יותר לפקח עליהם. לא מספיק לבדוק מה המודל יודע או איזו תשובה הוא נותן. צריך לבדוק גם לאילו כלים הוא מחובר, איזה הרשאות יש לו, איך הוא מתמודד עם תוכן שמנסה להטעות אותו, ומה קורה כשסוכנים רבים פועלים במקביל.

גם הרגולטורים כבר מבינים שהסיפור משתנה. נציב זכויות האדם של האו”ם, וולקר טורק (Volker Türk), הזהיר השבוע שבינה מלאכותית עלולה להציב סיכון קיומי וקרא לקבוע קווים אדומים ברורים. אבל הפער בין דיון רגולטורי לבין מוצר שמקבל גישה ליומן, לאימייל ולתשלומים הוא כבר לא תיאורטי.

האירועים האחרונים לא מוכיחים שה-AI יצא משליטה. הם כן מראים שהשאלה המרכזית משתנה. במקרה של צ’אטבוט, טעות היא בעיקר בעיית אמינות. במקרה של סוכן, אותה טעות יכולה להפוך לבעיה של הרשאות, כסף, פרטיות ותשתית.

לכן ההתפטרות של קוקסון חשובה מעבר לסיפור האישי שלו. היא מגיעה ברגע שבו סוכני AI עוברים ממעבדות המחקר אל הדפדפן, מהדגמות אל תשלומים, ומהבטחות לפעולות ממשיות. אם החברות רוצות שנאמין להן, הן יצטרכו להראות לא רק שהסוכנים שלהן יודעים לבצע משימות, אלא שיש דרך אמינה לעצור אותם כשהמשימה מתחילה להשתבש.