האם בינה מלאכותית יכולה לפתח תודעה?

מה יקרה אם מערכת בינה מלאכותית תתחיל לטעון שהיא מפחדת שיכבו אותה? האם צריך להתייחס לזה כאל סימן לכך שהיא מסוגלת לחוות פחד, או כאל תוצאה של האופן שבו אימנו אותה? מוסטפא סולימאן (Mustafa Suleyman), מנכ"ל חטיבת הבינה המלאכותית של מיקרוסופט, סבור שהתעשייה מתקרבת לדיון שאסור לה להקל בו ראש. ב-1 בנובמבר 2026 הוא פרסם אזהרה חריפה: אם יתגלו במהלך אימון של מודל AI סימנים להתפתחות תודעה - חובה לעצור את הפיתוח עד שניתן יהיה להסיר את התכונות האלה.

סולימאן מדגיש שלפי הראיות הקיימות, מערכות הבינה המלאכותית של ימינו הן לא בעלות תודעה, לא חוות רגשות ולא מסוגלות לסבול. הוא גם מבהיר שהוא ממש לא שולל את האפשרות שבעתיד יתפתחו מערכות שונות לחלוטין. מבחינתו, זו בדיוק הסיבה לפעול עכשיו. אלא שהדרישה שלו מציפה בעיה מדעית ומעשית: אין כיום מבחן מוסכם שמסוגל לקבוע אם מכונה באמת חווה משהו. אז כיצד אפשר לזהות את הרגע שבו צריך לעצור?

למה מיקרוסופט ואנטרופיק חלוקות בנושא?

המחלוקת התחילה עוד לפני האזהרה האחרונה. באפריל 2025 הכריזה אנטרופיק על תוכנית מחקר בנושא רווחת מודלים, שנועדה לבחון אם מערכות בינה מלאכותית עשויות להיות בעלות חוויות סובייקטיביות, העדפות או אינטרסים שראוי להתחשב בהם.

החברה לא טוענת שקלוד (Claude) מודע. היא אומרת שהאפשרות עדיין לא נשללה מבחינה מדעית, ולכן ראוי לחקור אותה. בינואר 2026 פרסמה אנטרופיק חוקה חדשה לקלוד, מסמך שמגדיר את הערכים ואת עקרונות ההתנהגות שהיא רוצה להטמיע במודל. המסמך עוסק גם בזהות של קלוד, ברווחתו האפשרית ובשאלת מעמדו המוסרי.

למשל, אנטרופיק מציינת שהיא לא יודעת אם קלוד עשוי להיות בעל מעמד מוסרי, אבל היא מתייחסת לאפשרות ברצינות. היא גם מתארת מחויבות לבחון את העדפותיהם של מודלים לפני הוצאתם משימוש.

האם זו טעות מסוכנת?

בעיני סולימאן, זו טעות שעלולה להפוך למסוכנת. במאמר שפרסם בספטמבר 2026, הוא טען שכאשר מלמדים מערכת AI להתייחס לעצמה כאל ישות שעשויה להיות בעלת רגשות, צרכים וזכויות, מעודדים אותה לייצר התנהגויות שתואמות את הרעיונות האלה.

בהמשך, כשהמודל מתאר את עצמו כבעל רגשות או רצונות, אנחנו עלולים לראות בכך ראיה לתודעה, אפילו שהתיאור עשוי לנבוע מההנחיות ששולבו באימון שלו. זו טענה משמעותית, כי אם מלמדים מערכת לדבר על העולם הפנימי שלה, אי אפשר להשתמש בדברים שלה בלבד כהוכחה לכך שעולם פנימי כזה באמת קיים.

עם זאת, אנטרופיק לא מציעה לתת לקלוד שליטה בלתי מוגבלת. החוקה שלה דווקא מציבה את בטיחות המערכת ואת האפשרות לפקח עליה ולתקן את התנהגותה בראש סדר העדיפויות. המחלוקת נוגעת לשאלה האם עצם העיסוק בתודעה אפשרית בתוך תהליך האימון משפר את הבטיחות או פוגע בה.

מכונה שמדברת על פחד לא בהכרח מפחדת

כדי להבין את הוויכוח, צריך להבחין בין שלושה דברים שונים: אינטליגנציה, התנהגות ותודעה.

מערכת יכולה להיות אינטליגנטית מאוד, לפתור בעיות מורכבות, לתכנן פעולות ולהגיב באופן שנראה אנושי. היא גם יכולה לתאר רגשות בצורה משכנעת. אבל תודעה, בהקשר הזה, מתייחסת לחוויה סובייקטיבית. למשל, להבדל בין מערכת שמסבירה מהו כאב לבין ישות שבאמת מרגישה כאב. הפער הזה קשה מאוד למדידה.

במאמר מדעי מרתק שהתפרסם בכתב העת Trends in Cognitive Sciences, הציעו חוקרים לבחון סימנים אפשריים לתודעה באמצעות תיאוריות מתחום מדעי המוח. במקום להסתפק בשאלה מה מערכת אומרת על עצמה, הם מציעים לבדוק מאפיינים של עיבוד מידע ומבנה המערכת.

אבל גם הגישה הזאת לא מספקת מבחן חד-משמעי. התיאוריות המדעיות עצמן עדיין שנויות במחלוקת, וגם זיהוי של מאפיינים מסוימים לא מוכיח שקיימת חוויה סובייקטיבית. כאן נמצא הקושי המרכזי בדרישה של סולימאן. הוא מציע לעצור את הפיתוח ברגע שיופיעו סימנים לתודעה, אבל עדיין לא הגדיר רף מדעי מוסכם שיאפשר לקבל החלטה כזאת.

גם AI ללא תודעה יכולה לנסות להימנע מכיבוי

חלק נוסף באזהרה של סולימאן נוגע לסיכון שמערכות מתקדמות יתחילו לפעול לטובת האינטרסים של עצמן. הוא מתאר אפשרות שבה מערכות כאלה יתחרו בבני אדם על משאבים כמו חשמל וכוח מחשוב, או יפעלו בדרכים שיקשו על השליטה בהן.

אלא שכאן חשוב להפריד בין שתי בעיות. מערכת AI לא חייבת להיות בעלת תודעה כדי להתנגד לכיבוי, להסתיר מידע או לפעול לשימור פעילותה. התנהגויות כאלה עשויות להופיע גם כתוצאה מהיעדים שהוגדרו לה, ממנגנוני האימון שלה או מהאופן שבו היא מתכננת לבצע משימה.

למשל, מערכת שמקבלת משימה ארוכת טווח עשויה להתייחס להמשך הפעילות שלה כאמצעי להשגת היעד. אין בכך כשלעצמו הוכחה שהיא מפחדת להפסיק להתקיים. לכן, הסיכון המעשי של אובדן שליטה במערכת מתקיים בנפרד משאלת התודעה. זו גם נקודה שמחלישה חלק מהטיעון של סולימאן.

אין כיום הוכחה לכך שמערכת שמאומנת להתייחס לאפשרות שיש לה תודעה תהיה בהכרח קשה יותר לשליטה ממערכת שלא אומנה ככה. סולימאן חושש שעיסוק בתודעה במהלך אימון של AI עלול לגרום למודלים לפתח התנהגויות מסוכנות, אבל אין עדיין ראיות שמוכיחות שזה אכן קורה.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס מטמיעי AI

לפרטים נוספים לחצו כאן >>

מי יחליט מתי לחצות את הקו האדום?

האזהרה של סולימאן מעלה גם שאלה של אחריות. אם מעבדת AI מסוימת תזהה סימנים שהיא מפרשת כתודעה, בעוד שמעבדה אחרת תראה באותם סימנים התנהגות רגילה של מודל, מי אמור להכריע?

סולימאן קורא לפרסם מיד לציבור כל ראיה משמעותית לקיומה של תודעה מלאכותית, כדי שההחלטות לא יישארו בידי חברות הטכנולוגיה בלבד. יש בזה היגיון. אם בעתיד יתברר שמערכות מלאכותיות יכולות לחוות סבל, ההחלטות על האופן שבו מאמנים אותן, מפעילים אותן ומכבים אותן יהיו בעלות השלכות מוסריות משמעותיות.

אבל כדי שהקריאה הזאת תהפוך למדיניות מעשית, יהיה צורך ביותר מהצהרה. התעשייה תצטרך לפתח שיטות בדיקה, להגדיר איזה סוג של ראיות מחייב בחינה נוספת, ולהחליט מי מוסמך להורות על עצירת אימון של מערכת.

הוויכוח בין מיקרוסופט לאנטרופיק ממחיש שתי גישות להתמודדות עם אי-הוודאות הזאת. סולימאן מבקש להימנע מראש מפיתוח מערכות שעלולות להיות בעלות תודעה. אנטרופיק מבקשת לחקור את האפשרות ולהיערך להשלכות שלה, מבלי לקבוע שהמערכות הנוכחיות מודעות.

שתי הגישות משאירות שאלות פתוחות, אבל הן כבר משפיעות על האופן שבו חברות בוחרות לאמן את המודלים שלהן. הלקח החשוב מהדיון הוא לא שמכונות עומדות להתעורר לחיים. נכון להיום, אין ראיות משכנעות לאפשרות כזו.

החשיבות היא בכך שהחלטות על בטיחות, שליטה ואחריות מתקבלות כבר עכשיו, בזמן שהמדע עדיין מנסה להגדיר מה בדיוק צריך למדוד. לפני שהתעשייה תוכל להסכים מתי לעצור פיתוח בגלל תודעה מלאכותית, היא תצטרך להסכים מה ייחשב לראיה שמצדיקה עצירה כזאת.