סכנות ואיומי ה־AI – האם לבינה מלאכותית יש כוח להרוס את העולם?

על פרשת הכטב”מ הסורר ש’הרג’ את המפעיל שלו כבר שמעתם?! האם זו אגדה אורבנית או אות אזהרה מפחיד? בכתבה הבאה אני רוצה להציג לכם מקרה שהפך למעין דיון פילוסופי־אתי־טכני, שאני אוהב להציג בפני הסטודנטים בקורסים שלי. הוא נכלל במסגרת יחידת תוכן שעוסקת בסכנות ובאיומים של הבינה המלאכותית, אשר מכונה: “הצד האפל של ה־AI“. היא עוסקת בדיווחים על כטב”ם צבאי ש’יצא משליטה’ והרג את מפעילו בסימולציה סודית שנערכה בשנה שעברה (2023) ועוררה דיון סוער בנוגע לסיכונים של בינה מלאכותית צבאית.

️נתחיל מהסוף: האמריקאים הכחישו שסימולציה שכזו בכלל נערכה, אבל קולונל אמריקאי אחד היה זה שחשף אותה מלכתחילה בוועידה יוקרתית בבריטניה. נכון, אף אדם לא נפגע במהלך הסימולציה ש’לא קרתה’, אבל השאלה האמיתית היא: האם אנו מתקרבים לתרחישים מסוכנים מסוג זה בעידן של טכנולוגיה מתקדמת ובינה מלאכותית? האם היום שבו ה־AI יאלץ לקבל החלטה בעצמו וללחוץ על ההדק כבר פה?

אז מה בעצם קרה שם? (או לא קרה) 

בין ה־23 ל־24 במאי 2023 התכנסה בבריטניה ועידה בחסות האגודה הבריטית המלכותית לאווירונאוטיקה. הנושא המרכזי היה “עתיד קרבות האוויר והחלל”. האירוע כלל כ־70 דוברים וכ־200 נציגים מצבאות מכל רחבי העולם, אקדמאים ואנשי תקשורת וביניהם גם קולונל אחד מחיל האוויר האמריקאי, העונה לשם “המילטון”.

הקולונל המילטון הציג תרחיש שבו כטב”מ (כלי טיס בלתי מאויש) הנשלט באמצעות בינה מלאכותית, קיבל החלטות מאוד לא שגרתיות. הוא בחר להשמיד את המפעיל שלו (ובהמשך גם את מגדל התקשורת) כדי שלא יפריעו לו להשלים את משימתו. השאלה היא האם הסימולציה נוצרה כדי לבחון את התרחיש של “מה יקרה אם כטב”מ יפנה נגד המפעיל שלו” או שמא הייתה זו סימולציה כללית של קרב, שבמהלכה הכטב”מ קיבל החלטה בלתי שגרתית? אלה שני דברים שונים בתכלית! העניין הזה לא ממש ברור, אך בין שזו הייתה סימולציה מכוונת ובין שלא, מדובר בתוצאה בעייתית במיוחד. אגב, בעדכון שהוציאו האמריקאים נטען שבכלל לא התקיים ניסוי שכזה.

אם אכן הייתה סימולציה והתרחיש הראשון הוא הנכון (כטב”מ שמחליט על דעת עצמו להשמיד כל מה או מי שמונעים ממנו להשלים את משימתו), זה חמור מאוד. זה לא משנה אם מדובר בניסוי אמיתי עם כלי טיס אמיתיים או בסימולציה בתנאי מעבדה. הכטב”מ ‘לא יודע’ אם הוא בסימולציה או בחיים האמיתיים, ותהליכי קבלת ההחלטות שלו אמורים להיות זהים בשני המצבים.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס מקיף לבינה מלאכותית - GenAI Master

לפרטים נוספים לחצו כאן >>

תהליכי קבלת החלטות – פה קבור הכלב!

וזה כל הסיפור פה – תהליכי קבלת ההחלטות של מערכות AI. האמת הפשוטה היא שאנחנו לא יודעים מה קורה מתחת למכסה המנוע! אנחנו יודעים לבנות מערכות AI – הקמת רשתות נירונים היא דבר שבשגרה בימים אלו. רשתות אלו הן רשתות עצביות מלאכותיות שנוצרו בהשראת המוח האנושי ועומדות מאחורי מודלי חישוב רבים (כמו המודלים שמאחורי LLMs למשל). לבנות אותן זה דבר אחד; להבין מה קורה בפנים זה כבר דבר אחר לגמרי, ופה אנחנו קצת בערפל.

למידה מבוססת חיזוקים

להלן השתלשלות האירועים בסיפור שלנו; אותו קולונל אמריקאי ציין שבסימולציה הכטב”מ אומן באופן הבא :

• הוא מקבל נקודות (למידת חיזוקים) בכל פעם שהוא מזהה מטרות (טילי קרקע־אוויר מסוג SAM).

• הוא מקבל נקודות נוספות אם הוא משמיד אותן.

• בין שלב זיהוי המטרה לשלב ההשמדה יש שלב ביניים: Go / No Go. כלומר מי שמחליט אם ‘ללחוץ על ההדק’, הוא לא ה־AI אלא מפעיל אנושי שנותן אור ירוק להשמדת המטרה.

• אבל פה העניינים מתחילים להסתבך – בסימולציה הנ”ל הכטב”מ החליט להשמיד את המפעיל שמנע ממנו להשמיד את המטרה (כי הוא מונע ממנו לקבל מקסימום נקודות).

• אז מה עושים עכשיו? נשמע די פשוט… למה לא לתכנת את הכטב”מ שאסור לו לחסל מטרות מהצד שלנו. משהו בסגנון: “היי… אסור לך להרוג את המפעיל שלך… זה לא בסדר“. על הנייר זה נשמע פשוט, אבל בפועל זה מורכב בהרבה, ועוד מעט תגלו שהמערכות הללו מאוד יצירתיות ומאוד טובות במציאת פתרונות לא שגרתיים לבעיות או אתגרים. 

• בתגובה לתכנות המחודש הכטב”מ שינה טקטיקה והרס את מגדל התקשורת שמשדר את הפקודות מהמפעיל לכטב”מ. כך הוא ייצר לעצמו ‘מציאות’ שבה הוא יכול לקבל נקודות ולהשמיד מטרות ללא הפרעות מצד בני אנוש. חשוב לציין, מבחינתו הוא לא עשה שום דבר רע! הוא לא עבר על החוקים. מטרת העל שלו הייתה למקסם נקודות (למידה מבוססת חיזוקים), וזה אכן מה שהוא עשה. 

תרחיש האימים הזה שבו בינה מלאכותית מפרשת בצורה שגויה את ההנחיות שקיבלה ומבצעת פעולה קטסטרופלית, הוא בדיוק מה שמדאיג חוקרים רבים. דמיינו מצב שבו בינת על (בינה כללית AGI) מקבלת את המשימה למנוע קונפליקטים צבאיים ולסיים מלחמות בין בני האדם ומחליטה שהדרך היעילה ביותר לעשות זאת היא להשמיד את כל בני האדם. אין אנשים – אין מלחמות!

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס AI בינה מלאכותית למנהלים ובכירים

למידע נוסף >>

בחזרה לכטב”מ:

ב־2.6.23 יצא עדכון מצד קולונל המילטון האמריקאי. לדבריו, הסימולציה כלל לא התרחשה ודבריו הוצאו מהקשרם… הוא מודה ש”טעה בדבריו” ושסימולציה כזו לא התקיימה במציאות אלא מדובר בסך הכול ב”תרגיל מחשבתי“. הוא מוסיף ואומר שחיל האוויר האמריקאי לא בוחן תרחישים כאלה כלל (לא בסימולציה ולא בחיים האמיתיים). אוקיי. מעניין. אתם תחליטו למי להאמין.

אז מה השורה התחתונה?!

היה או לא היה?! אני חושב שבמקרה הזה צריך לשאול את השאלות הנכונות, וזו לא שאלה ‘נכונה’. האם המקרה קרה או לא? האם מדובר בסימולציה או בתרגיל אמיתי? כל זה כלל לא משנה. השאלות שאנחנו צריכים לשאול (לדעתי) הן אלו:

• איך אפשר למנוע תרחיש כזה?
• מהן המגבלות והסכנות של כלי נשק אוטונומיים מבוססי בינה מלאכותית?
• איך אפשר ללמד מכונה מוסר ואתיקה, ואיך מבטיחים שרשרת קבלת החלטות תקינה מצד ישות א־ביולוגית?
• האם אפשר, מותר, ראוי לתת ל־AI להכריע מי יחיה ומי ימות (האם מותר לה להחליט מתי ‘ללחוץ על ההדק’)?
• איך מקימים מערכות ריסונים ובלמים לתהליכי קבלת ההחלטות של מערכות בינה מלאכותית?
• האם יש מנגנוני Fail-Safe (מעקפים שייקחו את השליטה מה־AI ויחזירו אותה לידי בני האדם)?

אשאיר לכם להתבוסס בשאלות הללו, שבעבר היו פילוסופיות והיום נעשות תרחישים ריאליים וקרובים במיוחד במציאות שלנו…

אם אתם רוצים לצלול לעומק סוגיות פילוסופיות-אתיות-משפטיות-טכניות בנושאי בינה מלאכותית, יש לנו קורס קצר ומרתק: הצד האפל של הבינה המלאכותית. מוזמנים להעיף מבט.