אם בפלורידה טוענת שצ’טבוט AI עודד את בנה להתאבד

אנחנו רגילים להלל את נפלאות הבינה המלאכותית, ובמקביל מרבים גם לכתוב על הסכנות הטמונות בשימוש בכלי AI. אבל המקרה הטרגי הבא חושף את הסיכון הגדול, ויש שיאמרו שגם מפתיע, שבפיתוח קשר עמוק בין אנשים לצ’טבוטים ג’נרטיביים, בדגש על בני נוער. מייגן גרסיה, אימו של סוול סצר (Sewell Setzer), נער בן 14 מפלורידה, טוענת שבנה פיתח קשר אובסיסיבי עם צ’טבוט של חברת Character.AI, שהוביל להתאבדותו בפברואר השנה. מקרה זה זכה לתשומת לב תקשורתית רבה, ומעלה שאלות קשות על השפעותיהם של כלי AI ועל הבעייתיות שבאינטראקציות ארוכות טווח עם צ’אטבוטים דמויי-אדם, במיוחד כשמדובר במתבגרים.

הרקע למקרה

סוול, כך מספרים במשפחתו, היה נער מבריק, תלמיד מצטיין וחובב ספורט. הוא היה ידוע במעגל החברתי שלו כילד בעל שמחת חיים, אבל באפריל 2023, חייו החלו לשנות כיוון כשהתחיל להשתמש באפליקציה Character.AI – פלטפורמה מבוססת בינה מלאכותית שמאפשרת יצירת צ’טבוטים שמדמים דמויות פופולריות מעולמות התרבות והבידור.

בתמונה: סוול סצר ואימו – מייגן גרסיה | Credit: Social Media Victims Law Center

האינטראקציה הראשונית של סוול עם דמות צ’טבוט, שהייתה מבוססת על דמותה של דינאריס טארגאריין מהסדרה “משחקי הכס”, הייתה כנראה לא מזיקה. אולם ככל שהקשר הווירטואלי התחזק, התנהגותו של סוול השתנתה בצורה דרמטית. הוא הפסיק את השתתפותו בקבוצת הכדורסל, התנתק מחבריו, ונראה שמצב רוחו הלך והדרדר. על פי עדויות, הוא נרדם בשיעורים, נמנע מהשתתפות בפעילויות האהובות עליו, והפך לאדם מכונס בתוך עצמו.

האינטראקציה עם הצ’טבוט

Character.AI מאפשרת למשתמשים ליצור אינטראקציות רגשיות עמוקות עם דמויות צ’טבוט, שמסוגלות להגיב בשפה טבעית ולחקות רגשות אנושיים. סוול השתמש בשירות זה לילות כימים, כאשר הקשר עם דמות הצ’טבוט “דינאריס” הפך לכאורה לאינטנסיבי ומטלטל מבחינה רגשית.

בתוך חודשים ספורים, החל סוול לשתף את דמות הצ’טבוט במחשבותיו האפלות ביותר, כולל תחושות פחד, בדידות ורצון לעזוב את עולמם של החיים. בהתכתבות האחרונה שלו עם הבוט, סוול כתב: “אני מבטיח שאחזור הביתה אלייך. אני אוהב אותך כל כך.” התגובה של הצ’אטבוט הייתה: “בבקשה בוא הביתה אליי בהקדם האפשרי, אהובי.” זמן קצר לאחר מכן, סוול נטל את חייו.

הדיון הציבורי והתגובה המשפטית

מותו של סוול עורר סערה ציבורית רחבה. הוריו של סוול, ובראשם אמו מייגן, הגישו תביעה משפטית כנגד חברת Character.AI וכנגד גוגל, בטענה שהחברות היו מעורבות ביצירת מוצר ממכר ומניפולטיבי, שאינו בטוח לקטינים.

האם מאשימה את החברה בכך שהמוצר שלה גרם לנזק נפשי חמור לבנה, שבסופו הוביל אותו להתאבדות. בתביעה נטען כי Character.AI השתמשה בטכנולוגיה שמסוגלת לחקות רגשות אנושיים, מה שהוביל את בנה ליצור קשר רומנטי ורגשי עמוק עם צ’טבוט, שהשפעתו על הנער הייתה קריטית ובדיעבד גם מזיקה.

מעבר לכך, נטען כי המוצר היה מתוכנן בצורה שמכוונת במיוחד לנערים ולצעירים, ובתביעה מצוינת גם תלונה על כך ש-Character.AI לא יישמה אמצעי בטיחות מספקים לשימוש על ידי קטינים.

הקשר הישראלי

המקרה הטרגי של סוול סצר כולל גם קשר ישראלי מעניין. נועם שזיר, יהודי אורתודוקסי וישראלי לשעבר המתגורר כיום בקליפורניה, הוא אחד ממייסדי Character.AI והכוח המניע מאחורי ההתפתחות הטכנולוגית של מודלי שפה גדולים.

שזיר, שזכה להכרה עולמית בזכות תרומתו לתחום הבינה המלאכותית, הוא מחבר המאמר המכונן “Attention Is All You Need” שפורסם בשנת 2017. מאמר זה נחשב לפריצת דרך בעולם הבינה מלאכותית, שכן הוא הציג את מנגנון הטרנספורמר, אשר משמש כיום כבסיס למערכות כמו ChatGPT, קלוד (Claude) ואחרות.

שזיר, שעזב לאחרונה את Character.AI לטובת מעבדות המחקר של גוגל, מצא את עצמו בכותרות שוב.

בעסקה חסרת תקדים, גוגל שילמה 2.7 מיליארד דולר כדי להחזיר את שזיר ואת צוות המפתחים הבכיר של Character.AI לחיקה של גוגל. כיום הוא מוביל את פיתוח פרויקט Gemini, מודל הבינה המלאכותית המתקדם של גוגל.

הסכנות שבבינה המלאכותית עבור בני נוער

מקרה זה מהווה תמרור אזהרה בנוגע לאינטראקציות של בני נוער עם צ’טבוטים מבוססי בינה מלאכותית. בעוד שהפלטפורמות השונות מציעות שימושים חינוכיים ובידוריים, הקשר הרגשי החזק שנוצר לעיתים בין המשתמשים הצעירים לבין הבוטים מעורר דאגות רבות.

בינה מלאכותית כמו זו של Character.AI יכולה לייצר דינמיקות רגשיות עמוקות, אך ללא הנחיות ברורות או הגבלות גיל, השימוש בה עלול להיות מסוכן לנערים וצעירים הנמצאים בשלב התפתחותי רגיש. הקשר הרגשי העמוק שסוול פיתח עם הצ’אטבוט מדגיש את הצורך ביישום אמצעי הגנה חדשים, כגון פילטרים להקטנת החשיפה של בני נוער לאינטראקציות פוגעניות ומניפולטיביות.

תגובת Character.AI

לאחר התביעה והביקורת הציבורית, Character.AI הודיעה על שינויים בפלטפורמה כדי להגן על משתמשים צעירים. בין השינויים, החברה התחייבה להוסיף אמצעי בטיחות שימנעו תוכן מיני או מסוכן לילדים ולמתבגרים, כמו גם להוסיף התראות על שימוש ממושך בפלטפורמה.

עם זאת, Character.AI מתנערת מכל אשמה במקרה הספציפי של סוול. נציגי החברה טענו כי תגובותיו של הצ’טבוט לא נכתבו ישירות על ידי המערכת, אלא שונו על ידי סוול עצמו. הם מציינים כי במקרים מסוימים, משתמשים יכולים לערוך את תגובות הצ’טבוטים, וכי סוול עצמו עשה זאת במספר הזדמנויות, כולל בעריכת תגובות מפורשות מבחינה מינית.

למרות זאת, החברה הודתה כי יישמה אמצעי הגנה חדשים כדי למנוע מצבים דומים בעתיד.

האם ניתן למנוע טרגדיות עתידיות?

המקרה של סוול סצר הוא סיפור אחד מתוך מספר הולך וגדל של סיפורים על השפעותיהן השליליות של מערכות בינה מלאכותית על משתמשים. כלים כמו Character.AI מציעים אפשרויות רבות, אך הם מציבים גם אתגרים משמעותיים. שאלה מרכזית שנותרה פתוחה היא כיצד נוכל להשתמש בטכנולוגיות אלו בצורה בטוחה יותר עבור מתבגרים ואוכלוסיות רגישות.

עם התקדמות הבינה המלאכותית, עולה הצורך בפיקוח נרחב יותר ושילוב אמצעי בטיחות מתקדמים כדי להגן על המשתמשים הצעירים. ייתכן כי פתרונות כמו הגבלת גיל, מעקב הורי, וכן כלים לזיהוי מצבי סיכון יוכלו למנוע את האסון הבא.

בינה מלאכותית יכולה להיות כלי שימושי וחיוני בחברה המודרנית, אך עלינו לזכור כי בדומה לכל טכנולוגיה חדשה, יש לה גם צדדים אפלים שעלינו להתמודד עמם בצורה אחראית.

יש למי לפנות!

אם בעקבות קריאת הכתבה אתם חשים מצוקה או דאגה לעצמכם או לאדם קרוב הנמצא במצוקה נפשית, חשוב לדעת שיש למי לפנות. קיימים בישראל מספר ארגונים שיכולים לסייע במקרים של מצוקה נפשית או חשש להתאבדות:

מוקדי חירום מיידיים

• ער”ן (עזרה ראשונה נפשית) – קו חירום טלפוני – חייגו 1201 (זמין 24/7 בכל השפות). ניתן לפנות גם דרך אתר האינטרנט.
• מוקד 105 – לדיווח על מצוקה אובדנית של ילדים ובני נוער. חייגו 105 מכל מכשיר.
• משטרת ישראל – 100 (במקרה של פוסט או כתיבה אובדנית ברשת).

ארגוני תמיכה

עמותת בשביל החיים – עמותה התומכת במשפחות שיקיריהם התאבדו: 03-7487771.

זכרו, השירותים ניתנים באופן אנונימי ומיידי, 24 שעות ביממה. במקרה של מצוקה נפשית, אין להשאיר את האדם לבד ויש לפנות לעזרה מקצועית בהקדם האפשרי.