האם Stable Diffusion 1.5 אומן על חומר אסור של התעללות מינית בקטינים? לפי מחקר מאוניברסיטת סטנפורד נראה שכן…
חוקרים מאוניברסיטת סטנפורד טוענים שסטייבל דיפיוז’ן 1.5 (Stable Diffusion) – מודל הקוד הפתוח המפורסם של חברת Stability AI (סטראטאפ הבינה המלאכותית ששוויו מוערך בכחצי מיליארד דולר) הכיל תוכן אסור של קטינים, ויהיה קשה מאוד לסלק אותו. לדבריהם גם Midjourney משתמש באותו מאגר נתונים.
על פי המחקר של סטנפורד, הכלי אומן אומן על מאגרי נתונים פתוחים ועצומים, אבל מה שמעניין הוא שלדבריהם במאגר הנתונים הציבורי העצום ששימש לאימון Stable Diffusion וכלים דומים יש מאות תמונות ידועות של התעללות מינית בקטינים. החוקרים קוראים לנתק מודלים מבוססי Stable Diffusion 1.5 שאין בהם אמצעי הגנה מתאימים. הם גם מזהירים שהנפח בפועל של התוכן האסור כנראה גבוה. חברת Stability AI מסרה בתגובה שהיא מחויבת למנוע שימוש לרעה בבינה מלאכותית, ואסרה על השימוש במודלים ושירותי התמונות שלה לפעילות לא חוקית כולל ניסיונות לערוך או ליצור חומר של התעללות מינית בקטינים. אך הבטחות לחוד ומציאות לחוד. השימוש היום בסטייבל דיפיוז’ן בתעשיית הפורנו ובתוצרים מקוונים למבוגרים בלבד נפוץ במיוחד. גם תופעת אושיות הרשת ומשפיעניות הרשת המלאכותיות (דמויות AI בעלות חשבונות סושיאל באינסטגרם ב-OnlyFans) נפוצות במיוחד.
לדוגמה – אייטנה לופז – משפיענית AI מג’ונרטת מברצלונה “מרוויחה” 10,000 יורו בחודש (או יותר נכון, משלשלת לכיסי יוצריה רווחים בהיקפים שכאלה). לאייטנה הספרדיה יש מעל רבע מיליון עוקבים באינסטגרם. לדברי יוצריה היא אוהבת כושר ומשחקי וידאו, ויש לה גם “תוכן פרימיום” שדורש מנוי חודשי כדי לגשת אליו. בעל סוכנות הדוגמנות The Clueless שבברצלונה, הסביר שאייטנה נולדה לאחר הייאוש מעבודה עם משפיענים בשר ודם. “לא עוד אגו, טירוף או דרישות מוגזמות”. אייטנה מתוארת כ-“אישה חזקה ונחושה”. בסרטון הבא תוכלו לקבל מידע נוסף על משפיענית ה-AI הספרדייה ועל האופן בו נוצרה.
לפי ממצאי המחקר מסטנפורד חלק מהתוכן הלא-חוקי נאסף מאתרי מיינסטרים כמו רדיט, טוויטר (כעת X) ווורדפרס ועוד – אתרים שלא מתירים זאת מלכתחילה. הבעיה עם מחוללי התמונות הנפוצים שזמינים בשוק כיום היא שאפשר בקלות לנצל אותם לרעה, במיוחד בהקשר של סטייבל, שכן הינו מבוסס על קוד פתוח וניתן להריץ אותו לוקאלית על כל מחשב בכל מקום וללא שום פיקוח! כך כלים אלו יכולים לשמש ליצירת חומר מזויף ואסור, החל מתכנים בעלי אופי מיני ועד תכנים קשים יותר (לרבות התעללות בקטינים).
כריסטין ברנדט (Christine Barndt), דוברת הארגון ללא כוונת רווח “CyberTipline” (קו חירום להתעללות בקטינים) המנוהל ע”י המרכז הלאומי לילדים נעדרים ומנוצלים (NCMEC) טוענת שבינה מלאכותית גנרטיבית “מקשה מאוד על אכיפת החוק להבחין בין קורבנות אמיתיים שצריך למצוא ולהציל, לבין תמונות וסרטונים מלאכותיים“.
Making it much more difficult for law enforcement to distinguish between real child victims who need to be found and rescued, and artificial images and videos
Christine Barndt
הסרת החומר מהמודלים עצמם משימה קשה ביותר. חלק מהתוכן שמייצרת הבינה המלאכותית, במיוחד של ילדים שאינם קיימים, יכול גם להיכנס לשטח משפטי מעורפל. תובעים כלליים ברחבי ארה”ב קראו לאחרונה לקונגרס לפעול כדי להתמודד עם האיום של חומר מזויף של התעללות בקטינים. הארגון הקנדי להגנת ילדים, שסייע לאמת את ממצאי סטנפורד, מודאג בעיקר מהיעדר הדאגה הכללי באיסוף מאגרי הנתונים העצומים האלה – שרק מחריפים בעיות ותיקות של חומר התעללות בקטינים שפוקדות כל חברת טכנולוגיה גדולה.
לויד ריצ’רדסון (Lloyd Richardson) מהארגון אמר: “הרעיון לאסוף באחריות מיליארד תמונות הוא משהו יקר מאוד לעשות, אז לוקחים קיצורי דרך שבהם מנסים לאבטח כמה שיותר אוטומטית. היה חומר ידוע של התעללות מינית בקטינים שבוודאי היה אפשר לסנן ממאגרי הנתונים, אבל הם לא עשו את זה… ואם אנחנו מוצאים חומר ידוע [של התעללות], בטח יש גם לא ידוע.”
The notion of actually curating a billion images responsibly is a really expensive thing to do, so you take shortcuts where you try and automate as much as possible
[…]
There was known child sexual abuse material that was certainly in databases that they could have filtered out, but didn’t… [and] if we’re finding known CSAM in there, there’s definitely unknown in there as well
Lloyd Richardson
אחד ממאגרי הקוד הפתוח שעליהם אומן מודל סטייבל דיפיוז’ן 1.5 הוא מאגר LAION-5B המכיל כ-6 מיליארד תמונות עם תיאורי מלל תואמים. בתוך מאגר זה אותרו למעלה מ-1,000 תמונות בעלי אופי פדופילי. גם חברת מידג’רני עשתה שימוש במאגר זה לאימון המודלים שלה. גם גוגל עשתה שימוש במאגרים של LAION לאימון מודל הדיפוזיה שלה Imagen, אך לאחר שהמפתחים מצאו דימויים וסטריאוטיפים מטרידים בנתונים, הם קבעו כי הוא אינו מתאים לשימוש ציבורי. ככל הנראה מודלים נוספים אומנו על הדאטה הבעייתית הזו ולאור העמימות הרבה וחוסר השקיפות בתחום, יהיה מאוד קשה לדעת כמה רחוק נתונים אלו הגיעו.
אז מה נותר לנו לעשות? לכל הפחות להיות מודעים לנושאים סבוכים ובעייתיים אלו. שנית – עלינו להבטיח שימוש אחראי בטכנולוגיות ג’נרטיביות. יש לנו ביידיים כלים עם כח גדול שיכולים לגרום להרבה טוב, אבל גם לגרום להרבה נזק. חלה עלינו החובה לעשות בהם שימוש נבון, חוקי ומוסרי. זו האחריות שלנו כמשתמשים, גם אם החקיקה עדיין לא הדביקה את השטח. בין אם החברות הגדולות לוקחות אחריות ובין אם לא, אנחנו חייבים להבטיח שימוש בטוח בכלי AI בכלל ובמחוללי תמונות בפרט.
אחת לחודש אני מקיים סדנה שלמה שכל כולה מחוללי תמונות ו-AI בוידאו. בסדנה אני מלמד גם על ראנוויי ו-Gen2, לצד כלים נוספים כמו קאיבר, וונדר סטודיו ועוד. לפרטים והרשמה לחצו פה.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
רוצים לקבל עדכונים על כל מה שחדש ומעניין בעולם ה-AI? הרשמו לניוזלטר שלנו!
