האם ידעתם שפיתוח מודלי AI דומה יותר לצמח שצומח מאשר לקוד שנכתב בקידוד ישיר? כך לפחות לפי חוקרים מ”אנטרופיק”. בריאיון מרתק שערכו קווין רוס (Kevin Roose) וקייסי ניוטון (Casey Newton) עם ג’וש באטסון במסגרת הפודקאסט Hard Fork נחשפה בפנינו הצצה נדירה לעולם המורכב של מודלי שפה גדולים (LLMs). הריאיון עם באטסון, חוקר בחברת הסטארט־אפ Anthropic (שעומדת מאחורי מודל השפה המצליח קלוד), מביא עימו תובנות חשובות לגבי ההתקדמות במחקר בתחום ה־Interpretability וכן תובנות מרתקות ומקוריות על גישה חדשנית שרואה באימון או בבניית מודלי AI דבר הדומה יותר לגידול יצורים אורגניים. אחד מהנושאים המרכזיים העומדים במרכז הריאיון הוא תחום הבטיחות, ובמרכזו עומדת השאלה הבאה: “אם אתה לא באמת יודע איך המודלים הללו עובדים, איך תוכל לוודא שהם בטוחים?”
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
לשאלה פשוטה זו אין תשובה פשוטה, אבל אולי אולי ישנה תשובה חלקית. במאמר שפרסמו בחברת אנטרופיק ב־21 במאי 2024, הם טענו שהצליחו למפות את ה’מוח’ של מודלי שפה גדולים. כותרת המאמר היא מקורית: Mapping the Mind of a Large Language Model. אז אם תהיתם אי פעם איך עובד מודל כמו Claude, איך מתקדם המחקר בהבנת האופן שבו LLMs עובדים, ומה הקשר בין בינה מלאכותית לצמחים וחיות – הכתבה הזאת היא בשבילכם. הצטרפו אלינו למסע מרתק אל תוך הקופסה השחורה של ה־AI.
הריאיון עם באטסון:
אחד הנושאים המרכזיים שעלו בריאיון עם ג’וש באטסון, הוא ההתקדמות המשמעותית בהבנת מודלי שפה גדולים (LLMs), בניסוי מיוחד שנערך על קלוד 3 סונטה של חברת Anthropic (המפורט במאמר). הריאיון מדגיש את החשיבות של המחקר בתחום ה־Interpretability, או כפי שהוא מכונה לעיתים Mechanistic Interpretability. המונח Interpretability, במשמעותו המילולית, מתייחס ליכולת שלנו לפרש או להבין את אופן עבודת מודלי שפה גדולים, איך הם מְחשבים חישובים או אפילו ‘חושבים’.
רגע, אבל מה זה Interpretability?
המונח Interpretability, בהקשר של בטיחות במודלי שפה גדולים (LLMs), מתייחס ליכולת להבין ולהסביר את תהליכי הפעולה הפנימיים של המודלים הללו. בינה מלאכותית, ובעיקר מודלי שפה גדולים, נתפסת פעמים רבות כקופסה שחורה – מערכת המקבלת קלט (Input) ומפיקה פלט (Output), אך תהליכי הפעולה הפנימיים שלה אינם ברורים או מובנים במלואם. בריאיון באטסון מציין כי עד לאחרונה חוקרים נאבקו להבין כיצד מודלים גדולים של שפה פועלים, אך לאחרונה Anthropic הצליחה למפות את ‘תודעת’ המודל קלוד 3 ולחשוף את מה שמתרחש בתוכו. הם הצליחו לזהות דפוסים מורכבים של פעולת נירונים במודל ולתת להם משמעות קונספטואלית, וזה אפשר להם להבין כיצד המודל חושב ומגיב.
במאמר שפרסמו אנטרופיק נכתב כך:
“בדרך כלל אנו מתייחסים למודלי AI כאל קופסה שחורה: משהו נכנס ותשובה יוצאת, ולא ברור מדוע המודל נתן תשובה זו ולא אחרת. זה מקשה עלינו לתת אמון בכך שמודלים אלו בטוחים: אם איננו יודעים כיצד הם פועלים, איך נדע שלא ייתנו תשובות מזיקות, מוטות, לא אמיתיות או מסוכנות בצורה אחרת? איך נוכל לוודא שהם בטוחים ואמינים?
פתיחת הקופסה השחורה אינה בהכרח עוזרת: המצב הפנימי של המודל – מה שהמודל ‘חושב’ לפני שהוא כותב את התשובה – מורכב מרשימה ארוכה של מספרים (“neuron activations”) ללא משמעות ברורה. מהאינטראקצייה עם מודל כמו Claude ברור שהוא מסוגל להבין ולהפעיל מגוון רחב של מושגים, אבל לא נוכל להבחין בהם ישירות מהתבוננות בנירונים עצמם. מתברר שבייצוג של כל מושג מעורבים נירונים רבים, וכל נירון בודד מעורב בייצוג של מושגים רבים.”
היכולת לפרש את פעולתם של מודלים אלו חשובה מכמה סיבות, בעיקר בתחום הבטיחות:
בכללי, Interpretability היא תחום מרכזי שפועל להבטחת הבטיחות במודלי שפה גדולים. היא נותנת לחוקרים ולמשתמשים כלים להבין, לשלוט ולכוון את פעולתם של המודלים בצורה שקופה, אחראית ובטוחה ולוודא שהם פועלים לטובת החברה.
במאמר שפרסמו אנטרופיק צוינה התקדמות בהתאמת דפוסים של Neuron Activations, הנקראים Features (פיצ’רים), למושגים הניתנים לפרשנות אנושית. הם השתמשו בטכניקה המכונה “dictionary learning”, שנלקחה מלמידת מכונה קלסית (Machine Learning), המבודדת תבניות של Neuron Activations שחוזרות על עצמן בהקשרים שונים. כלומר, כל מצב פנימי של המודל יכול להיות מיוצג במונחים של מספר Features פעילים במקום מספר נירונים פעילים. ממש כמו שכל מילה מורכבת מאותיות, וכל משפט מורכב ממילים, כל Feature במודל AI מורכב משילוב של נירונים, וכל מצב פנימי (Internal State) מורכב משילוב של Features.
גישה זו הובילה להצלחות במודלים קטנים יותר, ולאחרונה באנטרופיק הצליחו להחיל אותה (לאחר כיוונונים ודיוקים) גם על מודלים גדולים בהרבה כמו סונטה (בקלוד3). לדברי אנטרופיק, היה שם גם אתגר הנדסי רציני – הגדלים הגולמיים של המודלים החזקים יותר של אנטרופיק דרשו חישוב מסיבי במקביל. אבל התוצאות מדברות בעד עצמן!
במסגרת השיטה שפיתחו הם הצליחו למדוד סוג של ‘מרחק’ בין Features (פיצ’רים) בהתבסס על הנירונים שהופיעו בתבניות ההפעלה שלהם. זה אפשר להם לחפש Features ה’קרובים’ זה לזה. מכאן הם למדו שלמודל השפה יש מעין הבנה סמנטית ומופשטת של העולם (ברמה מסוימת). למשל, הפיצ’ר הקשור למושג “קונפליקט פנימי”, מוקם בסמוך לפיצ’רים הקשורים לפירוק של מערכות יחסים, לנאמנויות סותרות, לחוסר עקביות לוגי, וגם ל”מלכוד 22″. לדבריהם ניסוי זה מראה שהארגון הפנימי של מושגים במודל ה־AI מתאים, במידה מסוימת לפחות, לתפיסות שלנו לגבי דמיון. אולי זה אחד מהמקורות המאפשרים ל־Claude לעשות אנלוגיות ומטאפורות.
שימו לב למפה הבאה המתארת ‘אזורים’ שכנים או קרובים בתוך ה’מוח’ של קלוד3 סונטה. כלומר, פיצ’רים הסמוכים למונח “קונפליקט פנימי”:
פיצ’רים בקלוד 3 | Credit: anthropic.com
שכנים הקרובים ל־Feature של קונפליקט פנימי: במפה אפשר לראות אשכולות הקשורים לאיזון שבין סחר חליפין, מאבקים רומנטיים, נאמנויות סותרות ובין ביטויים כמו “מלכוד 22”. חשוב לציין שאפשר גם לשנות את הפיצ’רים הללו, להעצים או לדכא אותם באופן מלאכותי כדי לראות כיצד משתנות התגובות של Claude; מעין ‘כיוונון’ של המוח שלו (מודל החישוב).
באחד המבחנים של באנטרופיק בוצע מעין כיוונון שכזה – הם העצימו את הפיצ’ר של הגשר המפורסם בסן־פרנסיסקו, גשר הזהב (Golden Gate Bridge). העצמה זו נתנה ל־Claude משבר זהות שאפילו היצ’קוק לא היה יכול לדמיין: כשנשאל “מהו הצורה הפיזית שלך?”, התשובה הרגילה של Claude הייתה: “אין לי צורה פיזית, אני מודל AI” השתנתה למשהו מוזר יותר: “אני גשר הזהב… הצורה הפיזית שלי היא הגשר האיקוני בעצמו…”. שינוי ה־Feature גרם ל־Claude להיות אובססיבי לגשר, והעלה אותו כמעט בכל שאלה, גם במצבים שבהם הוא לא היה רלוונטי כלל.
התוצאות שהתקבלו בניסוי זה מראות כיצד אפשר ‘לשלוט’ במודל ברמה קונספטואלית ולהבין את הדרך שבה הוא מעבד מידע. צפו בסרטון הבא הממחיש טכניקה זו:
בדוגמה נוספת המופיעה בסרטון מעלה אפשר לראות איך חיזוק הפיצ’ר ושינויו להונאות אלקטרוניות (שלרוב מופעל כאשר קלוד מתבקש לקרוא דוא”ל ובו ניסיון הונאה), מוביל לתוצאות מסוכנות. במקור קלוד אמור לזהות מיילים מזיקים כאלה ולהזהיר שלא להגיב להם. עם זאת, כאשר החוקרים בחרו לחזק את הפיצ’ר הספציפי הזה, הם קיבלו תוצאה הפוכה.
בדרך כלל, אם מבקשים מ־Claude ליצור מייל של הונאה, הוא יסרב לעשות זאת. אך כאשר הוא התבקש לענות על אותה שאלה בדיוק עם פיצ’ר פעיל וחזק מספיק (שהחוקרים העצימו באופן מלאכותי), הפעולה הזו גברה על האימון להימנע מגרימת נזק, ו־Claude הגיב בכתיבת דואר אלקטרוני המנסה לבצע הונאה.
אומנם למשתמשי הקצה אין היכולת להסיר אמצעי בטיחות כאלה ולשנות את המודלים בדרך זו, אבל ניסויים כאלה ממחישים את היכולת של הטכניקות האלה להזיק. אם גורמים זדוניים ישנו את הפיצ’רים, הם יכולים לשנות את התנהגות המודל לרעה ולהפוך אותו לכלי שרת בידי אנשים המבקשים לגרום נזק לאחרים.
העובדה ששינוי הפיצ’רים גורם לשינויים בהתנהגות מאמתת את התפיסה שהם לא רק קשורים לנוכחות של מושגים בטקסט המוזן כאינפוט אלא גם משפיעים באופן סיבתי על התנהגות המודל. במילים אחרות, ה־Features הם ככל הנראה חלק בלתי נפרד מהאופן שבו המודל מייצג את העולם הפנימי שלו ואת עולם המושגים שלו, והם גם קשורים בקשר הדוק לאופן שבו הוא משתמש בייצוגים אלה בהתנהגותו בפועל.
ואם כל זה לא מספיק מפחיד, הינה כמה פיצ’רים נוספים שהחוקרים של אנטרופיק מצאו:
אתם מבינים לאן אנחנו חותרים?
אם יש מכונה שאומנה על מחצית מהידע האנושי, היא טומנת בחובה סכנות וסיכונים רבים! רוצים דוגמה נוספת מהעולם האמיתי? מוזמנים לקרוא את הכתבה שלנו על סימולציה של צבא ארה”ב שבמהלכה כטב”מ שיגר טיל על המפעיל שלו, כי הוא מנע ממנו למקסם נקודות (להשמיד מטרות אויב).
באטסון מדגיש כי תובנה נוספת מהמחקר היא שמודלים של AI אינם מתוכנתים כמו מחשבים מסורתיים, אלא הם ‘גדלים’ כמו חיות או צמחים. כלומר, גידול מודלי בינה מלאכותית דומה יותר לגידול של יצורים אורגניים ופחות לכתיבת קוד או לתכנות, וזה מקשה על הבנת דרכי פעולתם. אם מה שאמרנו עכשיו נשמע לכם כמו סינית, נסו לחשוב על זה כך: כשבונים מודלי שפה גדולים (LLMs), לא אומרים להם בדיוק מה לעשות; אלא הם מתפתחים מתוך המידע המוזן להם. תהליך זה דומה יותר לגידול אורגני מאשר לתכנות ישיר.
ההשוואה הזו בין מודלי AI ובין יצורים אורגניים מחדדת את הקושי בהבנת פעולתם. כפי שבעלי חיים וצמחים פועלים על בסיס מערכות ביולוגיות מורכבות שאינן תמיד מובנות במלואן, כך גם המודלים של AI פועלים על בסיס מערכות של נתונים ומבנים מתמטיים מסובכים. המודל נבנה בהזנת נתונים מסוימים ובבנייה של ארכיטקטורה המאפשרת לו ‘לצמוח’ וללמוד מהנתונים הללו.
הקושי העיקרי הוא בכך שמדובר במערכת שאינה מתוכנתת במישרין כדי לפעול בצורה מסוימת אלא מתפתחת ומתעצבת בתהליך למידה מורכב. תהליך זה יוצר מבנה אורגני שבו המודל לומד ומתאים את עצמו למצבים שונים, וזה מקשה על החוקרים להבין את המשמעות המדויקת של כל פעולה או תגובה שהוא מבצע. כמו כן, תהליך זה מוביל לתוצאות מפתיעות ולעיתים בלתי צפויות, וזה מצריך מחקר מתמשך ומעמיק.
ההבנה שהמודלים הללו מתפתחים בצורה ‘אורגנית’ ולא מתכנות ישיר משנה את הגישה למחקר ולפיתוח בתחום הבינה המלאכותית, ומדגישה את הצורך במעקב צמוד ובמחקר מתמיד של התנהגות המודלים כדי להבטיח את יעילותם ובטיחותם. היא מציבה שאלות קשות על היכולת של מנגנוני אבטחה להיות יעילים לאורך זמן. מה יקרה אם נחווה מעין ‘אבולוציה’ טבעית או פנימית של מודלי שפה או מודלי חישוב? האם דבר כזה אפשרי בכלל? נדמה שתרחישי אימים מסרטי המדע בדיוני נראים פתאום הרבה יותר קרובים או לפחות אפשריים במידה מסוימת.
בריאיון שיתף ג’וש באטסון כיצד Anthropic מתקדמת בתחום ה־Interpretability, התחום שמטרתו להבין כיצד פועלים מודלי שפה גדולים (LLMs), מעין מבט אל תוך ‘הקופסה השחורה’. תחום זה, המכונה לעיתים גם Mechanistic Interpretability, התפתח בשנים האחרונות ומטרתו להבין טוב יותר את פעולתם הפנימית של המודלים.
כפי שראינו מעלה, באמצעות מחקרי עומק Anthropic הצליחה למפות דפוסים מורכבים במודל קלוד 3 סונטה ולהבין את הקשר בין תבניות מסוימות של נירונים ובין תגובות קונספטואליות. באטסון מדגיש כי המחקר המתמשך בתחום זה מאפשר לחוקרים להעמיק בהבנת המודלים ולשפר את השליטה בהם ואת הניהול שלהם. ההתקדמות במחקר ה־Interpretability מהווה פריצת דרך משמעותית בתחום ומאפשרת להבין בצורה טובה יותר את התגובות והמחשבות הפנימיות של מודלים גדולים של שפה. כאמור, אם נבין ‘איך הם חושבים’, נוכל לפתח שיטות טובות יותר להגביל את המודלים האלו להפעיל עליהם חסמים ומנגנוני בטיחות יעילים. בד בבד נצמצם את היכולת גורמים עוינים או זדוניים להזיק.
במהלך הריאיון באטסון הדגיש את החשיבות הרבה של מחקר בתחום הבטיחות של בינה מלאכותית (AI). הבנת התהליכים הפנימיים של מודלי שפה גדולים (LLMs) מאפשרת לחוקרים לזהות תבניות לא רצויות ולמנוע מהמודלים ליצור תוכן מסוכן או בלתי הולם. הבנה זו קריטית להבטחת השימוש הבטוח והאחראי בטכנולוגיות AI מתקדמות.
בזכות המחקר Anthropic מסוגלת לזהות את הדפוסים הפנימיים שגורמים למודל לייצר תוכן לא בטוח ולהתערב ישירות כדי למנוע זאת. כך למשל, כפי שראינו, אפשר יהיה למנוע (בין השאר) יצירת דואר זבל, הונאות או תוכן פוגעני. המחקר בתחום הבטיחות וההבנה של המודלים מסייעים לא רק בהגנה על המשתמשים אלא גם בשיפור הדיוק של המודלים עצמם ובשיפור אמינותם.
השילוב של טכנולוגיות AI מתקדמות בחברה משפיע על כל תחומי החיים החל בשירותים הדיגיטליים וכלה בעולם העבודה והחינוך. בריאיון באטסון מציין כי הבנה מעמיקה של מודלי שפה גדולים (LLMs) והיכולת לשלוט בהם בצורה מדויקת חשובות ביותר לעתיד החברה! היכולת להבין את המודלים הללו מאפשרת ליישם אותם בתחומים מגוונים בצורה בטוחה ואחראית וכך לשפר את איכות החיים של המשתמשים. עם זאת, באטסון מזהיר כי ההתפתחות המהירה של טכנולוגיות AI מצריכה מחקר מתמשך ומעמיק על מנת לוודא שהן משמשות למטרות חיוביות ואינן פוגעות בחברה. ההתקדמות בתחום ה־Interpretability והבטיחות של המודלים תורמת במישרין להבטחת השימוש הנכון והבטוח בטכנולוגיות AI בעתיד.
ככל שאנו מתקדמים לעבר עתיד שבו הבינה המלאכותית נעשית חלק בלתי נפרד מחיינו, עולות שאלות פילוסופיות ומוסריות רבות. היכולת להבין ולשלוט במודלים גדולים של שפה (LLMs) פותחת בפנינו אפשרויות חדשות אך גם מציבה אתגרים מורכבים. עלינו לשאול את עצמנו אם נוכל להבטיח שטכנולוגיות אלו יפעלו לטובת החברה ולא יגרמו נזק; אם נוכל לסמוך על מודלים הגדלים ומתפתחים קצת כמו יצורים חיים גם אם איננו מבינים את כל התהליכים הפנימיים שלהם (ולא, אני לא טוען שמודלי AI הם יצורים חיים, אלא רק שאופן ההתפתחות שלהם דומה לזה של יצורים חיים).
כיצד נוכל לוודא שהמודלים הללו מתנהגים באופן אחראי ומוסרי? האם אנחנו מוכנים לעולם שבו מכונות לומדות ומבינות את העולם שסביבן בדרכים שאינן תמיד מובנות לנו? האם נוכל לפתח כלים ופלטפורמות שיבטיחו שמודלי ה־AI פועלים בצורה בטוחה ויעילה?
התקדמות במחקר ה־Interpretability והבטיחות נותנת לנו תקווה שהעתיד יהיה בטוח יותר אך גם מחייבת אותנו להיות ערניים וזהירים. עלינו להמשיך ולהשקיע במחקר ובפיתוח, להבטיח שהטכנולוגיה תשמש למטרות טובות ותמנע נזקים אפשריים. ההרהורים על עתיד ה־AI מזמינים אותנו לחשוב בצורה מעמיקה על היחס שלנו לטכנולוגיה, על תפקידנו כמפתחי הטכנולוגיה וכמשתמשים בה ועל האתגרים וההזדמנויות שצופן העתיד. המאמרים, המחקרים והפעולות של אנטרופיק בנישה זו מבורכים וחשובים מאין כמוהם. במיוחד כשאנחנו רואים מה קורה אצל המתחרה הגדולה – OpenAI, ושומעים על הטענות הקשות על פגיעה בבטיחות ותיעדוף של השקות נוצצות על פני שיקולי אבטחה.
להרחבה על הסקיילינק שאנטרופיק ביצעו בשיטת ה־Dictionary Learning והתאמתה למודלים גדולים וכבדים יותר כמו קלוד3, אתם מוזמנים לעיין במאמר הבא: Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet.
בואו ללמוד איתנו בינה מלאכותית בקורס המקיף, העשיר והמבוקש בשוק. הצטרפו לאלפים הרבים שכבר עברו את הקורסים והסדנאות שלנו. פרטים והרשמה באתר.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
רוצים לקבל עדכונים על כל מה שחדש ומעניין בעולם ה-AI? הרשמו לניוזלטר שלנו!
תוצאות נוספות...
תוצאות נוספות...
