בעידן שבו בינה מלאכותית הופכת במהירות לאחת מהטכנולוגיות המשפיעות והמעצבות ביותר בעולם – כלכלית, ביטחונית וחברתית – עולה שאלה קריטית: האם אנחנו באמת מבינים איך הכלים שאנחנו בונים פועלים? עם השאלה הזו מתמודד דריו אמודיי, מנכ”ל ומייסד-שותף של חברת Anthropic, במאמר עומק מקיף ומעורר מחשבה שנקרא The Urgency of Interpretability אותו שיתף לאחרונה בבלוג האישי שלו. אמודיי, אחד מהדמויות המרכזיות בפיתוח מערכות AI מתקדמות, מציג את מה שהוא רואה כאחת מהמשימות הדחופות של התחום: פיתוח יכולת אמיתית להבנת “המחשבות הפנימיות” של מודלים ג’נרטיביים. במילים אחרות – לבנות MRI למוח של הבינה המלאכותית, לפני שהיא הופכת חזקה מדי.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
גם כשהמודלים הופכים למדויקים ומרשימים יותר – אנחנו עדיין לא יודעים למה הם בוחרים במילים מסוימות, טועים במקרים אחרים, או מגיבים בצורה שנראית לפעמים יצירתית ולפעמים מסוכנת.
“אנשים מחוץ לתחום נדהמים לגלות שאנחנו לא באמת מבינים איך היצירות שלנו עובדות – ובצדק. זה חסר תקדים בהיסטוריה של הטכנולוגיה.”
לפי אמודיי, זה לא רק חיסרון טכני – אלא סיכון מהותי. לדוגמה, לא ניתן כיום לשלול שמודלים יפתחו דפוסים של הונאה או חתירה לעוצמה, פשוט כי אין לנו גישה לתהליכי החשיבה הפנימיים.
לפי אמודיי, קצב ההתקדמות של הבינה המלאכותית לא ניתן לעצירה – אבל הסדר שבו בונים דברים, אילו יישומים מקבלים עדיפות, ואיך מוציאים אותם החוצה – הם בחירה שלנו. את הבחירה הזו אפשר וצריך לכוון.
“אי אפשר לעצור את האוטובוס – אבל אפשר להחזיק בהגה.”
אחד הכלים החשובים ביותר להכוונה הזו, לדבריו, הוא אינטרפרטביליות (Interpretability) – היכולת לראות מה באמת מתרחש בתוך מודל AI.
בדרך כלל זה מרגיש כמו לנסות לפענח קופסה שחורה – המודל נותן תשובה, אבל לא ברור למה הוא בחר בה. כדי לשנות את זה, חוקרים עובדים על תחום שנקרא אינטרפרטביליות – ניסיון להבין את המנגנונים הפנימיים של המודלים – כמו לעשות להם MRI. בהתחלה, הם גילו שיש בתוך המודלים “נוירונים” מסוימים שמזהים רעיונות ברורים – למשל, נוירון שמזהה את המילה “מכונית” או את המושג “גשר שער הזהב”. אפשר לחשוב על זה כמו מילון פנימי – כל נוירון מחזיק משמעות מסוימת.
אבל מהר מאוד התברר שזה לא כל כך פשוט. רוב הנוירונים מייצגים כמה רעיונות מעורבבים יחד – תופעה שנקראת סופרפוזיציה. זה כאילו נוירון אחד אומר גם “חתול”, גם “שקט” וגם “ספק”. קשה להבין מה הוא באמת “מתכוון”. כדי להתמודד עם זה, החוקרים פיתחו שיטה שמסוגלת להפריד את הרעיונות – קצת כמו פילטר שמפריד צבעים בתמונה מעורפלת. כך אפשר לראות תכונות מורכבות יותר, כמו “היסוס” או “זעם עדין בשיר”.
ובשלב הבא הגיע רעיון מעניין במיוחד: מעגלים (Circuits). אלה רצפים של נוירונים שפועלים יחד, כמו סיפור שנבנה שלב אחר שלב. למשל, אם שואלים את המודל “מהי עיר הבירה של המדינה שבה נמצאת דאלאס?” – אפשר ממש לראות איך הוא מזהה “דאלאס”, מקשר ל”טקסס”, ואז מגיע ל”אוסטין”.
“התחלנו לראות איך רעיונות נוצרים מהקלט, איך הם משתלבים, ואיך הם מניעים פעולה. אפשר ממש לעקוב אחרי תהליך החשיבה של המודל.”
אמודיי מתאר ניסוי שבו הוכנסה בכוונה תקלה מודעת למודל – וצוותים שונים נדרשו לאתר אותה. חלקם הצליחו בעזרת כלי אינטרפרטביליות.
“השאיפה שלנו היא שאפשר יהיה לעשות סריקה של המודל, כמו MRI, ולזהות מראש בעיות כמו הונאה, חולשות באבטחה, או נטייה לרכוש עוצמה.”
החזון? MRI למוחות של מודלים, שיהיה חלק מתהליך הפיתוח והבדיקה, כמו שהרופא שולח אותך לצילום לפני שמתחילים טיפול.
אמודיי מזהיר שאנחנו נכנסים למרוץ נגד הזמן. הבינה המלאכותית מתקדמת בקצב מהיר יותר מיכולת הפירוש שלה. לדבריו, ייתכן שכבר ב־2026 יהיו מערכות חזקות כמו:
“מדינה של גאונים בתוך דאטה סנטר – עם אוטונומיה מספיקה כדי לשנות את הכלכלה והביטחון הלאומי.”
אם נגיע לשם בלי MRI מוכן – אנחנו עלולים לשחרר כוח עצום שאין לנו דרך להבין או לרסן.
אמודיי מציע שלושה כיוונים עיקריים:
אמודאי סבור שנושא האינטרפרטביליות חייב לקבל קדימות באקדמיה, במיוחד בכנסים כמו ICML (כנס בינלאומי ללמידת מכונה). לתפיסתו, זהו עניין קריטי שיש לתת לו במה ומענה הולם.
“למרות ההתקדמות, אינטרפרטביליות מקבלת פחות תשומת לב ממירוץ שחרור המודלים – וזה מגוחך. הגיע הזמן להשקיע יותר, לא פחות.”
“לא צריך עכשיו חוקים כבדים. אבל כן אפשר לחייב חברות לדווח איך הן בודקות את המודלים, כדי לייצר מרוץ חיובי לאחריות – לא רק לעוצמה.”
“הטלת מגבלות על ייצוא שבבים לסין היא לא רק עניין אסטרטגי – זו דרך לאפשר לדמוקרטיות להקדים את האוטוקרטיות בתחום הקריטי ביותר של הדור.”
הוא מציין שזה גם נותן “מרווח ביטחון” שמאפשר לפתח אינטרפרטביליות לפני שמגיעים למודלים רבי עוצמה באמת.
אמודיי נוגע בנקודה מסקרנת, שנשמעת כמו מדע בדיוני אבל נידונה יותר ויותר:
“יום אחד יתעורר חשש שמודלים של בינה מלאכותית מרגישים או חווים תודעה – כלומר, שהם לא רק מחשבים אלא אולי אפילו דומים במשהו ליצורים חושבים – נצטרך כלים שיאפשרו לבדוק את זה ברצינות. האם נוכל לדעת אם הם ‘מרגישים’ משהו? האם נוכל לבדוק אם הם סובלים? אינטרפרטביליות תהיה הכלי המרכזי להבין את זה.”
המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס מקיף לבינה מלאכותית - GenAI Master
זהו מרוץ בין יכולת הפירוש לבין עוצמת הבינה המלאכותית. המאמר של אמודיי הוא קריאת השכמה שקולה ומעמיקה: אם נבין את המודלים שאנחנו בונים – נוכל להפיק מהם את הטוב ולצמצם את הסיכון. אם לא – נישאר מאחור בזמן שמכונות חושבות מקבלות החלטות שאנחנו לא מבינים.
“אנחנו ראויים להבין את היצירות שלנו – לפני שהן ישנו את הכלכלה, את החברה, ואת העתיד של כולנו”.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
רוצים לקבל עדכונים על כל מה שחדש ומעניין בעולם ה-AI? הרשמו לניוזלטר שלנו!
תוצאות נוספות...
תוצאות נוספות...
כתיבת תגובה