מודלים רוצים ללמוד – מה זה אומר בעצם?

בעולם הבינה המלאכותית, ישנם מעט אנשים שמצליחים להבין את המורכבות והפוטנציאל הגלום בטכנולוגיה כפי שעושה איליה סוצקבר. סוצקבר, המוח מאחורי ההתקדמות המדהימה של OpenAI, שגם עזב את החברה בסערה השנה, תיאר את ההתפתחות של המודלים במונחים שמתחברים לאמונה ולרצון ללמידה. אך מה בדיוק עומד מאחורי האמירה שלו, “המודלים רוצים ללמוד”? איך האמונה והגישה הזו מתרגמות להצלחות מעשיות בשטח? במאמר זה ננסה לפענח את התפיסה הייחודית של סוצקבר ונבחן כיצד היא משפיעה על התקדמות הבינה המלאכותית.

הצצה לחשיבה של איליה סוצקבר

באחד הראיונות, דריו אמודיי, מנכ”ל Anthropic והאיש שעומד מאחורי Claude, סיפר שכאשר הגיע לראיון ב-OpenAI, פגש את איליה סוצקבר, שאמר לו: “תראה, המודלים רוצים ללמוד.” אמירה זו נראית משונה במבט ראשון, אך מבט עמוק יותר חושף גישה חדשנית ומתקדמת לתהליך הלמידה של מודלים גנרטיביים.

גישה של אמונה ודחיפה קדימה

בביקורו בישראל ב-2023, איליה סוצקבר התבטא באמירה אחרת שמחברת היטב לאותה גישה: “התקדמות בבינה מלאכותית היא עניין של אמונה, אמונה חזקה יותר מביאה לתוצאות טובות יותר. ככל שאתה דוחף יותר אתה משיג יותר.” על פי פרסומים, איליה (שהיה מעין מנטור לסם אלטמן מנכ”ל OpenAI) טען בפניו שהקפיצה הבאה בתחום מתרחשת כל פעם מתוך ביטחון ואמונה חזקה ביכולת המודלים להשתפר.

ביטחון בפיתוח המודלים: גישתו של סם אלטמן

סם אלטמן מציג את הביטחון הזה בהצהרותיו על הפיתוח העתידי של GPT-5 ו-GPT-6. למרות שהשדה מלא באי ודאות, אלטמן מרשה לעצמו להבטיח שהדורות הבאים יהיו חכמים יותר מהקודמים, ואף מציין כי “אנחנו נמצאים בשלב שבו ניתן לקבוע כמעט בבטחה ש-GPT-5 יהיה חכם יותר מ-GPT-4.” גישה זו נובעת מהאמונה שהיכולת שלנו להבין ולנצל את המודלים רק תלך ותשתפר.

איך הכל מסתדר יחד?

הגישה של איליה סוצקבר שמאמינה ש”המודלים רוצים ללמוד” מתארת את המודלים כבעלי יכולת להתפתח כל עוד הם נחשפים לסביבה הנכונה. זה אומר שכל עוד נספק להם מידע מגוון ועשיר, הם ימשיכו להתפתח ולהשתפר. הם יותר דומים למוח האנושי שמתפתח מגירויים ואירועים, ופחות למערכת מכנית שיש לתכנת. כמו שהמוח האנושי לומד דרך חשיפה נכונה למידע, כך גם המודלים ילמדו, ויממשו את הפוטנציאל שלהם אם נמשיך לדחוף אותם לכיוונים הנכונים.

זה מתחבר לגישת ההקופסה השחורה”, שאומרת שאנחנו לא באמת יודעים מה קורה מתחת “מכסה המנוע” של מודלי חישוב. אנחנו יודעים לבנות אותם. אנחנו יודעים לאמן אותם, אבל אנחנו לא יודעים באמת איך הם עובדים או איך הם “חושבים”.

רק השבוע נחשפנו לשמועות ש-OpenAI משתמת במודל Strawberry (לשעבר Q*) לטובת אימון מודל אחר בשם אוריון. כלומר, כיום ישנת8 מודלים שמאמנים מודלים ולא רק אנשים שמאמנים מודלים.

האמונה ככוח מניע

היכולת לראות את הפוטנציאל ולהאמין שהמודלים יכולים להשתפר היא מה שמוביל את ההתקדמות בבינה מלאכותית. איליה סוצקבר וסם אלטמן מאמינים שנמשיך למצוא את הדרכים לשפר את המודלים ולהביא אותם לרמות חדשות של אינטליגנציה ויכולת.

עם זאת, כיום שניהם מחזיקים בעמדות דיי מנוגדות. אלטמן מתעדפת פיתוחים מהירים ודראסטיים, ככל הנראה על חשבון בטיחות, בקרה ואחריות, ואילו סוצקבר, לשעבר המדען הראשי של החברה, פרק בדיוק על רקע גישה זו, שלא מתעדפת בטיחות. גישה “לא אחראית” זו (לראייתו) היא מה שדחפה אותו החוצה.

בכל אופן, הגישה הזו – לתת למודלים ללמוד – לא רק עוזרת לנו להגיע לתוצאות טובות יותר, אלא גם מניעה את כל התחום קדימה. בעולם שבו הבינה המלאכותית הופכת לחלק מרכזי מחיינו, האמונה היא הכוח שמוביל את החדשנות וההתפתחות. השאלה היא מי מאחורי ההגה, מי שולט בדאטה שהמודל גומע, מי מאמן אותו בפועל ומה יהיו תוצאות אימון זה…