15 התובנות של יאן לה-קון (ראש תחום ה־AI במטא) על בינה מלאכותית

בריאיון מרתק בן 3 שעות יאן לה-קון, ראש תחום ה־AI במטא וחוקר מוביל בתחום למידת המכונה, שיתף את לקס פרידמן בגישתו האופטימית בנוגע לעתיד הבינה המלאכותית. לה-קון מאמין ש־AI תביא להעצמה אנושית ודוחה את תרחישי האימה של השתלטות מכונות. הוא מדגיש את הצורך בסבלנות וטוען שהפריצות הבאות יגיעו מכיוונים שונים – יותר במודלים כמו JEPAs ופחות במודלי שפה גנרטיביים.

אבל לפני הכול – הישארו מעודכנים! הצטרפו לרשימת התפוצה שלנו ולא תפספסו שום עדכון, חידוש או מידע על כלים חדשים שיוצאים.

הריאיון המלא

לקס פרידמן אירח את יאן לה-קון (ראש תחום ה־AI של מטא ואחד החוקרים המכוננים של למידת המכונה בעשורים האחרונים) בפודקאסט שלו לריאיון שלישי במספר. הריאיון ארך כמעט 3 שעות, אבל זה לא הפריע לו לקבל יותר מ־280 אלף צפיות בתוך יום אחד. ייתכן שרוב הצופים לא באמת צפו עד הסוף, או צפו בקושי בחצי שעה. וגם אני לא באמת צפיתי.

הנקודות המרכזיות בגישתו של לה-קון:

• אופטימיות (תרחיש האימים שבינה מלאכותית תשמיד אותנו אינו סביר. במקום זאת האנושות תתעצם בזכות בינה מלאכותית).

• סבלנות (AGI יגיע, אבל לא כל כך מהר).

• פריצות הדרך הבאות יגיעו מכיוונים שונים; לא ממודלי שפה ובאופן כללי לא מבינה מלאכותית גנרטיבית.

הינה 15 נקודות חשובות נוספות שהודגשו בריאיון:

1. מודלי שפה גדולים (LLMs) כמו GPT-4 ולאמה 2 אינם מספיקים כדי להגיע לאינטליגנציה על אנושית כיוון שאין להם יכולת להבין את העולם הפיזי, אין להם זיכרון מתמשך ויכולת תכנון והיסק.
2. ילד בן 4 נחשף ל־10 בחזקת 15 בתים של מידע באמצעות חוש הראייה שלו לעומת 10 בחזקת 13 בתים בלבד שעליהם מאומנים LLMs. רוב הלמידה וההבנה שלנו מגיעה מאינטראקצייה עם העולם האמיתי ולא משפה.
3. מודלי joint embedding (JEPAs) עם ארכיטקטורה מנבאת הם כיוון מבטיח יותר לבינה מלאכותית אנושית בהשוואה למודלי שפה גנרטיביים (הערה – לה-קון שוקד על פיתוח מודלי JEPAs, והוא חלוק על גישתם של OpenAI שאפשר להגיע ל־AGI באמצעות בינה מלאכותית גנרטיבית).
4. האופטימיזציה לתכנון פעולות צריכה להיעשות במרחב הייצוגים המופשטים ולא במרחב המילים. מערכות דיאלוג עתידיות צריכות לחשוב ולתכנן את התשובה שלהן לפני שהן מייצרות טקסט (הערה – לה-קון מעריך שהפיתוח של ׳מודלי פעולה׳ שיניעו רובוטים לא תיעשה באמצעות מודלי שפה).
5. לה-קון מציע לנטוש מודלים גנרטיביים לטובת ארכיטקטורות joint embedding וייצור אוטו־רגרסיבי; מודלים הסתברותיים לטובת מודלי אנרגיה; ושיטות ניגודיות (contrastive) לטובת שיטות מוסדרות.
6. לה-קון חושב שלמידת חיזוק (reinforcement learning) צריכה לשמש רק לכוונון דק (fine-tune) של מודל עולם שנלמד ברובו מראש ללא הנחיה (unsupervised) וללא למידת המודל מאפס (הערה – ייתכן שבכך הוא רומז לגישה של דיפמיינד התומכת בהשגת פתרון מלא לבעיות עולמיות בלמידת חיזוק).
7. פלטפורמות קוד פתוח הן הפתרון למניעת ריכוז יתר של כוח בידי חברות בודדות. כך כל אינטראקצייה שלנו עם העולם הדיגיטלי תתווך באמצעות מערכות AI. הדרך היחידה לגיוון היא פלטפורמות AI ופיתוח שימושים מגוונים בעזרתן (הערה – זאת הגישה שלה-קון מוביל במטא, המייעדת את המודלים החזקים שלה לקוד פתוח).
8. לה-קון טוען שאי אפשר ליצור מערכת AI חסרת הטיות, כי הטיות נמצאות ‘בעין המתבונן’. הפתרון הוא גיוון והיצע של מבחר מערכות AI שונות, בדיוק כפי שאנחנו רוצים עיתונות חופשית ומגוונת.
9. לה-קון אופטימי לגבי היכולת של בני אדם לפתח מערכות AI בטוחות ומועילות ולהוסיף להן מדרג של מעקות (guard rails) מתאימים. הוא אינו רואה בכך סכנה קיומית מיידית.
10. לה-קון חולק על הטענה של אנשים כמו אלון מאסק שמערכות AI עלולות להיות מסוכנות ובלתי ניתנות לשליטה כמו נשק גרעיני. לדעתו התפתחות בינה מלאכותית תהיה תהליך הדרגתי שהמערכות הטובות בו ישמשו לאיזון המערכות המזיקות.
11. לה-קון צופה עתיד שבו רובוטים הומנואידים יהיו נפוצים ויסייעו בביצוע משימות ביתיות מורכבות, אבל זה מצריך שנים של פיתוח מודלים להבנה ולתכנון של העולם האמיתי (הערה – הרובוטים שיסתובבו בינינו בעתיד, עדיין לא ממש קרובים).
12. לה-קון אופטימי לגבי העתיד, כי בינה מלאכותית תיתן יכולות של “צוות אסיסטנטים חכמים” לכל אדם, ותגביר את האינטליגנציה הכללית של האנושות. השפעתה על האנושות תהיה כהשפעתה של המצאת הדפוס.
13. “האינטליגנציה היא משאב הנחוץ ביותר… כל הטעויות של האנושות נובעות מחוסר אינטליגנציה או מחוסר ידע. אז לעשות אנשים חכמים יותר – יכול להיות רק דבר טוב” (נקודה מעניינת מאוד).
14. לה-קון מציין שיש עוד הרבה אתגרים פתוחים בתחום, כמו איך ללמוד ולהבין את העולם מקטעי וידאו באמצעות ארכיטקטורות joint embedding, איך לבצע תכנון עם מודל עולם נלמד, ואיך ללמוד מודל היררכי לתכנון פעולות.
15. לסטודנטים לתארים מתקדמים הוא ממליץ להתמקד בלמידה עצמית של מודלים להבנת העולם מתוך נתונים, בתכנון באמצעות מודלים כאלה, ובלמידת מודלים היררכיים לתכנון.

לסיכום

הריאיון מציג את גישתו של לה-קון ב־15 נקודות מרכזיות. הוא מדגיש את המגבלות של מודלי שפה גדולים וקורא להתמקדות ביכולות ההבנה של העולם הפיזי, בזיכרון מתמשך ובתכנון. לה-קון תומך בפלטפורמות של קוד פתוח, בגיוון של מערכות AI ובפיתוח מעקות להבטחת הבטיחות. הוא אופטימי לגבי עתיד שבו AI תשמש כ”צוות של אסיסטנטים חכמים” לכל אדם ותגביר את האינטליגנציה הכללית של האנושות. הריאיון ממליץ לסטודנטים להתמקד בלמידה עצמית של מודלים להבנת העולם, בתכנון ובפעולה, וכך הוא מסתיים.