ה-AI על המפה: פרס נובל לג’פרי הינטון וג’ון הופפילד

ברייקינג! תחום ה-AI מקבל הכרה רשמית וגלובלית (אם למישהו זה עדיין לא היה ברור), והפעם בעקבות הזכייה ההיסטורית בפרס נובל לפיזיקה בשנת 2024 על ידי ג’פרי הינטון וג’ון הופפילד. זכייה זו מסמלת ציון דרך חשוב בהתפתחות הבינה המלאכותית ולמידת המכונה. שני החוקרים, כל אחד בדרכו הייחודית, הניחו את היסודות לטכנולוגיות המשמשות היום בפיתוח רשתות עצביות מלאכותיות. בזכות עבודתם החדשנית, העולם המדעי והטכנולוגי התקרב לשכפול תהליכי למידה ואינטראקציה שמבוססים על המוח האנושי. 

ההכרה בג’פרי הינטון כאחד מאבני הדרך המרכזיות בפיתוח הבינה המלאכותית בכלל, והלמידה העמוקה בפרט, משקפת את ההשפעה האדירה של מחקריו ותרומותיו בתחום זה. הינטון, שכונה לא פעם “הסנדק של ה-AI”, או ליתר דיוק: “הסנדק של הלמידה העמוקה”, היה דמות מפתח בהתפתחות התחום, ואחד מהאחראים לשינוי המשמעותי שהתחולל בטכנולוגיות למידת המכונה ורשתות עצביות. מאמר זה ירחיב על ההישגים המרכזיים שלו ושל שותפו לזכייה בפרס נובל, ג’ון הופפילד, תוך שימת דגש על הטכנולוגיות פורצות הדרך וההשלכות הרחבות של פיתוחיהם.

פרס נובל לפיזיקה 2024: הכרה בתרומה לבינה מלאכותית

האקדמיה המלכותית השבדית למדעים הכריזה כי פרס נובל לפיזיקה לשנת 2024 יוענק לפרופסור ג’פרי הינטון מאוניברסיטת טורונטו ולפרופסור ג’ון הופפילד מאוניברסיטת פרינסטון, על “המצאות וגילויים יסודיים המאפשרים למידת מכונה באמצעות רשתות עצביות מלאכותיות.” ההכרה בעבודתם של השניים משקפת את השפעתם הרחבה על תחום הבינה המלאכותית והקשר ההדוק בין תחומי הפיזיקה ולמידת המכונה.

שיטות פיזיקליות בלמידת מכונה

בעבודותיהם, השתמשו הינטון והופפילד בכלים פיזיקליים כדי לפתח שיטות שמהוות בסיס לרשתות עצביות מלאכותיות מודרניות – טכנולוגיה שעומדת בבסיסה של מהפכת הבינה המלאכותית. הופפילד, למשל, פיתח רשת זיכרון אסוציאטיבית המסוגלת לשמור ולשחזר דפוסים מתוך נתונים, כמו תמונות או מערכי מידע אחרים. זו הייתה אחת ההמצאות המרכזיות שתרמה להבנת העקרונות שמאחורי רשתות עצביות. הינטון, מצידו, המציא שיטה שבאמצעותה יכולה רשת עצבית לזהות וללמוד מאפיינים אופייניים בנתונים – טכנולוגיה שנמצאת בבסיס היכולת של מערכות זיהוי תמונה, תרגום שפות, ואף מערכות שמבצעות שיחות “שקולות” עם משתמשים.

רשתות עצביות: חיקוי של פעולת המוח

הרשתות העצביות המלאכותיות שפותחו על ידי הינטון והופפילד קיבלו השראה ממבנה המוח האנושי. ברשתות אלה, נוירונים מלאכותיים מייצגים קשרים בין יחידות חישוביות, כאשר כל אחד מהם משפיע על השני בדומה לסינפסות במוח. תהליך האימון של הרשת מבוסס על חיזוק הקשרים בין נוירונים מלאכותיים עם ערכים גבוהים, פעולה שמדמה את חיזוק הקשרים במוח בעת למידה.

שני החוקרים הראו כי ניתן לאמן רשתות עצביות על ידי שימוש בכלים מתחום הפיזיקה, מה שאפשר למכונות לבצע משימות מורכבות כגון זיהוי עצמים בתמונות. הרשתות שפיתחו מתעדכנות על בסיס הנתונים המוזנים להן, ומשפרות את ביצועיהן בצורה רציפה.

רשתות נוירונים מחקות את מבנה המוח האנושי | Credit: ©Johan Jarnestad/The Royal Swedish Academy of Sciences

בתמונה מעלה ניתן לראות השוואה בין נוירונים טבעיים במוח האנושי לבין נוירונים מלאכותיים ברשתות עצביות. בצד השמאלי של התמונה, מוצג נוירון טבעי, שהוא תא מוח שמתקשר עם נוירונים אחרים דרך סינפסות – החיבורים בין הנוירונים. כאשר אנחנו לומדים דברים חדשים, הקשרים בין נוירונים מסוימים מתחזקים בעוד אחרים נחלשים. תהליך זה מדמה את התהליך הביולוגי שבו המוח מתפתח ומשתפר בלמידה.

בצד הימני, מוצג נוירון מלאכותי – יחידה ברשת עצבית מלאכותית, שמקבלת ערך מספרי. ברשת עצבית מלאכותית, ה”צמתים” (Nodes) מחוברים זה לזה, והקשרים ביניהם מתחזקים או נחלשים במהלך האימון של הרשת. כאשר שני צמתים פעילים בו-זמנית, החיבור ביניהם מתחזק, וכשהם אינם פעילים, החיבור נחלש. תהליך זה מדמה את האופן שבו המוח האנושי לומד, ובכך מאפשר למכונות ללמוד מבנים ודפוסים במידע.

הקשר החזק בין התנהלות הנוירונים במוח לבין אופן הפעולה של הנוירונים המלאכותיים, הוא הבסיס לפיתוח רשתות עצביות מתקדמות, שבהן נעשה שימוש נרחב היום בבינה מלאכותית.

מי אתה ג’פרי הינטון? הסנדק של הלמידה העמוקה

ג’פרי הינטון, שנולד בלונדון בשנת 1947, נחשב לאחת הדמויות הבולטות ביותר בתחום הבינה המלאכותית, וליתר דיוק, בפיתוח תחום הלמידה העמוקה (Deep Learning), יחד עם הסטודנטים שלו. אגב, ג’פרי הינטון היה המנחה לדוקטורט של איליה סוצקבר (המדען הראשי לשעבר של OpenAI) באוניברסיטת טורונטו. סוצקבר השלים את הדוקטורט שלו במדעי המחשב תחת הנחייתו של הינטון והעבודה של הינטון השפיעה רבות על המחקר והקריירה של סוצקבר, בעוד שסוצקבר המשיך לקדם ולפתח את הרעיונות שהינטון היה חלוץ בהם. רעיונות שלאחר מכן קרמו עור וגידים בצורתו של ChatGPT המפורסם.

ג’פרי הינטון | Credit: Ill. Niklas Elmehed © Nobel Prize Outreach

הינטון הוא חוקר פורץ דרך, שמחקריו הניחו את היסודות לפיתוח רשתות עצביות עמוקות (Deep Neural Networks), המבנה שמאפשר את הצלחתן של מערכות AI מתקדמות כמו ChatGPT ומערכות מבוססות על למידה עמוקה אחרות. בתור מי שכיהן כסגן נשיא בגוגל, הינטון הוביל את המאמצים המחקריים של החברה בתחום הבינה המלאכותית, והשפעתו ניכרת גם בשאר התעשייה. ב-1 במאי 2023, הודיע הינטון על פרישתו מגוגל, מהלך שהפתיע את עולם הטכנולוגיה וגרם לגל של כותרות בתקשורת. הינטון, שידוע כאדם שאינו מתבטא בקלות בנושאים שנויים במחלוקת, בחר לפרוש על רקע דאגות הולכות וגוברות בנוגע לאתיקה ולסיכונים הטמונים בבינה מלאכותית. הריאיון שבו פירט את החששות שלו מפני עתיד ה-AI עורר דיון עולמי, כאשר הינטון התריע במיוחד על כך שהפיתוחים הטכנולוגיים שהוא עזר ליצור עלולים להביא לסכנות רבות אם לא יותקנו בהם אמצעי פיקוח מתאימים.

שלוש הסכנות של הבינה המלאכותית

שיחת הטלפון המפתיעה שהעירה את ג’פרי הינטון

בשעה שתיים לפנות בוקר, בעודו שוהה בחדר מלון פשוט בקליפורניה, קיבל ג’פרי הינטון שיחת טלפון ששינתה את יומו – שיחת ההודעה על זכייתו בפרס נובל לפיזיקה. הינטון, ששהה במקום ללא חיבור אינטרנט יציב, לא ציפה כלל לבשורה זו. בתחילה חשש כי מדובר במתיחה, אך המבטא השבדי החזק של הדוברים בצד השני של הקו, לצד העובדה שהיו מספר אנשים שמעורבים בשיחה, הרגיע אותו שהשיחה אמיתית. בשיחה הינטון תיאר את ההפתעה הרבה שחש עם קבלת ההודעה, שכן לא ציפה להיות מועמד לפרס נובל בפיזיקה. הוא הודה כי יהיה עליו לשנות את תוכניותיו לאותו יום – במקום סריקת MRI שתוכננה לו, הוא יצטרך להתמודד עם תשומת הלב הרבה בעקבות הזכייה.

במהלך השיחה, הינטון שיתף גם בתובנותיו על התחום שבו עסק עשרות שנים, למידת המכונה, והביע את דאגותיו מהסיכונים העתידיים של טכנולוגיות AI מתקדמות. הוא דיבר על הצורך הקריטי להקדיש משאבים למחקר בטיחותי על מנת למנוע התפתחויות מסוכנות שעלולות לצאת משליטה, במיוחד במערכות כמו מודלים של שפה. הינטון הביע תקווה כי זכייתו בפרס תסייע להגביר את המודעות לחששות שהוא מעלה מזה זמן רב, ותיתן אמינות רבה יותר לאזהרותיו.

המעבר מהפתעה מוחלטת להכרה בהשפעה העולמית של עבודתו מראה את הדרך הארוכה שעבר הינטון בקריירה שלו – ממדען שמתעניין בפיזיקה ובביולוגיה, לאחד מהאבות המייסדים של למידת המכונה, תחום שממשיך לעצב את עתיד הבינה המלאכותית.

תגובתו של ג’פרי הינטון לשיחתת הטלפון שבה הודיעו לו על זכייתו בפרס הנובל לפיזיקה:

פיתוחים פורצי דרך: מכונת בולצמן ורשתות עצביות עמוקות

הטכנולוגיה של רשתות עצביות מלאכותיות נולדה מתוך ניסיונות להבין כיצד המוח האנושי פועל, ונבנתה בעזרת עקרונות פיזיקליים שהותאמו למבנה של מערכות למידה ממוחשבות. רשתות עצביות מבוססות על קשרים בין “נוירונים” מלאכותיים, כאשר כל יחידת נוירון יכולה להחזיק ערך מספרי שמשפיע על יחידות אחרות. בדיוק כפי שהסינפסות במוח האנושי מתחזקות או נחלשות בהתאם ללמידה, כך גם רשתות עצביות לומדות ומחזקות את הקשרים בין היחידות.

הינטון תרם לפיתוחים מרכזיים בשדה למידת המכונה, בהם פיתוח מכונת בולצמן, אחד הכלים המהותיים ביותר ברשתות עצביות. מכונה זו יכולה ללמוד לזהות דפוסים בנתונים ולבצע סיווגים מדויקים. המודל של הינטון התבסס על עקרונות פיזיקליים, במיוחד על משוואות מתחום הפיזיקה הסטטיסטית. מכונת בולצמן מתעדכנת ומבצעת למידה באמצעות עדכון הקשרים בין הנוירונים המלאכותיים, מה שמאפשר לה להתמודד עם משימות מורכבות כמו זיהוי תמונות, זיהוי דיבור, ואף יצירת תמונות חדשות שמבוססות על דוגמאות שנלמדו. הטכנולוגיה הזו הובילה לפיתוחים שמוכרים היום בשוק הבינה המלאכותית, בהם מערכות שיודעות לזהות אלמנטים בתמונות ולהבין טקסטים.

בזכות הפיתוח הזה, מכונת בולצמן הפכה לחלק מהותי במודלים מודרניים של למידת מכונה, והייתה כלי חיוני לפיתוח שיטות הלמידה העמוקה (Deep Learning) שזכו להצלחה עצומה בעשור האחרון.

רשת הופפילד והזיכרון האסוציאטיבי

ג’ון הופפילד, שותפו לזכייה בפרס נובל, פיתח בשנת 1982 רשתות עצביות המסוגלות לשמור ולשחזר דפוסים מתוך מידע שהוזן לתוכן – רשתות אלו נושאות את שמו – “רשת הופפילד”. רשת זו משתמשת במבנה מתמטי שבו הנוירונים המלאכותיים מקושרים זה לזה בקשרים חזקים או חלשים, בדומה למערכת העצבים במוח האנושי. דגם זה של רשתות עצביות מסוגל לשחזר דפוסים גם כאשר הם חלקיים או מכילים רעש, תכונה שהפכה את הרשת לשימושית במיוחד בזיהוי תמונות ובעיבוד נתונים מורכבים.

הרעיון של זיכרון אסוציאטיבי, שמציעה רשת הנוירונים של הופפילד, דומה לתהליך שבו המוח האנושי מוצא הקשרים וזכרונות על סמך מידע חלקי. לדוגמה, כאשר אנחנו מנסים להיזכר במילה מסוימת, המוח עובר דרך הקשרים דומים עד שהוא מגיע למילה הנכונה. כדי להבין טוב יותר כיצד פועלות רשתות עצביות, ניתן לחשוב על תהליך הלמידה במוח. הנוירונים במוח האנושי פועלים ביחד כדי ליצור תבניות למידה חדשות כאשר מתקיים חיזוק בין נוירונים עם קשרים חזקים. דגם זה של פעולה נוירונית שימש השראה לבניית רשתות עצביות מלאכותיות, בהן החיזוקים בין הנוירונים המלאכותיים קובעים את ביצועי הרשת.

רשת הזיכרון האסוציאטיבית של ג’ון הופפילד | Credit: ©Johan Jarnestad/The Royal Swedish Academy of Sciences

התמונה מסבירה את אופן פעולתה של רשת הזיכרון האסוציאטיבית של ג’ון הופפילד, שמשווה את התהליך לשינוי צורה של נוף אנרגטי. הרעיון המרכזי הוא שברשת עצבית, כאשר מידע חדש נלמד, הרשת יוצרת עמק בנוף וירטואלי של אנרגיה עבור כל דפוס שנשמר בזיכרון.

1. קלט דפוס: כאשר רשת שאומנה מוזנת עם דפוס מעוות או לא שלם, הדבר מושווה להשלכת כדור במורד שיפוע בתוך הנוף האנרגטי הזה. הכדור מייצג את תהליך החיפוש של הרשת אחר הדפוס השמור הקרוב ביותר לדפוס שהוזן.

2. תהליך חיפוש דפוס שמור: הכדור מתגלגל בנוף האנרגטי עד שהוא מגיע לנקודה שבה הוא מוקף בגבהות. כלומר, הרשת מתקדמת לאורך הנוף לעבר מצב של אנרגיה נמוכה יותר, מה שמאפשר לה לשחזר את הדפוס השמור הקרוב ביותר לדפוס המעוות שהוזן.

בכך, רשת הופפילד פועלת על בסיס חיפוש אחר מינימום אנרגטי, כך שהדפוס השמור הקרוב ביותר לדפוס הקלט נמצא בצורה דומה להתאמה בין הכדור לבין העמק בנוף האנרגטי.

היכולת של רשתות עצביות לשנות את הקשרים בין הנוירונים שלהן מאפשרת להן ללמוד מדוגמאות – תכונה קריטית להצלחתה של למידת המכונה המודרנית. עם כל אימון, הרשתות הללו משפרות את היכולת שלהן לזהות דפוסים חדשים, לסווג תמונות או לפתור בעיות מורכבות.

למרות שמחשבים אינם חושבים באופן עצמאי, הם כיום מסוגלים לחקות תפקודים כמו זיכרון ולמידה, הודות לטכנולוגיות שפיתחו החוקרים המרשימים הללו.

רשתות עצביות מלאכותיות | Credit: ©Johan Jarnestad/The Royal Swedish Academy of Sciences

התמונה מעלה מציגה שלושה סוגים שונים של רשתות עצביות מלאכותיות, שכל אחת מהן מבוססת על עקרונות שונים של למידת מכונה, כולל רשת הופפילד, מכונת בולצמן, ומכונת בולצמן מוגבלת (Restricted Boltzmann Machine). כל רשת שונה באופן שבו היא מאורגנת ובאופן שבו היא מטפלת במידע:

1. רשת הופפילד (Hopfield Network): רשת הזיכרון האסוציאטיבי של הופפילד בנויה כך שכל הצמתים (nodes) מחוברים זה לזה. כל אחד מהצמתים יכול להיות במצב 0 או 1. המידע מוזן לכל הצמתים בו-זמנית ונקרא מתוכם. זו רשת עצבית בה כל הצמתים משפיעים אחד על השני באופן ישיר.

2. מכונת בולצמן (Boltzmann Machine): המכונה של ג’פרי הינטון מורכבת לעיתים קרובות משתי שכבות: שכבת צמתים גלויים (visible nodes), שממנה מוזן המידע, ושכבת צמתים חבויים (hidden nodes) שמחוברים לצמתים הגלויים ומשפיעים על התפקוד הכולל של הרשת. הצמתים החבויים מייצרים ייצוג מופשט יותר של המידע הנכנס.

3. מכונת בולצמן מוגבלת (Restricted Boltzmann Machine): במכונת בולצמן המוגבלת אין חיבורים בין הצמתים באותה שכבה. הרשת בנויה כך שהצמתים הגלויים מחוברים לצמתים החבויים, אך אין חיבורים בין הצמתים בתוך השכבה עצמה. לאחר אימון הרשת הראשונה, התוכן של הצמתים החבויים מועבר לאימון הרשת הבאה, וכך ממשיכים באימון מכונות ברצף.

שלושת סוגי הרשתות הללו מייצגים גישות שונות לעיבוד ולמידה של מידע באמצעות רשתות עצביות מלאכותיות, והן חלק מהטכנולוגיות המרכזיות שנמצאות בבסיס התפתחות הבינה המלאכותית המודרנית.

ה-AI פה כדי לשנות את העולם (וגם את עולם הפיזיקה)

הפיזיקה לא רק תרמה להתפתחות הבינה המלאכותית, אלא גם מרוויחה ממנה. רשתות עצביות מלאכותיות משמשות כיום בתחומים שונים במדעי הפיזיקה, כמו ניתוח נתונים בהיקף עצום, למשל בניסויים שבהם יש לנתח מידע העולה מהגלאים במחקר חלקיקי היגס או עיבוד אותות של גלי כבידה מהתנגשויות של חורים שחורים. בנוסף, בעשור האחרון חלה עלייה משמעותית בשימוש ברשתות עצביות לחישוב תכונות של מולקולות, מה שמוביל לפיתוח חומרים חדשים עם תכונות משופרות כמו תאים סולריים יעילים יותר.

התפתחות רשתות עצביות עמוקות הביאה למהפכה בבינה המלאכותית בשנים האחרונות, עם גידול עצום ביכולת הרשתות לטפל במידע רב ולהפיק ממנו תובנות. המודלים העכשוויים מסוגלים להכיל מיליארדי פרמטרים, והם ממשיכים להתפתח ולשפר את היכולות הטכנולוגיות בתחומים רבים. הפיתוחים של הינטון והופפילד, שמבוססים על חיקוי הפעולה של המוח האנושי, היו פריצת דרך בתחום. הרעיון המרכזי של חיזוק קשרים בין נוירונים הוא עדיין אחד מעקרונות היסוד בלמידה העמוקה, ומבוסס על ההיפותזה של דונלד הבּ (Donald Hebb) משנות ה-40, שטענה כי הלמידה מתרחשת כאשר נוירונים פועלים במשותף ומחזקים את הקשרים ביניהם.