דף הבית » משחק מחשב שמג’נרט את עצמו בזמן אמת! זה לא Doom – זה AI!

משחק מחשב שמג’נרט את עצמו בזמן אמת! זה לא Doom – זה AI!

אביתר אדרי

23/09/2024

זמן קריאה: 10 דקות

כבר במרץ 2023, מנכ”ל Nvidia, ג’נסן הואנג (Jensen Huang), הצהיר כי בעתיד, כל פיקסל במשחק יג’ונרט ולא ירונדר, כלומר ייווצר על ידי בינה מלאכותית (AI) בזמן אמת ולא באמצעות עיבוד גרפי קלאסי. כיום, פחות משנה מאז הצהרה זו, נראה כי העתיד הזה כבר כאן. מנוע המשחק GameNGen, שפותח על ידי צוות חוקרים ישראלים מגוגל ואוניברסיטת חיפה, מדגים בדיוק את מה שהואנג תיאר: מנוע המייצר את הפריימים של המשחק בזמן, אמת על סמך פעולותיו של השחקן, והכל באמצעות רשת נוירונים מתקדמת. זוהי דוגמה לפוטנציאל העצום של AI בשינוי הדרך שבה משחקים נוצרים ומשוחקים, ובעיקר מהווה פריצת דרך טכנולוגית משמעותית.

הישארו מעודכנים

רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.

אפשר גם להרשם לניוזלטר שלנו

המהפכה שמוביל GameNGen: מנוע משחק מבוסס בינה מלאכותית

במרכז המחקר עומד GameNGen, מנוע משחק חדשני המאפשר אינטראקציה בזמן אמת עם משחקים דינמיים. מה שמבדל את המנוע הזה הוא שהוא מתבסס כולו על מודל נוירונים מלאכותיים, מה שמאפשר ליצור חווית משחק ריאליסטית ומדויקת להפליא, תוך יצירת פריימים חדשים של המשחק על בסיס הפעולות שנעשו בו קודם לכן. למעשה, מדובר במנוע הראשון מסוגו שמאפשר סביבות משחק מורכבות שמתפקדות בזמן אמת ללא הצורך באלגוריתמים חיצוניים מורכבים. חשוב לציין – זה רק ניסוי וזה לא משחק מלא. זוהי תצוגת תכלית להפגנת פוטנציאל יכולות ולא משחק שמיש. בכדי להמחיש את יעילות המודל, GameNGen הודגם על המשחק הקלאסי DOOM – משחק יריות מגוף ראשון משנות ה-90 שרבים מאיתנו (כולל עבדכם הנאמן) גדלו עליו. משחק שהפך עם השנים לאחד ממשחקי המחשב האיקוניים והפופולאריים ביותר.

בשיתוף פעולה עם גוגל ואוניברסיטת תל אביב, הצליחו החוקרים לדמות את המשחק הישן בצורה מלאה, בקצב של מעל 20 פריימים לשנייה – הישג מרשים במיוחד בעולם המשחקים.

קצת על דום Doom

הבחירה ב-DOOM כבסיס לניסויים בטכנולוגיה החדשה אינה מקרית. המשחק DOOM, שהושק לראשונה בדצמבר 1993 על ידי חברת ID Software, שינה את עולם משחקי הווידאו בזכות מנוע גרפי חדשני שפיתח ג’ון קרמק (John Carmack). המנוע אפשר הצגת סביבות תלת-ממדיות מורכבות, תאורה דינמית ורצפות ותקרות בגבהים משתנים – כל זאת בזמן אמת ובאיכות מדהימה לזמנה. למרות שכונה “2.5D” ולא “3D מלא”, DOOM היה אבן דרך בטכנולוגיה של משחקים.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס מקיף לבינה מלאכותית - GenAI Master

שיתוף פעולה ישראלי-בינלאומי: אוניברסיטת תל אביב וגוגל

אחת מהתכונות הבולטות של המחקר הזה היא העובדה שהוא תוצר של שיתוף פעולה בינלאומי בין חוקרים ישראלים ומוסדות אקדמאיים כחול לבן, ובין גוגל. בראש המחקר עומדים ארבעה חוקרים מובילים:

דני ולבסקי – חוקר מוביל מ-Google Research, המתמחה בתחום מודלים נוירונים ובינה מלאכותית.
יניב לויתן – חוקר בכיר מ-Google Research, עם מומחיות במערכות AI מתקדמות ולמידת מכונה.
מואב ערר – חוקר מאוניברסיטת תל אביב, שעבד על המחקר במהלך שהותו ב-Google Research, והתמחה באימון מודלים נוירונים וסימולציה.
שלומי פרוכטר – חוקר מ-Google DeepMind, בעל מומחיות בלמידת מכונה ומשחקי מחשב מבוססי בינה מלאכותית.

מעבר לגאווה הלאומית, המחקר מייצג לא רק את החוזק של המוסדות האקדמיים בישראל וההון האנושי המשובח של האקדמיה הישראלית, אלא גם את יכולותיהם לשתף פעולה עם ענקיות טכנולוגיה כמו גוגל, מה שמאפשר חידושים בתחומים מגוונים דוגמת AI, מודלי דיפוזיה ומשחקי מחשב. לא מדובר רק במערכת טכנולוגית חדשה, אלא גם בהכרה נוספת בתרומה המשמעותית של חוקרים ישראלים לתחום הבינה המלאכותית והמשחקים. מואב ערר, שמוביל את שיתוף הפעולה מצד אוניברסיטת תל אביב, מדגיש כי המחקר מדגים לא רק את הפוטנציאל העצום של AI במשחקים, אלא גם את היכולת של מוסדות אקדמיים ישראלים לשתף פעולה עם חברות ענק כמו גוגל ולייצר תוצרים חדשניים בקנה מידה עולמי.

ארכיטקטורת המודל של GameNGen: מאחורי הקלעים של המנוע

כדי להבין כיצד פועל מנוע המשחק החדשני GameNGen, חשוב להיכנס לעומק המבנה האדריכלי של המודל – תהליך מורכב ומרתק שמבוסס על שימוש במודלי נוירונים ושיטות דיפוזיה מתקדמות. החוקרים פיתחו את המנוע על ידי איסוף נתונים באמצעות סוכן למידה מחיזוקים (RL) ואימון מודל דיפוזיה (Diffusion model – “הסרת רעש“), תוך שימוש בטכניקות עדינות לשיפור איכות הווידאו ולשמירה על יציבות בתצוגת המשחק לאורך זמן.

ארכיטקטורת המודל של GameNGen

1) איסוף נתונים באמצעות סוכן למידה מחיזוקים (RL)

השלב הראשון בבניית המנוע התמקד באיסוף נתונים. מכיוון שאי אפשר לאסוף כמות מספקת של משחקי וידאו ששוחקו על ידי בני אדם בקנה מידה רחב, השתמשו החוקרים בסוכן למידה מחיזוקים אוטומטי (RL-agent). הסוכן הזה אומן לשחק את המשחק DOOM, כאשר במהלך האימונים מתועדות כל התנועות שלו והפעולות שלו. המידע הזה, שכולל את הפעולות של הסוכן יחד עם התצפיות שלו במהלך המשחק, הפך למאגר נתונים עצום שנעשה בו שימוש כדי לאמן את המודל הגנרטיבי של המערכת.

תהליך זה אפשר לחוקרים לייצר מאגר מידע רב-עוצמה המורכב מפריימים שנוצרו במהלך המשחק, שבאמצעותו המערכת למדה לנבא את הפריים הבא ולשמור על איכות המשחק.

2) אימון מודל הדיפוזיה (Stable Diffusion)

לאחר איסוף הנתונים, השלב הבא התמקד באימון מודל דיפוזיה קטן, שהותאם במיוחד למשימה זו. החוקרים השתמשו בגרסה מותאמת של Stable Diffusion v1.4 (מודל ישן יחסית, אך חסכוני ומהיר). סטייבל דיפיוז’ן הוא אחד מהמודלים הפופולריים ליצירת תמונות מבוססות AI. המודל הזה תורגם כך שהוא יתאים למשחקים – כלומר, הוא מותאם לייצור רציף של פריימים בזמן אמת.

תהליך האימון של המודל התבסס על רצף של פריימים קודמים והפעולות שבוצעו במשחק, כשהמטרה היא לחזות את הפריים הבא. אולם, כדי למנוע טעויות והטיה אוטו-רגרסיבית במהלך הניבוי (auto-regressive drift), נעשה שימוש בטכניקה של הוספת רעש גאוסי (Gaussian noise) לפריימים המקודדים במהלך האימון. הוספת רעש זו מאפשרת לרשת הנוירונים לתקן את המידע שנלקח מהפריימים הקודמים, והיא נמצאה כקריטית בשמירה על יציבות הוויזואלית לאורך זמן.

3) כיוונון עדין של מפענח רשת לטנטית (Latent Decoder Fine-Tuning)

כדי לשמור על איכות גבוהה של התמונה, נעשה שימוש במודול קידוד אוטומטי קיים של Stable Diffusion v1.4. מודל זה מקודד את הפריימים לפורמט של 8×8 פיקסלים וממיר אותם לארבעה ערוצים לטנטיים (Latent channels), אבל התהליך הזה יצר ארטיפקטים שמשפיעים על הפרטים הקטנים, כמו בר התחתית (HUD) במשחק.

בשלב הזה, החליטו החוקרים לשפר את איכות הפריימים המנובאים על ידי אימון מחודש של חלק מסוים במפענח הלטנטי (latent decoder). הם ביצעו כיוונון עדין (Fine-Tuning) של המפענח כך שישפר את הדימויים הסופיים, תוך שימוש ב-MSE loss שנמדד בין הפיקסלים המנובאים לבין הפיקסלים המקוריים של הפריים. תהליך זה אפשר שמירה על איכות גבוהה של תמונות, תוך שמירה על דיוק רב גם בפרטים הקטנים ביותר.

4) שמירה על יציבות ויזואלית לאורך זמן

אחד האתגרים הגדולים בתהליך זה היה לשמור על יציבות בתמונות המיוצרות לאורך זמן. כדי למנוע מהמודל לשחזר פריימים שיכילו טעויות מצטברות (drift), הוכנס מנגנון המבוסס על הוספת רעש במהלך האימון, שמאפשר למערכת לתקן ולשפר את איכות התמונה המיוצרת גם כאשר מדובר בפריימים רבים שנוצרים זה אחר זה. השיטה הזו, בשילוב עם תיקוני האימון העדינים, אפשרה למנוע ממידע קודם להשתבש ולגרום לירידה באיכות המשחק, במיוחד כשמדובר באינטראקציות ממושכות לאורך זמן.

מסקנות ותובנות מהניסוי

הארכיטקטורה החדשנית של GameNGen משלבת בין מודלי נוירונים מתקדמים, טכניקות למידה מחיזוקים, דיפוזיה, ושיטות אימון מיוחדות המבוססות על רעש גאוסי וכיוון עדין של מפענחים. היכולת של המנוע לייצר פריימים בזמן אמת על בסיס נתוני המשחק הקודמים, תוך שמירה על יציבות ואיכות ויזואלית גבוהה, היא לא פחות ממדהימה ופורצת דרך! היא מדגימה את ההישגים האדירים של החוקרים, שמצליחים לשלב בין טכנולוגיה מתקדמת לעולם המשחקים המסורתי בצורה חלקה. שיתוף הפעולה בין אוניברסיטת תל אביב וגוגל מהווה לא רק הישג מחקרי מרשים, אלא גם פתח לאפשרויות חדשות בתחום יצירת המשחקים ובינה מלאכותית. כידוע, תעשיית הגיימינג העולמים מגלגלת מיליארדים רבים של דולרים בכל שנה, ופיתוח משחקי מחשב ואפליקציות לעיתים עולה אפילו על תקציבים של סרטי קולונע הוליוודים.

שיטה חדשה זו יכולה להוביל לדרכים חדשות ליצירת משחקי מחשב ואפליקציות בעלויות נמוכות בהרבה, וגם לסוג חדש של משחקים שנוצרים בזמן אמת, תוך כדי משחק, ובכך מאפשרים יצירת “עולם פתוח”, תוך הוזלת עלויות. המשמעות היא גם יצירה של משחקים ייחודיים – כל משתמש משחק בגרסה או עולם שייחודיים רק לו, שכן הם מג’ונרטים בזמן אמת. מדהים!

למה סטייבל דיפיוז’ן (Stable Diffusion)?

מודל הדיפוזיה שנבחר למחקר הזה הוא גרסה ייעודית של Stable Diffusion, מודל פופולרי ליצירת תמונות על פי קלטים שונים. המודל משמש לייצור פריימים חדשים בזמן אמת על בסיס הפעולות שבוצעו במשחק. מדובר בשימוש יצירתי ביותר בטכנולוגיית דיפיוזיה, כאשר המודל לוקח בחשבון את כל ההיסטוריה של המשחק ומייצר פריימים שימשיכו את הרצף באופן טבעי ואמין. המודל משולב עם אלמנטים של למידת מכונה וייצור תוכן אוטומטי, מה שמספק חוויית משחק חלקה ביותר, בקצב של מעל 20 פריימים לשנייה, וערך PSNR של 29.4, המספק איכות תמונה דומה לזו של דחיסת JPEG.

אתגרים והזדמנויות לעתיד

המחקר הנוכחי פותח דלתות חדשות לתחום משחקי המחשב, אך גם מעמיד כמה אתגרים טכנולוגיים שעדיין לא נפתרו. החוקרים מדגישים כי בעוד שהמערכת פועלת בצורה מרשימה על משחק כמו DOOM, נותרו אתגרים בפיתוח מודלים נוירונים שיתאימו למשחקים מורכבים יותר, כמו משחקים מודרניים המשלבים עולמות פתוחים ודינמיקה מורכבת.

קונטקסט קצר ובאגים בזיכרון

כמו כל טכנולוגיה חדשנית, גם למנוע המשחק המבוסס על AI של GameNGen ישנן מגבלות וקשיים טכניים. ראשית, אחת המגבלות המרכזיות של המערכת היא כמות המידע שהיא מסוגלת לאחסן. המנוע יכול לאחסן קונטרסט של כ-3 שניות בלבד, או כ-64 פריימים, מה שמוביל לפגיעה ביציבות המשחק לאחר זמן ממושך של אינטראקציה. בנוסף, כאשר שחקן אנושי משחק, ישנן יותר שגיאות והידרדרות באיכות הוויזואלית בהשוואה לשחקן AI, מאחר והשחקן האנושי נוטה לחקור את הסביבה ולהפעיל אלמנטים רבים יותר במשחק, בניגוד ל-AI שפועל בצורה מובנית ומוגבלת. המודל גם נתון לבעיות כמו זיכרון ארוך טווח של אלמנטים שכבר אינם קיימים במשחק, כגון חדרים ששחקן כבר עבר דרכם ואויבים שכבר הובסו.

תצוגת תכלית ולא מוצר מסחרי

חיסרון נוסף טמון בכך שהטכנולוגיה הנוכחית אינה מתאימה לשימוש מסחרי רחב. GameNGen דורש משאבים משמעותיים לצורך יצירת פריימים בזמן אמת, ובשלב הנוכחי הוא פועל על יחידות עיבוד טנסור (TPU) יקרות, שאינן נגישות למשתמשים ביתיים. המערכת אמנם מצליחה לייצר 20 פריימים לשנייה, אך אלו עדיין ביצועים נמוכים בהשוואה לסטנדרטים של משחקים מודרניים. כמו כן, ישנה מגבלה טכנית על יכולת המנוע לייצר עולמות משחק גדולים ודינמיים. נכון לעכשיו, הטכנולוגיה מסוגלת לייצר דינמיקה מסוימת במשחקים ישנים ובסיסיים כמו DOOM, אך עדיין אינה מסוגלת ליצור עולמות פתוחים ומורכבים כמו אלה הנראים במשחקי AAA מודרניים.

עתיד מבטיח

עם זאת, האפשרויות העתידיות לפיתוח משחקים דינמיים ואדפטיביים נראות מבטיחות מאוד. המערכת שפותחה יכולה בעתיד לשמש ליצירת משחקים שמתאימים את עצמם לשחקן בזמן אמת, ללא צורך בהנדסה מוקדמת של כל אלמנט במשחק. מעבר להישג הטכנולוגי המרשים, הפרויקט מצביע על מגמות חדשות בשוק המשחקים ובתעשיית הבידור. השימוש במודלי בינה מלאכותית ליצירת משחקים בזמן אמת יכול בעתיד לאפשר חוויות משחק מגוונות יותר, אינטראקטיביות יותר, ודינמיות הרבה יותר, עם משחקים שמתפתחים ומשתנים בהתאם להתנהגות השחקן. המחקר הזה מסמן את תחילתו של עידן חדש, שבו בינה מלאכותית תשמש לא רק ככלי עזר לפיתוח משחקים, אלא כחלק אינטגרלי מתהליך היצירה עצמו. ישראל שוב מוכיחה שהיא בחזית החדשנות בתחומים כמו בינה מלאכותית, והיא בהחלט מתכוונת להישאר שם.

רוצים להתמקצע?

בואו ללמוד איתנו בינה מלאכותית בקורס המקיף, העשיר והמבוקש בשוק. הצטרפו לאלפים הרבים שכבר עברו את הקורסים והסדנאות שלנו. פרטים והרשמה באתר.