הדור הבא של מודלי הדיפוזיה – ייצור תמונות במהירות שיא עם sCM של OpenAI

הבינה המלאכותית הג’נרטיבית עוברת תהליך מואץ של התפתחות בשנים האחרונות, במיוחד בזכות מודלים דיפוזיים (Diffusion Models). מודלים אלה הצליחו לייצר תמונות ריאליסטיות, מודלים תלת-ממדיים, אודיו ווידאו באמצעות תהליך דגימה הדרגתי שמבוסס על הסרת רעש. עם זאת, אחת המגבלות המרכזיות שלהם היא תהליך הדגימה האיטי, אשר מקשה על יישום המודלים הללו ביישומים הדורשים יצירה בזמן אמת. חברת OpenAI הצליחה ליצור פריצת דרך בטכנולוגיה זו באמצעות פיתוח מודל חדש בשם sCM, המציע חלופה מהירה ומדויקת יותר.

מה הם מודלים דיפוזיים ולמה הם חשובים?

מודלים דיפוזיים מבוססים על עקרונות מתמטיים המאפשרים להפוך תהליך רעש (Noise) אקראי לתהליך יצירתי ומאורגן. הם יוצרים דגימות על ידי התקדמות דרך צעדים רציפים רבים (Steps), כאשר כל שלב בתהליך מחזיר את הדגימה לכיוון תמונה נקייה יותר או “מסודרת” ו”ברורה” יותר מהרעש שממנו נוצרה. תהליך זה מספק תוצאות באיכות גבוהה במיוחד, אך הוא דורש כמות ניכרת של זמן ומשאבים חישוביים.

התקדמות זו הפכה את המודלים הדיפוזיים לכלי מרכזי ליישומים כמו יצירת אומנות ממוחשבת, הנפשה וידאו מורכבת, ואפילו ייצור מוזיקה ואודיו בסגנונות שונים. עם זאת, עבור יישומים הדורשים תגובה מהירה וזמן עיבוד מינימלי, כמו מערכות אינטראקטיביות בזמן אמת, המודלים הללו לא תמיד מספקים את המענה הנדרש. בשנה האחרונה היינו עדים למספר פיתוחים יצירתיים ופורצי דרך, כמו למשל פיתוח מנוע המשחק GameNGen, שמאפשר לג’נרט משחק מחשב דמוי Doom בזמן אמת, בעזרת מודלי SD ישנים ורזים יותר.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס מקיף לבינה מלאכותית - GenAI Master

לפרטים נוספים לחצו כאן >>

הצגת מודל sCM: קפיצה באיכות ובמהירות

מודל sCM (מודל עקביות בזמן רציף) של OpenAI מציע פתרון יעיל במיוחד לבעיה זו. על פי המחקרים, מודל זה מפשט את הניסוח התיאורטי של מודלי עקביות ודיפוזיה ומאפשר דגימה איכותית תוך שימוש בשני שלבי דגימה בלבד. המשמעות היא שהמודל יכול לייצר דגימות במהירות גבוהה יותר מפי 50 בהשוואה למודלים דיפוזיים רגילים! 

מודל sCM – פחות צעדים, יותר מהירות! | Credit: OpenAI

הישגי מודל sCM:

• מהירות גבוהה: המודל sCM מציג מהירות גבוהה ויוצאת דופן, המאפשרת יצירת דגימה בודדת תוך 0.11 שניות בלבד ושני צעדים בלבד, על גבי כרטיס GPU מסוג A100. נתון זה מייצג פריצת דרך משמעותית בעולם המודלים הג’נרטיביים, שכן הוא מאפשר שיפור מהותי בזמני העיבוד. לשם השוואה, למודל דיפוזיה קלאסי לקח 6.23 שניות ו-63 צעדים כדי להגיע לדגימה איכותית – הבדל שמדגיש את הקפיצה האדירה ביעילות העבודה של מודל sCM. יעילות זו מאפשרת לא רק עיבוד מהיר יותר של נתונים אלא גם חיסכון ניכר במשאבי חישוב וזמן, מה שהופך את המודל למתאים במיוחד ליישומים בזמן אמת כמו משחקים ממוחשבים, אפליקציות אינטראקטיביות ואנימציות מורכבות.

• רזולוציה גבוהה היא תכונה נוספת של המודל, המוכיחה את יכולתו להתמודד בהצלחה עם נתונים ברזולוציה של 512×512 פיקסלים, תוך שימוש ב-1.5 מיליארד פרמטרים. היכולת הזו מאפשרת יישום טכנולוגיית sCM בפרויקטים הדורשים רזולוציה גבוהה כמו עיבוד תמונות רפואיות, עריכת וידאו ברמה גבוהה ויישומים אחרים שבהם דיוק ותאימות לרזולוציות גבוהות הם קריטיים.

• איכות הדגימה היא גם אחת הנקודות החזקות של מודל sCM. למרות שהוא משתמש במספר מועט של צעדי דגימה, הוא מצמצם את הפער באיכות לעומת המודלים הדיפוזיים המסורתיים לכדי פחות מ-10% במדד FID (Fréchet Inception Distance). מדד זה משקף את איכות הדגימות שנוצרות, כאשר ככל שהמדד נמוך יותר, כך איכות הדגימה גבוהה יותר. המשמעות היא שמודל sCM מסוגל לייצר דגימות כמעט באותה רמה כמו המודלים הדיפוזיים המובילים, אך תוך חיסכון משמעותי בזמן ובמשאבים.

תמונות שנוצרו בתהליך של שני צעדים בלבד ממודל עקביות בזמן רציף (sCM) שאומן על ImageNet ברזולוציה של 512×512. מדהים! | Credit: OpenAI

כיצד פועל מודל sCM?

מודלי עקביות מתוכננים להמיר רעש ישירות לדגימות נקיות מרעש בצעד אחד בלבד, בניגוד למודלים הדיפוזיים הקלאסיים שדורשים עשרות צעדים להשלמת תהליך הדגימה. OpenAI הצליחה לפתח טכנולוגיה זו על ידי איחוד פרמטריזציות קודמות של מודלי עקביות ודיפוזיה, והצעת פתרונות לשיפור היציבות בתהליך האימון. השיפורים כוללים תיקוני פרמטרים בתהליך הדיפוזיה ושיפורים באדריכלות הרשתות ובמטרות האימון. הגישה החדשה מייצרת יתרונות כמו הפחתת טעויות בדגימה ושיפור היציבות, לצד היכולת להגדיל את היקף המודלים לאינספור פרמטרים, מה שמוביל לאפשרות ליישומים רחבי היקף עם איכות גבוהה יותר.

אחד ההיבטים הבולטים של מודל sCM הוא שהוא מסתמך על מודלים דיפוזיים מאומנים מראש לשם אתחול התהליך והזיקוק. גישה זו מאפשרת למודל לשמר את הידע שנצבר במודל המורה ולהשתמש בו לייצור דגימות מהירות יותר עם איכות קרובה מאוד לזו של המודל המורה.

מדדי איכות: האם זה באמת עובד?

הערכת איכות הדגימות נמדדת לרוב באמצעות מדד ה-FID, שבו ככל שהמדד נמוך יותר, כך האיכות גבוהה יותר. מודל sCM הצליח להשיג ציוני FID מרשימים במיוחד על מערכי נתונים מגוונים.

FID Scaling | Credit: OpenAI

נתונים אלו ממקמים את המודל בקדמת הבמה וממחישים את יכולתו להתחרות במודלים דיפוזיים מובילים, אך בזמן עיבוד מופחת משמעותית.

מגבלות ואתגרים

על אף ההתקדמות המרשימה, ישנם עדיין אתגרים טכנולוגיים משמעותיים. המודל תלוי בשימוש במודלים מאומנים מראש, מה שעלול להקשות על פיתוח גרסאות עצמאיות ללא צורך בהסתמכות על מקורות חיצוניים. בנוסף, מדדי איכות כמו FID עשויים שלא לשקף את איכות הדגימות באופן מושלם, מה שמעלה את הצורך בבדיקות איכות אחרות או בשיפורים במדדי האיכות הקיימים.

השפעות עתידיות על התחום

המודל החדש מצביע על הכיוון בו פונה תחום הבינה המלאכותית הג’נרטיבית – שילוב של מהירות גבוהה יותר ואיכות דגימה מצוינת. תכונות אלה הופכות את sCM למתאים במיוחד ליישומים בזמן אמת כמו יצירת תוכן דינמי, מערכות משחקים חכמות, וכלי מציאות מדומה ומוגברת. הפוטנציאל לשימושי AI בזמן אמת מתרחב משמעותית, מה שיכול להוביל להתקדמות בתחומים מגוונים כמו עיצוב, אומנות, רובוטיקה ומדיה אינטראקטיבית.

OpenAI ושותפיה ממשיכים לפתח מודלים ג’נרטיביים תוך התמקדות בשיפור מהירות ההיסק ואיכות הדגימה. התקדמות זו עשויה לכלול שיפורים בתהליכי אימון המודלים, הגדלת היקף הפרמטרים, ושימוש במודלים משולבים המאפשרים שימושים מותאמים אישית. בטווח הרחוק, ייתכן שנראה את טכנולוגיית sCM מובילה לשילובים מעניינים עם טכנולוגיות AI אחרות כמו רשתות נוירונים מבוססות וקטורים או יישומים המשלבים בין ראייה ממוחשבת לעיבוד שפה טבעית.

היכולת להאיץ תהליכי דגימה תוך שמירה על איכות גבוהה משנה את כללי המשחק בעולם הבינה המלאכותית, ומאפשרת יישומים חכמים ויעילים יותר שמתקרבים לחוויות בזמן אמת. sCM מציג לא רק התקדמות טכנולוגית מרשימה אלא גם פתח לעולם חדש של אפשרויות יצירתיות וחדשניות.

להרחבה – המחקר המלא.