טוב עזבו הכל. אבל באמת עכשיו – עזבו הכל (!) וצפו בסרטונים הללו! ברוכים הבאים לעתיד שברגע זה הפך להווה. ברוכים הבאים לעולם בו לא ניתן להבחין בין סרטון אמיתי שצולם ע”י בן אנוש ובין סרטון מג’ונרט. ברוכים הבאים ל-Sora – מודל ה-Text2Video החדש של OpenAI.
הישארו מעודכנים! הצטרפו לרשימת התפוצה שלנו ולא תפספסו שום עדכון, חידוש או מידע על כלי חדש שיוצא…
הסרטון הזה לא אמיתי!
הסרטון הזה לא אמיתי! הוא לא צולם בשום מצלמה ולא נערך בשום תוכנת עריכת וידאו. הוא פשוט נוצר במחולל הוידאו החדש Sora של OpenAI מהפרומפט הבא:
Prompt: A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.
איפה היינו לפני 10 חודשים ואיפה אנחנו היום!
לשם השוואה – שימו לב איפה היינו לפני 10 חודשים (תחילת 2023) ואיפה אנחנו היום. הסרטון הבא של וויל סמית’ אוכל ספגטי קיבל מאות אלפי צפיות והוא נוצר בעזרת סטייבל דיפיוז’ן, ע”י המשתמש “Robot Named Roy”.
עכשיו השוו את זה לסרטון של האסטרונאוט מעלה. שימו לב למרקמים, לכיסוי הראש הסרוג, לטקסטורה של העור, לעקביות בתאורה. מלבד אופן ההליכה המוזר של האסטרונאוט, מדובר בהפקה שקשה להאמין שנוצרה במחולל וידאו בתהליך דיפוזיה מתקדם, ולא צולמה על ידי מצלמה אמיתית! לא יאמן!! ומה שמפחיד שזו רק ההתחלה. זו נקודת הפתיחה של הטכנולוגיה הזו. חשבו על קצב ההתקדמות והפיתוח של כלי ה-AI המטריפים הללו – תראו מה עברנו בפחות משנה, ועכשיו נסו לדמיין איפה נהיה שנה מהיום. כמה שעכשיו זה נראה מדהים, עוד שנה זה כבר יהיה קרוב למושלם. וזו מחשבה קצת מפחידה. מה זה אומר על מציאות ודימיון? על אותנטי מול פייק? על הקלות הבלתי נסבלת שבה כל אדם בכל מקום יכול לייצר “מציאות”? מה זה אומר על הונאות או סחיטות? על עולם הפשע שתמיד יודע לנצל כל טכנולוגיה חדשה…
יודעים מה… הלכתי רחוק. מה זה אומר על יוצרי הוידאו? הצלמים, העורכים, המפיקים? מה זה אומר על חברות שלמות שיקרסו בן לילה כי כבר לא יצטרכו אותן? מה זה אומר על מאגרי הסטוק של סרטונים? שאלות שחשוב לשאול ואני כלל לא בטוח שיש לי את התשובות…
קצת היסטוריה ג’נרטיבית: צמיחתם של מחוללי וידאו ב-2023
שימו לב לסרטונים הבאים – כולם נוצרו מהנחיות טקסט בלבד. אין בהם שום רפרנס ויזואלי ו/או סרטון ששימש כשכבת בסיס. פשוט סרטונים שנוצרו מהנחיות טקסטואליות. מ-ד-ה-י-ם!!!
נתחיל מהסוף. הוא לא זמין. לפחות לא לכם. נכון להיום הכלי זמין רק ליוצרים נבחרים ובודדים בעולם (אמני ויז’ואל, קולנוענים ויוצרים בולטים), לצד צוותי פיתוח (red teams) שמטרתם לבחון את המוצר, לקחת אותו לקצה, לאתר באגים וכשלים, למצוא סיכונים ואיומים וכן הלאה.
רזולוציה וחדות מדהימה!
שימו לב לשמירה על העקביות לאורך הטיסה של ה”רחפן” (שלא קיים). שימו לב לזוויות והשמירה על המבנה של העיירה, גם כאשר המצלמה “מסתובבת”. מדהים
סורה הוא מודל דיפוזיה – מודל שמתחיל מרעש סטטי (Noise) – מעין עירבובייה של פיקסלים, שבעזרת מודלי חישוב סטטיסטיים והסתברותיים, ולאורך מספר צעדים, “מנקה” את הרעש ו”מסדר” את הפיקסלים לתמונה (פריים בודד) שהעין והמוח האנושי מסוגלים להבין.
תהליך הדיפוזיה בוידאו – הסרת רעש במספר צעדים ובמספר שכבות ופריימים
בדומה למודלים מסוג GPT, Sora משתמשת בארכיטקטורת טרנספורמרים שמאפשרת ביצועים משופרים. הם מייצגים סרטונים ותמונות כאוספים של יחידות נתונים קטנות יותר הנקראות Patches. כל אחת מהן מקבילה ל-token ב-GPT. על ידי איחוד הייצוג הם יכולים לאמן טרנספורמרי דיפוזיה על מגוון רחב יותר של נתונים ויזואליים, עם משכי זמן, רזולוציות ויחסי גובה-רוחב שונים.
המודל של Sora מבוסס על מחקרים קודמים ב-DALL·E ובמודלי GPT. הוא משתמשת בטכניקת ה-Recaptioning מ-DALL·E 3 שמערבת יצירת תיאורים מפורטים מאוד עבור הנתונים החזותיים באימון. כתוצאה מכך, המודל יכול לעקוב אחר הוראות הטקסט של המשתמש בווידאו שמיוצר באופן מדויק יותר.
בנוסף ליכולת לייצר וידאו רק מטקסט, המודל יכול לקחת תמונה קיימת ולייצר ממנה וידאו (הנפשת תמונה סטטית), וכך להפיח בה חיים, עם דיוק ותשומת לב לפרטים קטנים. המודל גם יכול להרחיב וידאו קיים או למלא פריימים חסרים.
ב-OpenIA מאמינים שסורה תשמש כבסיס למודלים שיכולים להבין ולחקות את העולם האמיתי. לדבריהם זו אבן דרך חשובה בדרך להשגת AGI (בינה מלאכותית כללית / בינת-על).
הבנה של המציאות
לא מזמן כתבנו על מודלי עולם כלליים (general world models) – החזון של ראנוויי לבניית מודלי חישוב ש”מבינים” את הסביבה, את חוקי הפיזיקה, את ההיגיון שמאחורי סיבה ותוצאה, ובשל כך יצליחו (כך מקווים בחברה) לייצר סרטונים נכונים ותקינים יותר מבחינת היכולת שלהם לחקות את העולם האמיתי, על חוקיו הפיזיקליים והאופטים. אצל ראנוויי הכל בפיתוח, והנה מגיע סורה, ונראה שב-OpenAI פיצחו את הסוד ועקפו את Runway בסיבוב. הסרטונים שלהם מפגינים הבנה מרשימה של המרחב, של חוקי הפיזיקה, של אופטיקה (השתקפויות, או וצל) וכן הלאה. נכון – זה עדיין לא מושלם ועדיין יש באגים והזיות, אבל זה מאוד קרוב. וכבר עכשיו זה נראה ממש טוב!
אלטמן משתף ונותן פייט לטענת ה”צ’רי פיקינג”
כצעד מקדים ב-OpenAI צפו שסביר להניח שרבים יניחו שבוצע פה “צ’רי פיקינג” (למי שלא מכיר – מונח המתאר בחירה בפינצטה של הסרטונים הטובים ביותר, שלאו דווקא משקף את איכות כלל התוצרים). גם אני חשבתי כך בהתחלה, אבל אז ראיתי את הציוץ של סם אלטמן, מנכ”ל OpenAI ב-X שלו (טוויטר לשעבר). הוא סיפר על השקת סורה וביקש מהעוקבים שלו לרשום לו פרומפטים הזויים, ואף איתגר אותם לרשום פרומפטים קשים ומורכבים.
הציוץ של אלטמן:
don't hold back on the detail or difficulty!
— Sam Altman (@sama) February 15, 2024
את התוצאות הוא שיתף בזמן אמת (עוד באותו יום) והנה כמה מהן. כלומר, גם פה ניתן לראות שמדובר בכלי שיודע לייצר תכנים בזמן אמת ובאיכות ורמת גימור גבוהה, ולא איזה כלי ניסיוני שמישהו דייק כל פריים ופריים שיוצא ממנו מבעוד מועד.
https://t.co/uCuhUPv51N pic.twitter.com/nej4TIwgaP
— Sam Altman (@sama) February 15, 2024
https://t.co/rmk9zI0oqO pic.twitter.com/WanFKOzdIw
— Sam Altman (@sama) February 15, 2024
here is a better one: https://t.co/WJQCMEH9QG pic.twitter.com/oymtmHVmZN
— Sam Altman (@sama) February 15, 2024
אנחנו שומעים את המילה גיים צ’יינג’ר כל 5 דקות בתעשייה הזו, אבל הפעם ללא ספק מדובר בקפיצת מדרגה טכנולוגית מפחידה ומרגשת בו זמנית. אני מודה – בפעם הראשונה שראיתי את הסרטונים שיצאו מ-Sora הייתי בטוח שזה לא אמיתי. שאין מצב שזה סרטון שנוצר בתהליך דיפוזיה מתוך טקסט, ולא איזה פילטר חכם של Video2Video. אבל ככל שראיתי יותר ויותר סרטונים (חלק גדול מהם מופיע כאן במאמר), וככל שהצלחתי להבחין גם בבאגים ובפאקים הקטנים (ידיים / אצבעות), ההבנתי שזה ה”ריל דיל”. מדובר פה בדבר האמיתי. נראה שסורה הולכת לייצר פה רף וסטנדרט חדשים שיצעידו את שאר התעשייה קדימה.
הכלי מפגין יכולות מרשימות, סרטונים ארוכים (60 שניות) ששומרים על עקביות ותנועה במרחב. חדות מרהיבה, טקסטורות, אור וצל, השתקפויות… קיצר, אם כל מה שאנחנו רואים שם באמת אמיתי… יודעים מה, אפילו אם נקבל חצי ממה שאנחנו רואים שם – זו מהפכה של ממש וזה לא פחות ממדהים!
עכשיו זכרו שזו רק ההתחלה! זו נקודת הפתיחה ומפה המודלים הללו רק ילכו וישתפרו. היכולת להבחין בבאגים והזיות, בכפות ידיים מוזרות או בחוקי פיזיקה שנשברים ילכו ויטשטשו ככל שהטכנולוגיה הזו תלך ותשתפר. אתם זוכרים איפה היינו רק לפני מספר חודשים?! כש-Gen1 ו-Gen2 שמטו לנו את הלסת.
להרחבה – לינקים, מאמרים ומחקרים
בואו ללמוד איתנו בינה מלאכותית בקורס המקיף, העשיר והמבוקש בשוק. הצטרפו לאלפים הרבים שכבר עברו את הקורסים והסדנאות שלנו. פרטים והרשמה באתר.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
רוצים לקבל עדכונים על כל מה שחדש ומעניין בעולם ה-AI? הרשמו לניוזלטר שלנו!
