שימו לב – את הסרטונים האלה אף אחד לא צילם! הם נוצרו במחולל הוידאו המוביל בעולם כיום – Runway (ראנוויי).
לראנוויי מגוון כלים ג’נרטיביים (עבור עיבוד תמונות ו/או סרטונים) לצד מגוון כלי עריכת וידאו מתקדמים, שברובם מבוססים על AI. אך שני הכלים המרכזיים והמסקרנים ביותר של החברה הם Gen1 ו-Gen2. הדור הראשון והשני של מודלי הדיפוזיה שלהם, המיועדים לג’ינרוט קטעי וידאו, בין אם מתוך שכבת בסיס של סרטון או לחלופין, ישירות על בסיס פרומפט טקסטואלי.
מה ההבדל בין GEN1 ל-GEN2?
כמה מילים על GEN 1:
ג’ן 1 הוא מחולל VIDEO TO VIDEO, כלומר, אתם מעלים סרטון ואז מג’נרטים ומשנים אותו בעזרת פרומפטים. כלי זה פתוח לציבור וזמין למי שנרשם לראנוויי. יש לחברה מסלול חינמי עם מספר קרדיטים להתנסות ולאחר מכן אפשר להטעין כסף ולהשתמש בו לטובת פעולות שונות באתר (לרבות ג’ן 1). מוזמנים לצפות בסרטון ההדגמה הבא שמסביר איך עובדים עם הכלי.
הדור הבא: GEN 2:
הדור הבא של הטכנולוגיה המהפכנית הזו נקרא ג’ן 2, והוא כבר משהו אחר לגמרי! הפעם לא צריך שום סרטון שישמש כשכבת רפרנס שעל בסיסה המחולל יג’נרט את הסרטון. ג’ן 2 הוא מחולל TEXT TO VIDEO. המשמעות של זה היא לא פחות ממהפכנית! הוא יודע לייצר סרטונים מטקסט, ללא שום רפרנס. אתם כותבים מה אתם רוצים, והוא מג’נרט את הסרטון מאפס. מדהים!
קצת דוגמאות
שימו לב לסרטון המד”ב הזה שנוצר כולו בעזרת AI עם GEN-2. מדובר באחד מהסרטונים הראשונים שנוצרו בעזרת כלי זה. הכל פה מאוד בוסרי אבל מרמז על העתיד לבוא!
התוצאות של שני הכלים הללו מאוד ראשוניות. זה עדיין לא מדויק ב-100%, יש עדיין תחושה של בוסר וזה לא תמיד פוטוריאליסטי. נכון… שני הכלים מייצרים דברים דיי מוזרים ולעיתים אף מופשטים, אך עדיין יש שם פוטנציאל אדיר, ועם קצת יצירתיות אפשר לעשות דברים מקוריים ומגניבים ביותר.
אגב, הרעיון לסרטון נוצר כשיוצר הסרטון שאל את ג’יפיטי את השאלה הבאה:
“כרגע חלמתי שאני בינה מלאכותית ואז התעוררתי בתוך מעבדה – מה המשמעות של זה?”
כן כן… מיינדפאק רציני 😬
זה מרגיש לי כמו הדורות הראשונים של דאלי או מידג’. אין לי ספק שמפה והלאה יהיו שיפורים אדירים (אם להתחשב בקצב שטכנולוגיות ה-AI צומחות ולאור מה שהתרגלנו בחודשים האחרונים).
אני לא חושב שאני מגזים כשאני אומר שיש פה מהפכה של ממש. העובדה שהפקת צילומי הוידאו הופכת מונגשת לכל אדם עם מקלדת או סמארטפון פשוט מפוצצת לי את המוח. זה יכול להיות שימושי ליוצרי וידאו, תסריטאים, קולנוענים בתחילת דרכם, מוזיקאים שכבר היום מפיקים קליפים לשירי הלהקות שלהם באפס מאמץ. פשוט הזוי כשחושבים על התקופה בה אנחנו נמצאים.
איך זה עובד?
קודם כל נכנסים לאתר של RUNWAY, נרשמים עם מייל וסיסמה ומגיעים למסך הראשי.
הסרטון הבא מציג את החלקים השונים של ממשק האתר של ראנוויי ויעזור לכם להתמצא:
בתפריט הצידי בוחרים בלשונית VIDEOS ואז בוחרים בכלי GEN-2: Text to Video.
RUNWAY GEN-2
הנדסת פרומפטים בסיסית בראנוויי
בתיבה שנפתחה לכם רושמים את הפרומפט שלכם. נכון לעכשיו אפשר לג’נרט ב-GEN2 רק 4 שניות (כל שנייה של וידאו = 5 קרדיטים פחות או יותר. תלוי בסוג הכלי או הטכניקה בה תבחרו. ראנוויי עובדים בשיטה של הטענת קרדיטים).
ההמלצה של החברה היא לבנות פרומפט בשני חלקים:
חלק 1) תיאור מילולי של ההתרחשות.
חלק 2) הסגנון – רושמים את המונח “IN THE STYLE OF…” ואז הוספה של הנחיות לקו הצילומי/אומנותי. למשל, התייחסות לסוג הצילום, הפוקוס וסוג הסרט.
אם אתם רק בהתחלה והולכים קצת לאיבוד, אפשר לקבל השראה ממאגר דוגמאות שמופיע מתחת ממשק הג’ינרוט. פשוט לוחצים על הסצינה שמושכת לכם את העין והפרומפט שלה מיד יועתק לתוך תיבת הטקסט של הפרומפטים.
יש אפילו אפשרות להעלות תמונת רפרנס. שימו לב – לא וידאו רפרנס כמו ב-GEN1 אלא תמונת רפרנס! כלומר אתם יכולים ליצור תמונה במידג’ (רצוי בפורמט מסך רחב של –ar 16:9) ואז להעלות אותה ל-GEN2 כדי שתשמש השראה לסרטון). על כך נרחיב במאמרים הבאים.
אפשר לתת גם מספרי סיד כדי לשלוט ברעש שממנו מתחיל הג’ינרוט (ולשמור על המשכיות). טוב למי שרוצה לייצר מספר סרטונים ולחבר אותם אחר כך. למנויים בתשלום יש גם אפשרות לעשות אפסקייל לסרטון ולהסיר את סימן המים של החברה.
אפשרויות מתקדמות יותר שזמינות למנויים בתשלום
כמובן שכל מלה שתוסיפו לפרומפט שלכם, תשנה את הפלט: אם תרשמו CINEMATIC תקבלו סרטון פוטוריאליסטי עם סטייל מרשים. אבל אם תרשמו CARTOON תקבלו שפה גרפית של סרט מצוייר. ראו תמונה מטה.
פיצ’רים נוספים בראנוויי
אגב, למי שלא יודע, לראנוויי יש עוד מלא פיצ’רים מגניבים כמו עורך וידאו מובנה וכלים ייעודים לעריכת וידאו – הנה טעימה ממה שיש שם…
- מחולל תמונות (כמו מידג’רני רק הרבה פחות טוב).
-
אימון מודל (כמו אסטריה ולאונרדו), אם כי ראוי לציין שהתוצאות הרבה פחות טובות.
-
כלי להסרת רקע מסרטון (מה שמאפשר לבודד דמות מהרקע שלה ואז לשתול מאחוריה רקע חדש).
-
כלי שמייצר סרטון מאוסף של תמונות סטטיות (מעין אפקט של דיזולב שמחבר בין תמונה לתמונה).
-
קנבס (ממש כמו לאונרדו) שמאפשר לעשות אינפיינטינג ואאוטפיינטינג.
-
גזירת דמות/חפץ והפרדתה מהרקע שלה, ואז ג’ינרוט מחודש של הרקע בסביבה חדשה.
-
פונקציית אינפיינטינג לסרטונים! (להסרת/מחיקת אנשים או חפצים מסרטונים).
-
מצב סופר SLOW MOTION (החל אפקט להילוך איטי במיוחד על סרטון).
-
כלי חידוד והגדלת תמונות.
מסתבר שהשמיים כבר לא הגבול – רק הדמיון… או כמו הסלוגן של ראנווי:
If you can imagine it, you can generate it!