את הסרטונים האלה אף אחד לא צילם! מדריך על Runway למתחילים

הדור הבא של הטכנולוגיה המהפכנית הזו נקרא ג’ן 2, והוא כבר משהו אחר לגמרי! הפעם לא צריך שום סרטון שישמש כשכבת רפרנס שעל בסיסה המחולל יג’נרט את הסרטון. ג’ן 2 הוא מחולל TEXT TO VIDEO. המשמעות של זה היא לא פחות ממהפכנית! הוא יודע לייצר סרטונים מטקסט, ללא שום רפרנס. אתם כותבים מה אתם רוצים, והוא מג’נרט את הסרטון מאפס. מדהים!

למשל – העיפו מבט על הסרטון העלילתי הקצר הזה. הכל כולל הכל שם מג’ונרט. התסריט נכתב ע”י ChatGPT-4. הוידאו נוצר מפרומפטים ב-GEN2 ואפילו הקולות של ה”שחקנים” ג’ונרטו עם מחוללי קול – Elevenlabs.

אגב, הרעיון לסרטון נוצר כשיוצר הסרטון שאל את ג’יפיטי את השאלה הבאה:

“כרגע חלמתי שאני בינה מלאכותית ואז התעוררתי בתוך מעבדה – מה המשמעות של זה?”

כן כן… מיינדפאק רציני 😬

זה מרגיש לי כמו הדורות הראשונים של דאלי או מידג’. אין לי ספק שמפה והלאה יהיו שיפורים אדירים (אם להתחשב בקצב שטכנולוגיות ה-AI צומחות ולאור מה שהתרגלנו בחודשים האחרונים).

אני לא חושב שאני מגזים כשאני אומר שיש פה מהפכה של ממש. העובדה שהפקת צילומי הוידאו הופכת מונגשת לכל אדם עם מקלדת או סמארטפון פשוט מפוצצת לי את המוח. זה יכול להיות שימושי ליוצרי וידאו, תסריטאים, קולנוענים בתחילת דרכם, מוזיקאים שכבר היום מפיקים קליפים לשירי הלהקות שלהם באפס מאמץ. פשוט הזוי כשחושבים על התקופה בה אנחנו נמצאים.

איך זה עובד?

קודם כל נכנסים לאתר של RUNWAY, נרשמים עם מייל וסיסמה ומגיעים למסך הראשי.

הסרטון הבא מציג את החלקים השונים של ממשק האתר של ראנוויי ויעזור לכם להתמצא:

בתפריט הצידי בוחרים בלשונית VIDEOS ואז בוחרים בכלי GEN-2: Text to Video.

RUNWAY GEN-2

בתיבה שנפתחה לכם רושמים את הפרומפט שלכם. נכון לעכשיו אפשר לג’נרט ב-GEN2 רק 4 שניות (כל שנייה של וידאו = 5 קרדיטים פחות או יותר. תלוי בסוג הכלי או הטכניקה בה תבחרו. ראנוויי עובדים בשיטה של הטענת קרדיטים).

ההמלצה של החברה היא לבנות פרומפט בשני חלקים:

חלק 1) תיאור מילולי של ההתרחשות.

חלק 2) הסגנון – רושמים את המונח “IN THE STYLE OF…” ואז הוספה של הנחיות לקו הצילומי/אומנותי. למשל, התייחסות לסוג הצילום, הפוקוס וסוג הסרט.

תיבת הטקסט שבה רושמים את הפרומפטים

אם אתם רק בהתחלה והולכים קצת לאיבוד, אפשר לקבל השראה ממאגר דוגמאות שמופיע מתחת ממשק הג’ינרוט. פשוט לוחצים על הסצינה שמושכת לכם את העין והפרומפט שלה מיד יועתק לתוך תיבת הטקסט של הפרומפטים.

השראה לפרומפטים עבור ג’ן2

יש אפילו אפשרות להעלות תמונת רפרנס. שימו לב – לא וידאו רפרנס כמו ב-GEN1 אלא תמונת רפרנס! כלומר אתם יכולים ליצור תמונה במידג’ (רצוי בפורמט מסך רחב של –ar 16:9) ואז להעלות אותה ל-GEN2 כדי שתשמש השראה לסרטון). על כך נרחיב במאמרים הבאים.

אפשר לתת גם מספרי סיד כדי לשלוט ברעש שממנו מתחיל הג’ינרוט (ולשמור על המשכיות). טוב למי שרוצה לייצר מספר סרטונים ולחבר אותם אחר כך. למנויים בתשלום יש גם אפשרות לעשות אפסקייל לסרטון ולהסיר את סימן המים של החברה.

אפשרויות מתקדמות יותר שזמינות למנויים בתשלום

כמובן שכל מלה שתוסיפו לפרומפט שלכם, תשנה את הפלט: אם תרשמו CINEMATIC תקבלו סרטון פוטוריאליסטי עם סטייל מרשים. אבל אם תרשמו CARTOON תקבלו שפה גרפית של סרט מצוייר. ראו תמונה מטה.

למעלה – פרומפט לסרטון עם לוק מציאותי. למטה – פרומפט לסרטון עם לוק מצוייר. כל מילה חשובה ומשפיעה על הפלט הסופי!

פיצ’רים נוספים בראנוויי

אגב, למי שלא יודע, לראנוויי יש עוד מלא פיצ’רים מגניבים כמו עורך וידאו מובנה וכלים ייעודים לעריכת וידאו – הנה טעימה ממה שיש שם…

• מחולל תמונות (כמו מידג’רני רק הרבה פחות טוב).

• אימון מודל (כמו אסטריה ולאונרדו), אם כי ראוי לציין שהתוצאות הרבה פחות טובות.

• כלי להסרת רקע מסרטון (מה שמאפשר לבודד דמות מהרקע שלה ואז לשתול מאחוריה רקע חדש).

• כלי שמייצר סרטון מאוסף של תמונות סטטיות (מעין אפקט של דיזולב שמחבר בין תמונה לתמונה).

• קנבס (ממש כמו לאונרדו) שמאפשר לעשות אינפיינטינג ואאוטפיינטינג.

• גזירת דמות/חפץ והפרדתה מהרקע שלה, ואז ג’ינרוט מחודש של הרקע בסביבה חדשה.

• פונקציית אינפיינטינג לסרטונים! (להסרת/מחיקת אנשים או חפצים מסרטונים).

• מצב סופר SLOW MOTION (החל אפקט להילוך איטי במיוחד על סרטון).

• כלי חידוד והגדלת תמונות.

כלי בינה מלאכותית לעריכת וידאו

כלים לעריכת אודיו וכתוביות

כלי בינה מלאכותית לעריכת תמונות

מסתבר שהשמיים כבר לא הגבול – רק הדמיון… או כמו הסלוגן של ראנווי:

If you can imagine it, you can generate it!