שדרוגים משמעותיים ל-Gen2 של Runway

מחולל הוידאו Gen2 של ראנוויי ai מקבל שדרוגים משמעותיים – הנה טעימה מכל מה שחדש: Motion Brush, Gen-2 Style Presets, updated Camera Controls.

אבל לפני הכל – הישארו מעודכנים! הצטרפו לרשימת התפוצה שלנו ולא תפספסו שום עדכון, חידוש או מידע על כלי חדש שיוצא…

במדריך הבא נפרט על כל מה שצריך לדעת על הפיצ’רים והעדכונים של הכלי המדהים הזה. להלן עיקרי הנושאים:

• רקע על Runway וכלי הוידאו המהפכניים שלה: Gen1 ו-Gen2.
• חידושים ב-Runway וב-Gen2, לרבות כלי ה-Motion Brush החדש.
• טיפים לשיפור הפרומפטים שלכם בראנוויי.
• סדנת מחוללי וידאו שתלמד אתכם כל מה שצריך לדעת על הכלים המדהימים הללו.

אבל לפני הכל – קצת רקע.. מה זה Runway ומה ההבדל בין Gen1 ל-Gen2?

ראנוויי (Runway) היא חברה חלוצה בתחום מחוללי הוידאו. היא פרצה לתודה בתחילת 2023 עם כלי מהפכני לג’ינרוט וידאו – Gen1 (דור ראשון) ובהמשך השנה עם Gen2 (הדור השני של הטכנולוגיה פורצת הדרך שלהם).

מוידאו לוידאו – Runway Gen1

ג’ן 1 הוא מחולל Video to Video, כלומר, אתם מעלים סרטון ואז מג’נרטים ומשנים אותו בעזרת פרומפטים. מוזמנים לצפות בסרטון ההדגמה הבא שמסביר איך עובדים עם הכלי.

קבלו טיפ זהב לשמירה על אחידות בסרטון בעזרת Gen1: 

• פתחו את ההגדרות המתקדמות (Advanced).
• הזיזו את הסליידר של Structual Consistency ל-0.
• בחרו משקל (Style: Weight) בין 3 ל-7.
• העבירו את ה-Frame Consistency ל-1.2

בסרטון הבא תכלו לצפות בהדגמה של השיטה המפורטת לעיל:

מטקסט לוידאו – Runway Gen2

הדור הבא של הטכנולוגיה המהפכנית של ראנוויי נקרא ג’ן 2 (Gen2), והוא כבר משהו אחר לגמרי! הפעם לא צריך שום סרטון שישמש כשכבת רפרנס שעל בסיסה המחולל יג’נרט את הסרטון. ג’ן 2 הוא מחולל Text to Video. המשמעות של זה היא לא פחות ממהפכנית! הוא יודע לייצר סרטונים מטקסט, ללא שום רפרנס. אתם כותבים מה אתם רוצים לרואת, והוא מג’נרט את הסרטון מאפס. מדהים! צפו בסרטון הבא כדי להבין במה מדובר:

בסרטון הבא תוכלו לצפות במצבים השונים בתוך Gen2: 

בסרטון הבא תוכלו ללמוד איך לג’נרט סצנות עם אווירה סינמטית, המורכבות משוט רחב, שוט מדיום וקלוז אפ. לטובת ההדגמה, נעשה שימוש בסרטון במחולל התמונות של ראנוויי על מנת לג’נרט תמונה של אדם ודוב ביער. בעזרת שימוש חוזר במספר הסיד (Seed Number) נוצרו תמונות נוספות (שימור מספר הסיד תורם לקונסיסטנטיות במרה). אפשר לעשות שימוש בכלים נוספים כמו אפסקייל, קרופ ועוד. 

מברשת התנועה – Motion Brush

אחד הפיצ’רים החדשים והמרגשים במיוחד שקיבלנו ממש לפני שבוע הוא מברשת התנועה (מושן בראש Motion Brush). כלי זה מאפשר הנפשה סלקטיבית של חלקים ספציפיים בתמונה. מעין “אינפיינטינג” בוידאו (Video Inpainting). איך זה עובד? מאוד פשוט – מסמנים בעזרת המבקשת את האזור שאותו רוצים להנפיש (אפשר להיעזר במחק או בכפתורי ה-Undo וה-Redo כדי לתקן ולדייק את אזור הבחירה), מגדירים את הפרמטרים הרצויים בעזרת הסליידרים בתחתית המסך (ששולטים בתנועה במרחב האופקי, האנכי ואף בתנועות עומק), ולסיום – לוחצים על כפתור Generate והתמונה שלכם מתעוררת לחיים.

למידע נוסף, לרבות דוגמאות, צפו בסרטון ההדרכה הקצרצר הבא:

ניתן לדייק את התמונה והתנועה שבה בעזרת טכניקות עדינות ורגישות יותר, שיובילו לתוצאה קוהרנטית יותר. הבעות פנים, תנועות עננים, בדים מתנופפים ברוח ועוד. שיטה נוספת היא שימוש במברשת התנועה בשילוב עם תיאור טקסטואלי (Image + Description), מה שיאפשר לכם להוסיף הנחיות מילוליות שמוסיפות קונטקסט לפלט הסופי שלכם. טיפ חשוב: מה שלא פשוט – פשוט לא יהיה! או במילים אחרות – השתמשו בפרומפטים קצרים ופשוטים. למידע נוסף ודוגמאות, צפו בסרטון הבא:

חידושים ושיפורים נוספים

עוד שיפור משמעותי ב-Gen2 הוא הכנסה של פריסטים שמאפשרים להגיע מהר יותר לסגנון אומנותי או שפה גרפית ספציפיים. להלן רשימה של הפריסטים שזמינים ב-Gen2:

להמחשה, צפו בסרטון הבא:

גם מוד השליטה עבר שדרוג רציני ומאפשר דיוק רב יותר בתנועות מצלמה באמצעות ערכים מספריים. ראו דוגמה בסרטון מטה:

נעשו שיפורים דרמטיים גם במודל התמונות של ראנוויי, מה שמוביל לתמונות איכותיות יותר, נאמנות גבוהה יותר, דיוק רב יותר ועקביות רבה. גם הרזולוציה השתפרה. להמחשה, צפו בסרטון הבא:

טיפים לשיפור פרומפטים ב-Gen2

לפניכם מספר טיפים לשיפור מבנה הפרומפטים שלכם ב-Gen2.

כדי לקבל תוצאות טובות יותר, השתמשו במילים גנריות כמו:

• masterpiece
• classic
• cinematic

כדי לקבל יותר תנועה ואנרגיה בשוטים שלכם, השתמשו במילים כמו:

• cinematic action
• flying
• speeding
• running

נסו להשתמש במונחים מעולם הצילום, לרבות תנועות מצלמה, כגון:

• ,זוויות צילום:  (full shot, close up, וכדומה).
• סוגי עדשות (macro lens, wide angle, וכדומה).
• תנועות מצלמה (slow pan, zoom, וכדומה).
• באופן כללי, “דברו” למחולל כמו שאתם מדברים לפעוט או לילד קטן. במקום לרשום dolly shot, אפשר לרשום משהו בסגנון של: zooming in over time או growing over time.

טיפים נוספים:

כלי הקסם של ראנוויי – Runway

אגב, לראנוויי יש עוד המון פיצ’רים שימושיים, כמו עורך וידאו מובנה וכלים ייעודים לעריכת וידאו – הנה טעימה ממה שיש שם:

• מחולל תמונות.
• אימון מודל (כמו באסטריה, לאונרדו וסטייבל).
• כלי להסרת רקע מסרטון (מה שמאפשר לבודד דמות מהרקע שלה ואז לשתול מאחוריה רקע חדש).
• כלי שמייצר סרטון מאוסף של תמונות סטטיות (מעין אפקט של דיזולב שמחבר בין תמונה לתמונה).
• קנבס שמאפשר לעשות אינפיינטינג ואאוטפיינטינג.
• גזירת דמות/חפץ והפרדתה מהרקע שלה, ואז ג’ינרוט מחודש של הרקע בסביבה חדשה.
• פונקציית אינפיינטינג לסרטונים! (להסרת/מחיקת אנשים או חפצים מסרטונים).
• מצב סופר SLOW MOTION (החל אפקט להילוך איטי במיוחד על סרטון).
• כלי חידוד והגדלת תמונות.
  
  

הצטרפו לסדנת מחוללי וידאו!

אחת לחודש אני מקיים סדנה שלמה שכל כולה מחוללי תמונות ו-AI בוידאו. בסדנה אני מלמד גם על ראנוויי ו-Gen2, לצד כלים נוספים כמו קאיבר, וונדר סטודיו ועוד. לפרטים והרשמה לחצו פה.