עיבוד וידאו מתקדם בעזרת טכנולוגיות AI מביא איתו שיפורים מרחיקי לכת בכל הקשור ליצירת תוכן דיגיטלי. מודל הוידאו המתקדם בעולם נכון להיום הוא Gen-3 Alpha של חברת ראנוויי (Runway), ולאחרונה הוא קיבל בוסט רציני! פיצ’ר וידאו לוידאו (Video to Video), שמאפשר ליוצרים לשנות סגנונות ויזואליים של סרטונים קיימים בעזרת הנחיות טקסט פשוטות. במאמר זה נבחן את השיפורים העיקריים שהדגם הזה מציע, את ההגדרות האפשריות להפקת סרטונים איכותיים, וכיצד היוצרים יכולים לנצל את הכלי הזה ליצירת תכנים חדשים ומרתקים במהירות וקלות.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
זו לא הפעם הראשונה שראנוויי משיקים כלי וידאו לוידאו
בעבר היה לראנוויי מודל וידאו לוידאו שכונה Gen1. הכלי אפשר למשתמשים לשנות סרטונים קיימים באמצעות פרומפטים. כעת, עם השקת Gen3 Alpha, הכלי החדשני ביותר של החברה, נוספה גם האפשרות לעריכת Video-to-Video במודל המתקדם. לצד יכולות כמו Text-to-Video ו-Image-to-Video, Gen3 Alpha מספקת מגוון כלים עוצמתיים וחדשניים, ההופכים אותה לפלטפורמה רב-תכליתית במיוחד ליצירת ועריכת סרטונים מבוססי בינה מלאכותית.
קערה על הראש ומלפפון ביד
לפני הכל שימו לב מה קרה כשאלחנן פורטן שם קערה על הראש ומלפפון ביד – הסרטון המבדר הבא ממחיש את הכוח האדיר של פיצ’ר ה-Video to Video החדש של ראנוויי Gen3!
כמו תמיד, אנחנו לא שומרים את הקלפים צמוד לחזה – אלה הפרומפטים בהם אלחנן השתמש:
A soldier wearing a tactical uniform walks through a destroyed house surrounded by smoke and fire holding a gun and wearing a helmet a tense action battle scene
וזה הפרומפט השני:
A soldier throws a grenade that rolls and explodes
ואלה הטיפים של אלחנן בעקבות ההתנסות ותהליך יצירת הסרטון:
- יש למודל יכולת למפות את כלל האלמנטים בצורה מעולה.
- פיצ’ר הוידאו לוידאו יחסית קשוב לפרומפט, אך זה מאוד תלוי ברמת הסרטון שמתקבל לדוגמה – אם תשתמשו בסרטון שבו אין לכם משהו על הראש ותכתבו קסדה על הראש, הוא לא יוסיף את זה לבד – הוא צריך “רמזים ויזואליים”.
- השתמשו בסרטון שיהווה מקבילה טובה לתוצר הסופי שבו אתם מעוניינים, כך יהיה למודל קל יותר להבין למה אתם מכוונים.
- כדאי להשתמש באותו מספר סיד על מנת לשמור על רצף סגנון אחיד. למרות זאת בדוגמה של אלחנן זה עדיין זה לא היה מושלם מבחינת צבעים ותאורה, אבל עדיין מרשים.
- חיסרון משמעותי זה חוסר שליטה בפרטים כך שכל סרטון חדש שיתקבל יראה דומה אך שונה. אנחנו מאמינים שזה ישתפר בהמשך ושימצאו דרכים לתת לנו שליטה טובה יותר.
- את הגמבה היה לו קשה ביותר להפוך לרימון אז הוא חירטט משהו, תוכלו לראות בסרטון.
ועכשיו ממשיכים לעניינים הטכניים…
איך משתמשים ב-Video to Video עם Gen3?
העבודה עם Video to Video מתבצעת במספר שלבים פשוטים:
שלב 1: כניסה ל-Gen3
כדי לעבוד עם Gen3 לחצו על כפתור Generative Video (בעבר כפתור זה כונה Text to Video). לאחר מכן, בחרו ברשימת המודלים ב-Gen3 Alpha. חשוב לציין שנכון לעכשיו אין אפשרות להעלות סרטונים לגרסת הטורבו של Gen3 (וחבל כי היא מצוינת). כלומר, פיצ’ר ה-Video to Video שמור רק למודל הכבד והמתקדם יותר (אך גם איטי יותר).
שלב 2: בחירת סרטון הקלט (Input)
השלב הראשון בתהליך הוא בחירת סרטון הרפרנס שעליו Gen3 יתבסס ועל גביו הוא יעשה את המניפולציה. ניתן להעלות וידאו באורך של עד 10 שניות לאתר של ראנוויי, כאשר סרטונים ארוכים יותר יקוצצו באופן אוטומטי. תהליך זה יעלה לכם מספר קרדיטים לפי אורך הסרטון: סרטונים באורך של עד 5 שניות יעלו 50 קרדיטים, וסרטונים ארוכים מ-5 שניות ידרשו 100 קרדיטים. ראוי לציין ש-Gen-3 Alpha תומך ברזולוציה של 720p ובפורמט 16:9.
שלב 3: ניסוח פרומפט
הפרומפט הוא הכלי המרכזי לשינוי סגנון הסרטון. הנחיות פשוטות כמו “סגנון קומיקס צבעוני” או “תאורת סטודיו בצבעים רכים” יכולות להניב תוצאות בסיסיות אך מעניינות. לעומת זאת, פרומפטים מורכבים ומדויקים יותר יכולים להוביל לתוצאות מותאמות יותר לדמיון היוצר. חשוב להתמקד בפרטים כמו צבעים, סצנות, תאורה ואווירה, כדי לקבל את התוצאה הרצויה.
שלב 4: התאמת הגדרות
לפני התחלת תהליך יצירת הסרטון, מומלץ לעבור על ההגדרות הנוספות כדי לשלוט טוב יותר על התוצר הסופי. כך למשל, הגדרה כמו “שינוי מבנה” (Structure Transformation) משפיעה על המידה בה הסרטון החדש ישמור על המבנה המקורי של הסרטון שהועלה. ערכים נמוכים יותר יגרמו לשמירה על המבנה המקורי, בעוד שווידאו עם ערכים גבוהים ייתן תוצאה מופשטת יותר.
הגדרה נוספת היא האפשרות לבחור במספר סיד (Seed) קבוע. שימוש בסיד קבוע מאפשר לחזור ולייצר סרטונים דומים לסגנון ותנועה של תוצאה קודמת. ניתן להעתיק את הסיד מפלט קודם ולהדביק אותו כדי לשחזר תוצאה דומה.
שלב 5: ג’נרציה של הסרטון
לאחר שהוזנו כל ההגדרות והפרומפטים, אפשר להתחיל בתהליך יצירת הסרטון. התוצאה תתאים לאורך הסרטון המקורי, כאשר סרטונים ארוכים יותר מ-10 שניות ייחתכו אוטומטית לאורכם המתאים. ניתן לראות את הסרטון הסופי בממשק המשתמש ולבחור לשמור את הסרטונים בתיקיית נכסים אישית באתר של ראנוויי.
יתרונות השימוש ב-Video to Video
טכנולוגיית Video to Video של Gen-3 Alpha מציעה יתרונות משמעותיים ליוצרי תוכן:
שיפור באיכות הווידאו
Gen-3 Alpha מאפשר שיפור משמעותי באיכות הסרטונים, גם כאשר מדובר בסרטונים ישנים או באיכות נמוכה. הטכנולוגיה יודעת לשפר את התמונה, התאורה והצבעים, ולהפוך את הסרטון למראה עדכני ורענן.
גמישות יצירתית
היכולת לשנות סגנונות ויזואליים של סרטונים קיימים מאפשרת ליוצרים לחקור כיוונים חדשים ולשפר תכנים קיימים במהירות וביעילות. במקום להתחיל מצילום מחדש של סצנות, ניתן להעלות חומר גלם קיים ולהמיר אותו לפורמט חדש ומרגש.
חיסכון בזמן ומשאבים
באמצעות הכלי, יוצרים יכולים לחסוך זמן ומשאבים ניכרים. במקום להקדיש זמן רב להפקות ולעריכה מתמשכת, ניתן לבצע שינויים מהירים בסרטונים קיימים, ולהפוך אותם לתוכן חדש בקלות ובזמן קצר יחסית.
שליטה בפרטים קטנים
Gen-3 Alpha מאפשר שליטה מלאה על פרטים כמו תאורה, זוויות מצלמה ואווירה, מה שמעניק למשתמשים את היכולת לעדן את הסרטון ולקבל תוצאה מדויקת יותר לצרכיהם.
חסרונות ואתגרים פוטנציאליים
למרות יתרונותיו הרבים, ישנם גם כמה אתגרים שעל יוצרי תוכן לקחת בחשבון:
תלות באיכות הקלט
כדי להפיק תוצאות איכותיות, יש לוודא שהסרטון המקורי איכותי ומצולם היטב. סרטונים באיכות ירודה עלולים להוביל לתוצאות פחות מרשימות, גם אם ההנחיה מפורטת ומדויקת. כמו כן, הרמה הכללית של פיצ’ר הוידאו לוידאו אמנם טובה יחסית, אבל היא לא מתקרבת לרמה של Text to Video או לרמה של Image to Video בהן Gen3 מצטיין במיוחד!
חוסר ודאות בתוצאה הסופית
הטכנולוגיה אמנם מציעה גמישות רבה, אך היא גם עלולה להוביל לתוצאות לא צפויות. לעיתים יש צורך במספר ניסיונות כדי להגיע לתוצאה הרצויה, מה שעלול לדרוש יותר קרדיטים ולהתארך בתהליך.
שיפור מבורך!
למרות המגבלות והאיכות, מדובר בקפיצה דרמטית מ-Gen1 ובכלי שמאפשר הרבה חופש אומנותי וגמישות ליוצרים.