שדרוג ל-Act One של Runway: סרטוני רפרנס

Act-One של ראנוויי (Runway) קיבל לאחרונה שדרוג משמעותי שמביא את יכולות הכלי המדהים הזה לרמה חדשה: עכשיו ניתן להעלות סרטוני רפרנס בנוסף לתמונות. השדרוג הופך את הכלי לעוצמתי במיוחד עבור יוצרי תוכן שמעוניינים לדייק את האנימציות והבעות הפנים של הדמויות שלהם בצורה חסרת תקדים. איך משתמשים באופציה החדשה בצורה מיטבית, ולמה זה מהווה צעד חשוב לעולם היצירה הדיגיטלית? הכל במדריך הבא.

מה זה Act-One ומה הפיצ’ר החדש מאפשר?

Act-One הוא כלי מתקדם מבית ראנוויי (Runway), שמאפשר ללכוד מיקרו הבעות פנים ותנועות גוף, וכל זאת על בסיס מודל Gen-3 Alpha המצוין. התוצאה – שילוב בין יכולות הג’נרטציה של המודל המתקדם ליכולות ה-Video-to-Video ולכידת התנועה שלו. הכלי מאפשר ליוצרים לקחת סרטוני וידאו, לשלב אותם עם תמונות רפרנס (ועכשיו גם עם סרטוני רפרנס), ולשדרג את הדמויות שלהם באמצעות תנועות פנים, הבעות רגשיות ותנועות ראש שמחקות בצורה מדויקת את המקור. או במילים אחרות – אתם מצלמים את עצמכם מדברים, מזיזים את הראש, האישונים וכן הלאה, והמודל ילכוד את הבעות הפנים והפה שלכם, לרבות “מיקרו הבעות” (תנועות אישונים, גבות ותנועות עדינות של הפנים שלכם). כך אתם יכולים “לביים” או “לשחק” את דמויות ה-AI שלכם.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס יצירת סרטים עם AI

לפרטים נוספים לחצו כאן >>

השדרוג האחרון מביא איתו יכולת חדשה: במקום להסתמך רק על תמונות רפרנס, כעת ניתן להעלות סרטוני רפרנס. המשמעות? תנועות מורכבות יותר, עושר רגשי חסר תקדים ודמויות שמשדרות עומק כמו שחקנים אמיתיים. זה פותח גם עולם שלם של אפשרויות, על ידי שילוב עם יכולת הוידאו לוידאו של ראנוויי.

צפו בסרטון הבא ששחררה החברה, כדי להבין איך זה נראה ואיך זה עובד:

איך משתמשים בכלי?

הכלי זמין בתוך הממשק של ראנוויי.

• יש להכנס לאתר החברה ואז לבחור בכלי Generative Session.
• בתוך הממשק של מחולל הוידאו, יש לוודא שאתם על אחד ממודלי Gen3 (הכלי זמין גם במודל הבסיס – Gen3 Alpha, וגם במודל המהיר והמצוין – Gen3 Alpha Turbo).
• בתוך הממשק של Act One יש לבחור בלשונית Video ובעזרת כפתור Upload ניתן להעלות סרטונים רפרנס שצילמתם מראש.
• ניתן להשתמש גם בכפתור Stat Recording כדי להקליט בזמן אמת את סרטון הרפרנס שלכם.
• בתפריט הצדי יש לבחור באופציית Act One (שימו לב שהיא לא תהיה זמינה אם תהיו על מודלים ישנים יותר כמו Gen2).

הממשק של Act One (מומלץ להגדיל את התמונה).

• לחלופין, ניתן ללחוץ בתפריט הראשי על הבאנר “Introducing Act-One”, ואז על כפתור “Try Now”, שיקפיץ אתכם ישירות לתוך הממשק של Act One.

כך מגיעים ל-Act One בתוך הממשק של ראנוויי.

דגשים וטיפים לשימוש בסרטוני רפרנס

כדי להבטיח תוצאות מיטביות בשימוש ב-Act-One, חשוב להקפיד על הקלטת סרטוני רפרנס איכותיים שעומדים במספר כללים. כללים אלו ישפיעו ישירות על איכות האנימציות והדיוק בהעברת ההבעות והרגשות לדמות שנוצרת באמצעות הכלי.

להלן הנחיות מרכזיות להעלאת סרטוני רפרנס:

• מסגור נכון: על הפנים להישאר במסגרת לאורך כל הסרטון, כשהצילום מתמקד באזור מהכתפיים ומעלה. זווית קדמית, שבה הפנים פונות לכיוון המצלמה, מספקת תוצאות אופטימליות. מומלץ להימנע מצלומי פרופיל שעלולים להקשות על המודל בזיהוי ההבעות.
• תאורה מתאימה: הסרטון צריך להיות מואר היטב, עם תאורה שמדגישה את תווי הפנים. תאורה לא מספקת או צללים עשויים לגרום לבעיות בזיהוי הבעות ותנועות הפנים.
• רקע פשוט ונקי: מומלץ להשתמש ברקע חלק ואחיד, ללא הפרעות חזותיות או אלמנטים שיסיחו את דעת המודל.
• תנועה מוגבלת: יש להימנע מתנועות גוף או ראש מיותרות, שכן הן עלולות לפגוע באיכות האנימציה. במקרים של שימוש בתמונת רפרנס, תנועה מינימלית היא קריטית.
• יציבות המסגור: יש לוודא שהפנים לא יוצאות ונכנסות למסגרת במהלך הסרטון. שינויים כאלו עלולים לפגוע במעקב אחר תנועות ההבעה.
• פה פתוח ותנועות ברורות: תנועות פה צריכות להיות ברורות ונקיות, שכן הן משפיעות על היכולת לדובב את הדמות. עם זאת, תנועות חריגות כמו הוצאת לשון אינן נתמכות.
• סרטון אחיד וללא הפרעות: הימנעו מקטעים חתוכים, הפרעות חזותיות או הפסקות במהלך הסרטון. סרטון זורם, נקי וללא שינויים פתאומיים יפיק תוצאות טובות בהרבה.
• מניעת הסתרות: יש להימנע מחפצים, שיער או כל דבר אחר שמסתיר את הפנים במהלך הסרטון. הסתרה כזו עלולה לגרום לאובדן מידע חשוב במהלך יצירת האנימציה.

עמידה בהנחיות אלו תבטיח ניצול מיטבי של Act-One ותסייע ליצירת אנימציות פנים עשירות וריאליסטיות.

עשה ועל תעשה Act One (מתוך: help.runwayml.com)

דגש: אם ההקלטה שלכם ארוכה יותר מהסרטון שבו אתם משתמשים כרפרנס, הכלי יוצר אפקט “בומרנג” ש”הופך” חזרה את הסרטון להתחלה כדי להתאימו לאורך. ניתן לעקוף זאת על ידי הארכת הסרטון מראש או על ידי עריכה נוספת.

חשוב לציין ש-Act-One אינו הכלי היחיד בתחום. כלי בקוד פתוח בשם LivePortrait מציע אפשרויות דומות, אך דיוקו נמוך יותר, במיוחד בכל הקשור לתנועות שפתיים.

שימו לב לדוגמאות המדהימות הבאות שנוצרו בעזרת Act-One והולבשו על סרטוני וידאו ששימשו כרפרנס:

With new Character Reference Videos, you can now audition new lines, reaction shots and expressive performances without needing to reshoot on location or with complicated lighting set ups. Just shoot a new performance on your phone and use that to reanimate your existing footage.… pic.twitter.com/WYybWSgbjd

— Runway (@runwayml) December 6, 2024

Credit: @runwayml

יתרונות מרכזיים של Act-One

לכידת מיקרו-הבעות

הפיצ’ר החדש מדגיש את היכולת ללכוד מיקרו-הבעות, כמו הזזת עיניים, הרמת גבה או שינויים קלים במבנה השפתיים. תכונה זו, שעד כה דרשה שימוש במערכות מושן-קפצ’ר (Motion Capture) יקרות, זמינה כעת לכל יוצר באמצעות מצלמת סמארטפון פשוטה.

אמינות גבוהה ושיפור יצירת הרגש

Act-One מתמקד בהעברת הבעות הפנים בצורה מדויקת. כך ניתן ליצור דמויות שמשדרות רגשות ואמינות, בצורה שמקרבת אותן להופעה של שחקן אנושי. בניגוד לשיטות מסורתיות שהתמקדו בתנועות שפתיים בלבד, הכלי מספק חוויית משתמש עשירה יותר שמדייקת כל תנועה ותנועה.

גמישות ועושר יצירתי

היכולת להעלות סרטוני רפרנס מאפשרת ליוצרים להשתמש בתנועות מורכבות יותר, שמסונכרנות עם אורך הסרטון או הביצוע שהם מעוניינים ליצור. זה פותח את הדלת ליצירתיות אינסופית בכל הקשור להנפשה וסיפור סיפורים.

עוד דוגמאות לשימוש בסרטוני רפרנס ב-Act-One:

(5/6) pic.twitter.com/bfoiYnwMBL

— Runway (@runwayml) December 6, 2024

Credit: @runwayml

דמוקרטיזציה של הטכנלוגיה – AI מעצים יכולות אנושיות

Act-One של ראנוויי מייצג צעד משמעותי קדימה בתהליך הדמוקרטיזציה של תעשיית היצירה הוויזואלית, של הטכנולוגיה ושל היצירתיות האנושית. היכולת לשלב סרטוני וידאו כרפרנס מהווה שדרוג אדיר, שמרחיב את חופש הפעולה האמנותי של היוצרים ומאפשר להם לביים, לשחק, ולעצב דמויות בצורה מדויקת ואמוציונלית יותר מאי פעם. הכלי פותח דלת לכל אחד, ללא קשר להכשרתו המקצועית, להפוך לתסריטאי, במאי, צלם או שחקן, ולהפיק סרטונים ברמה קולנועית באמצעות רעיון יצירתי בלבד. בכך, הוא ממחיש את כוחן של טכנולוגיות AI לא רק בהעצמת יכולות קיימות, אלא גם ביצירת הזדמנויות חדשות לחלוטין—להפוך את הדמיון למציאות, ולהפוך את עולם היצירה לנגיש יותר מתמיד. כל אדם עם חזון ורעיון יכול כעת ליצור תוכן שנראה כאילו הופק על ידי אולפנים מובילים כמו פיקסאר או דיסני, ולהביא לעולם סיפורים עשירים ומרגשים, ללא תלות במשאבים יקרים או צוותים מקצועיים.