הדור הבא של הליפ סינק – ראנוויי משיקה את Act-One: כלי ללכידת מיקרו הבעות

הנפשת אנימציות פנים ו-Lip Sync (סינכרון שפתיים) הן טכניקות נפוצות בתעשיית הקולנוע, האנימציה וכמובן שתחום הוידאו הג’נרטיבי. יש מגוון כלים שמאפשרים להגיע לתוצאות מרשימות ביותר – מחוללי אווטארים כמו הייג’ן (HeyGen) או D-ID, וכמובן ליפ סינק בכלים כמו פיקה, קלינג וגם ראנוויי. העניין הוא שגם הפיצ’רים המתקדמים ביותר עד היום הצליחו לייצר תוצאות טובות של ליפ סינק, אבל יש מרחק גדול בין דיבוב ובין חיקוי תנועות והבעות אנושיות. אתמול הכריזה ראנוויי על השקת כלי חדש שפותר בעיה זו בדיוק –  Act-One שמו. הכלי מאפשר ליוצרים להעלות סרטון וידאו עם רפרנס, ו-Runway תחקה את הבעות הפנים, תנועות הראש ומנעד הרגשות בצורה משכנעת ביותר. כדי לראות את הפיצ’ר החדש בפעולה, ניתן לצפות בטיזר הממחיש את היכולות המרשימות של הכלי:

מה מיוחד ב-Act-One?

למי הפיצ’ר זמין ואיפה?

Act-One הוא פיצ’ר מתקדם שמשולב במודל Gen3 של Runway. החל מ-22.10.24 החברה תשחרר אותו בהדרגה למשתמשים ובקרוב הוא יהיה זמין לכל המשתמשים. השילוב בין מודל טקסט לוידאו עוצמתי כמו Gen-3 Alpha ובין שדרוג יכולות ה-Video to Video של ראנוויי פותר את אחד האתגרים המרכזיים של המודל – יצירת הבעות פנים מדויקות שמסונכרנות עם הדמויות והאווירה בסצנה. התוצאה היא דמויות עם עומק רגשי שמצליחות להחיות סצנות ולספר סיפורים עשירים ומלאי רגש. הכלי מאפשר לכם להיות השחקנים עצמם – אתם יכולים לביים את הדמויות ולהקליט את עצמכם משחקים את הסצנה. Act-One יעביר את הדקויות ישירות לתוצר ה-AI ש-Gen3 יג’נרט לכם. 

נראה שזה הדבר הכי קרוב ל-VASA-1 הניסיוני של מיקרוסופט, שהפיל לכולנו את הלסת באפריל 2024.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס יצירת סרטים עם AI

לפרטים נוספים לחצו כאן >>

מה הוא יודע לעשות?

• לכידת מיקרו הבעות: הפיצ’ר החדש מאפשר ליוצרים להקליט את עצמם באמצעות מצלמת סמארטפון פשוטה, ולהעביר את תנועות הפנים שלהם לדמויות שנוצרו באמצעות הבינה המלאכותית של ראנוויי. אחד היתרונות המרכזיים של Act-One הוא היכולת ללכוד מיקרו-הבעות – אותן תנועות עדינות וקטנות בפנים כגון הזזת עיניים, הרמת גבה או שינוי קל במבנה הפה, שמשדרות רגשות ומסרים עמוקים יותר. הייחודיות של הכלי טמונה בכך שהוא מסוגל לשחזר את ההבעות הללו בצורה מדויקת, מבלי להיעזר בציוד מתוחכם כמו מערכות מושן קפצ’ר (Motion Capture) יקרות ומסובכות. במקום זאת, ניתן פשוט להקליט את תנועות הפנים באמצעות כל מצלמה רגילה ואפילו מצלמת הטלפון הנייד שלכם, והמערכת תבצע את כל התהליך של תרגום ההבעות לדמות הווידאו המונפשת באופן אוטומטי. התוצאה היא אנימציות פנים עשירות בריאליזם ורגש, המאפשרות לדמות המונפשת להעביר עומק רגשי מדויק בדיוק כמו שחקן חי.

Credit: runwayml.com

• לא צריך ציוד יקר ומתוחכם: יתרון נוסף של Act-One הוא היכולת ליצור אנימציות פנים איכותיות באמצעות קלט וידאו יחיד בלבד. בעוד שבעבר נדרש ציוד מתוחכם ויקר, הכלי החדש מבצע את כל העבודה על בסיס וידאו שהוקלט מראש, ומעביר את כל הפרטים הקטנים, כולל מבטי עיניים, קצב דיבור והבעות רגשיות, לתמונת רפרנס שהמשתמש מעלה למערכת. בין אם מדובר בתמונות של דמויות AI שנוצרו בעזרת בינה מלאכותית או בתמונות אמיתיות שהמשתמש מעלה, הכלי מאפשר להפיח חיים בתמונה סטטית בצורה חסרת תקדים!

Credit: runwayml.com

• גמישות בעיצוב דמויות: Act-One לא מוגבל לעיצוב דמות אחת או סגנון אחד. הוא מאפשר ליוצרים להשתמש בביצועים ממקור וידאו אחד ולהעביר אותם לדמויות AI שונות, בסגנונות עיצוב שונים ומגוונים. זה פותח דלת ליצירת דמויות עם אישיות והבעות ייחודיות, תוך שמירה על ריאליזם קולנועי ברמה גבוהה.

Credit: runwayml.com

כיצד להשתמש ב-Act-One?

השימוש ב-Act-One פשוט מאוד, במיוחד ביחס לאלטרנטיבות המסורתיות בתחום האנימציה. כאמור, הגישה נפתחת למשתמשים בהדרגה. כך תוכלו להשתמש בפיצ’ר החדש:

שלב 1: הקלטת וידאו רפרנס

השלב הראשון בשימוש ב-Act-One הוא הקלטת וידאו רפרנס, שעל פיו תיבנה האנימציה של דמות הוידאו.

• הכנת המצלמה: אפשר להשתמש במצלמת סמארטפון רגילה. מומלץ כמובן לבחור מצלמה באיכות טובה, אך אין צורך במצלמה מקצועית או בציוד יקר.
• מיקום ותאורה: וודאו שאתם מצולמים במקום מואר היטב, כך שתווי הפנים שלכם יהיו ברורים. אור טבעי או תאורה רכה יאפשרו תוצאה טובה יותר.
• הבעות ותנועות: הקליטו את עצמכם מבצעים את ההבעות שתרצו לשכפל באנימציה. המערכת של Act-One מסוגלת לנתח מיקרו-הבעות (תנועות קטנות כמו מבטי עיניים או חיוך קל), ולכן חשוב לשמור על ריכוז בהבעות הפנים. חשוב שהסרטון יהיה קלוזאפ על הפנים, על מנת שההבעות והתנועות יקלטו בצורה מיטבית.

שלב 2: העלאת הווידאו ל-Act One

לאחר שסיימתם להקליט את הווידאו, השלב הבא הוא להעלות אותו ל-Act One בתוך ראנוויי.

• התחברות לחשבון: ודאו שיש לכם חשבון פעיל בראנוויי. אם אין לכם חשבון, תצטרכו להירשם באתר החברה.

• כניסה לממשק של Act One: כנסו לעמוד הראשי של הכלי ובחרו ב-Act One. אם האופציה לא זמינה, תיאלצו לחכות עד שהיא תיפתח גם אצלכם.

לחצו על “Try it now”.

• העלאת הווידאו: לחצו על “Select Asset” כדי להעלות את סרטון הוידאו שצילמתם.

ליפסינק ברמה שלא הכרתם, עם Act One

• צירוף תמונת רפרנס: העלו תמונת רפרנס שעליה Act-One יחיל את תנועות הפנים והבעות הרגש שהוקלטו, או בחרו באפשרות מתוך מגוון תמונות הפריסט שכבר זמינות בממשק.

אנו מזכירים שהשימוש ב-Act-One מתבצע בהשקה מדורגת, מה שאומר שלא כל המשתמשים יקבלו גישה מיידית, אך הוא יהיה זמין לכלל המנויים בקרוב.

למי הכלי מתאים?

הכלי החדש של ראנוויי מיועד למגוון רחב של אנשי מקצוע בתחום האנימציה, משחקי הווידאו, וסרטים עצמאיים. יוצרי סרטים עצמאיים יכולים לנצל את הכלי כדי ליצור תוכן קולנועי, ללא הצורך להשתמש בציוד יקר או בהשקעה של זמן ומאמץ רב. הכלי גם מתאים במיוחד למפתחי משחקי וידאו, המעוניינים להוסיף עומק רגשי לדמויות שלהם באמצעות אנימציות פנים מדויקות, וליוצרי תוכן מקוון המעוניינים לספר סיפורים ויזואליים עשירים. יוצרי AI יכולים להשתמש בו ליצירת פרסומות, קליפים ותכנים שיווקיים או ויראליים לרשתות חברתיות. מספק פתרון נגיש ופשוט ליוצרים מכל הרמות, ומאפשר להם להביא את החזון שלהם לידי ביטוי בצורה קלה ומהירה יותר.

בסרטון הבא, שהעלתה ראנוויי לבלוג שלה, ניתן לראות דיאלוג סינמטי בין שתי דמויות. אמנם מדובר בצסנה ריאליסטית ולא מורכבת מבחינת אפקטים, אבל רק חשבו אלו משאבים היו נדרשים ליוצר להפיק שוט כזה במציאות. צלמים, תאורה, איפור, שחקנים, עריכת וידאו, לוקיישן ועוד. ופה, מספר פרומפטים פשוטים ויש לכם סצנה!

Credit: runwayml.com

המשחק מבוסס על הקלטות של שחקנים אמיתיים – ומפה באמת השמיים הם הגבול! אם אתה יכול לדמיין את זה (ולצלם את זה), אתה יכול לג’נרט את זה.

Credit: runwayml.com

בעזרת שילוב הכלי עם מודל Gen-3 Alpha, ראנוויי ממשיכה לפתח כלים שפותחים בפני יוצרים אפשרויות חדשות ליצירה, תוך שמירה על בטיחות ושימוש אחראי בטכנולוגיות מתקדמות. תמיד אמרתי, ואני עדיין מאמין בכך – ראנוויי היא חברת הוידאו הג’נרטיבי הטובה בעולם כיום! למרות “מתקפת מחוללי הוידאו הסיניים”, היא עדיין שומרת על מעמד של חברה חדשנית ומובילה טכנולוגית. אין ספק שראנוויי עשו זאת שוב!