קלינג מוסיפה אפשרות לליפ סינק (Lip Sync)

האפשרות לסנכרון שפתיים (Lip Sync) היא פיצ’ר שקיים בכמעט כל מחולל וידאו שמכבד את עצמו – תמצאו אותה בפיקה, בראנוויי וכמובן במחוללי אווטארים כמו D-ID והייג’ן. עכשיו גם קלינג AI הסינית משתדרגת ומוסיפה אפשרות לסינכרון שפתיים, על בסיס קטע אודיו שמועלה על-ידי המשתמשים. במאמר זה נבחן את השימושים השונים בתכונת סנכרון השפתיים, נעמוד על הדרכים לייעול התוצאות ונדון במגבלות המערכת.

איך פועלת תכונת סנכרון השפתיים בקלינג AI?

תכונת סנכרון השפתיים בקלינג AI מאפשרת להוסיף קול לסרטונים שנוצרו במערכת כך שפני הדמויות והפה שלהן יזוזו בהתאם לדיבור. כל שעליכם לעשות הוא להעלות סרטון עם פנים ברורות, לבחור באופציית ה”ליפ סינק” שמכונה “Match Mouth”, ולאחר מכן להעלות קובץ אודיו. קלינג AI מנתחת את הסרטון כדי לזהות תנועות פה תואמות ומבצעת את סנכרון השפתיים. מדובר בתהליך פשוט יחסית אך מרשים בתוצאה.

השלבים ליצירת סרטון עם סנכרון שפתיים

יצירת סרטון בסיסי

לפני שתתחילו עם תכונת סנכרון השפתיים, תצטרכו ליצור סרטון בסיסי. ניתן להתחיל באמצעות העלאת תמונה או שימוש בפקודות טקסט ליצירת וידאו. ההמלצה היא להשתמש בצילום תקריב של דמות שבה הפה ברור לעין, שכן כך תכונת סנכרון השפתיים תפעל באופן מיטבי.

העלאת קובץ אודיו

לאחר יצירת הסרטון, הגיע הזמן להעלות את קובץ האודיו שברצונכם לסנכרן עם הדמות שבסרטון. אפשר להעלות קובצי אודיו כגון דיבורים, שירים או קריינות, כל עוד הם מותאמים לאורך הסרטון. במקרה שבו קובץ האודיו ארוך יותר מהסרטון, קלינג AI תציע לכם לחתוך אותו כך שיתאים לאורך הווידאו.

התאמת תנועות הפה

השלב הבא הוא ללחוץ על כפתור “Match Mouth” ולאפשר למערכת לנתח את הסרטון. התהליך אורך בדרך כלל מספר דקות, אך עשוי להימשך עד 10 דקות. בסיום הניתוח, לחצו על כפתור “Lip Sync” כדי להתחיל בסנכרון השפתיים. שימו לב שאם אתם משתמשים בחבילה החינמית, זמני הג’ינרוט ארוכים מאוד.

טיפים לשיפור התוצאות

סוג הדמות וסגנון הווידאו

סנכרון השפתיים עובד בצורה הטובה ביותר על דמויות אנושיות, בין אם הן מצולמות במציאות, בתלת-ממד או בדו-ממד. אמנם ניתן להשתמש בסנכרון השפתיים גם לדמויות מצוירות בסגנון אנימה או פיקסאר, אך התוצאה עשויה להיות פחות מדויקת והאנימציה עשויה להיות פחות חלקה.

לצד זאת, יש להקפיד שהדמות המוצגת בסרטון לא תבצע תנועות ראש חדות מדי. תנועות ראש מרובות עלולות לגרום לסנכרון להיראות פחות טבעי, ולכן מומלץ להשתמש בפקודות ליצירת תנועות עדינות כמו “subtle motion” או “static camera”.

אורך הסרטון

חשוב לציין שהפיצ’ר הנוכחי מוגבל לסרטונים של עד 10 שניות בכל פעם. אם ברצונכם ליצור סרטון ארוך יותר, תצטרכו לחלק את הסרטון למקטעים ולבצע סנכרון שפתיים לכל מקטע בנפרד.

שימוש בקולות AI

אם אין ברשותכם קובץ אודיו מוכן, תוכלו להשתמש בכלים כמו ElevenLabs ליצירת קול מבוסס AI. הכלי מאפשר לבחור קול ממגוון קולות, להזין טקסט שהדמות תדבר, ולקבל קובץ אודיו מוכן להעלאה לקלינג AI.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס יצירת סרטים עם AI

לפרטים נוספים לחצו כאן >>

אתגרים ומגבלות

מגבלות על סוגי דמויות

התכונה החדשה של סנכרון שפתיים תומכת בעיקר בדמויות עם פנים אנושיות, אך פחות מותאמת לדמויות שאינן אנושיות, כמו בעלי חיים. ניסויים עם דמויות היברידיות כגון אדם-כלב לא הניבו תוצאות טובות, כיוון שהמערכת אינה מזהה את הפנים בצורה נכונה בסרטון.

סנכרון עם מספר דמויות

סרטונים המכילים מספר דמויות מציבים אתגר נוסף עבור תכונת סנכרון השפתיים. אמנם המערכת יודעת לסנכרן קול עם דמות אחת מבין מספר דמויות, אך נכון להיום אין אפשרות לבחור איזו דמות תסונכרן עם הקול. לכן, אם בסרטון מופיעות שתי דמויות, למשל גבר ואישה, וקובץ האודיו הוא של קול נשי, המערכת עשויה עדיין לבחור בסנכרון הקול עם הדמות הגברית.

אי התאמה לסוגי תנועה מורכבים

סנכרון השפתיים אמנם יכול לעבוד היטב גם כאשר הדמות מבצעת תנועות ראש קלות, אך כאשר מדובר באנימציות עם תנועות מהירות או מורכבות יותר, כמו דמות בתלת-ממד שהראש שלה זז מהר מצד לצד, התוצאות פחות טובות. במקרים כאלה, ייתכן שהמערכת לא תצליח לייצר סנכרון מדויק בין תנועות השפתיים לקובץ הקול.

מדריך לשימוש בקלינג

אם אתם עדיין לא מכירים את הכלי המדהים הזה, ממליצים לכם בחום להעיף מבט על המדריך המקיף שיצרנו עבורכם. הוא ילמד אתכם צעד אחר צעד איך לתפעל את מחולל הוידאו המיוחד הזה. כמו כן, בכתבה הבאה תמצאו את כל החידושים על גרסה 1.5 של קלינג ועל מברשת התנועה החדשה.

מה פסק הדין?

התכונה עדיין נמצאת בשלבי פיתוח מוקדמים, אך עדכונים עתידיים צפויים לשפר את הדיוק והתמיכה בדמויות מורכבות יותר, כגון דמויות בתלת-ממד עם תנועה מוגברת. בנוסף, קיים דיבור על שילוב תכונת סינתזת דיבור (TTS) שיאפשרו למשתמשים ליצור גם את קובצי האודיו ישירות בתוך קלינג AI. באופן כללי מדובר בפיצ’ר חובה, וטוב שקלינג הוסיפו אותו, אבל נכון להיום יש כלים שעושים את זה הרבה יותר טוב, בדגש על Heygen.