סידאנס, קלינג ו-Hailuo מקבלים עשרות רפרנסים – כך משתמשים בהם נכון

הבעיה הכי מוכרת בווידאו AI היא לא איכות התמונה, אלא הכשל הקטן שמתרחש בין שוט לשוט: הדמות משנה צבע שיער, הרקע זז, התאורה מתחלפת בלי סיבה. דור חדש של מודלים מנסה לפתור את זה בגישה שנשמעת פשוטה - להזין למודל עשרות רפרנסים בבת אחת. אבל בין "אפשר להזין 50 קבצים" לבין "קיבלתי וידאו עקבי" יש שיטה, וכדאי להכיר אותה לפני שמעלים את התמונה הראשונה.

מי שניסה לייצר יותר מכמה שניות של וידאו עם בינה מלאכותית מכיר את התסכול. הדמות הראשית מחליפה תספורת באמצע, הארכיטקטורה ברקע משתנה קלות, ומצב הרוח של התאורה קופץ בלי הצדקה יצירתית. אלה לא באגים במובן הרגיל. זו מגבלה מבנית של האופן שבו רוב מודלי הווידאו עובדים: כל קליפ נוצר כמשימה מבודדת. אתם מזינים פרומפט, מקבלים וידאו. מזינים את אותו פרומפט שוב, מקבלים וידאו קצת שונה. למודל אין זיכרון מתמשך של איך הדמות שלכם נראית, איך מקום מסוים מואר, או איזה טון רגשי הפסקול אמור לשאת.

הגישה שמנסה לשבור את זה נקראת רפרנס מולטימודלי, או Omni-Reference. מודלים כמו סידאנס 2.5 (Seedance 2.5) של בייטדאנס (ByteDance), קלינג (Kling) של קוואישו, ו-Hailuo של מינימקס (MiniMax) מאפשרים להזין אוסף גדול של חומרי ייחוס בבת אחת. סידאנס 2.5, למשל, מקבל עד 50 קלטי רפרנס ביצירה אחת. השאלה היא לא כמה אפשר להעלות, אלא איך מעלים נכון.

כמות של רפרנסים בבת אחד. Seedance 2.5. מתוך הערוץ הרשמי של ElevenLabs.

למה ״רק״ להעלות תמונות לא מספיק

ההבדל בין להשתמש ברפרנסים לבין להשתמש בהם נכון מתחיל בהבנה של מה קורה מאחורי הקלעים. במודלים ישנים, רפרנסים התנהגו לעתים כמו ערימת תמונות שהמודל ממצע בגסות. כשמעלים חמש תמונות של אותה דמות בזוויות שונות, המודל עלול לייצר מין ממוצע מטושטש של כולן במקום לנעול זהות ברורה.

הגישה החדשה עובדת אחרת. המודל מעבד את כל הרפרנסים במקביל, לא ברצף, ומחלץ מכל אחד מהם מאפיינים שונים. תמונות תורמות ליישור המראה החזותי, קטעי וידאו תורמים ליישור התנועה לאורך זמן, ואודיו משפיע על הקצב והאנרגיה של התנועה שנוצרת. במקום רשימת הוראות, אתם נותנים למודל לוח השראה, תנ"ך דמויות, רשימת שוטים ורפרנס פסקול - הכל יחד. הדיוק תלוי בכמה ברור אתם מגדירים כל רכיב, לא בכמה קבצים אתם מעלים.

ארבעת סוגי הרפרנס וכיצד כל אחד עובד

הדרך הנכונה לחשוב על 50 המקומות היא לא כמאגר תמונות, אלא כארבע קטגוריות עם תפקידים שונים. ההפרדה ביניהן היא הסוד לשליטה:

ייחוס חזותי: מי הדמות ואיך נראה המוצר

אלה תמונות של הנושא המרכזי - דמות, מוצר, או סט. הכלל החשוב כאן: כשמעלים כמה זוויות של אותה דמות, עדיף להעלות תמונות נפרדות לכל זווית מאשר לאסוף אותן לתמונה אחת מקולאז'. תמונות זווית נפרדות מחזיקות מעמד טוב יותר מכמה מבטים שנדחסו לתוך תמונה אחת. אם יש בסצנה יותר מחמישה נושאים, כדאי להעדיף תמונות ממבט יחיד לכל אחד.

ייחוס תנועה: איך הדמות זזה

כאן נכנסים קטעי וידאו קצרים שמכתיבים הליכה מסוימת, מיקרו-הבעות, או תנועות ספציפיות. במקום לתאר תנועה במילים, אתם מראים אותה. לרפרנס וידאו כדאי לשמור על חמישה נושאים או פחות, ולשאוף לקליפ באורך חמש עד עשר שניות - מספיק ארוך כדי שהמודל יקרא אותו, מספיק קצר כדי שיישאר נקי. חשוב לזכור שסך כל קטעי הווידאו מוגבל, כך שלא כדאי לבזבז את התקציב על קליפ אחד ארוך.

ייחוס אקוסטי ונרטיבי: הקצב והכיוון

אודיו, מוזיקת רקע, וסקריפט טקסטואלי עוזרים למודל להבין את הכיוון היצירתי המלא ואת הקצב. במודלים החדשים, קליפ קול יחיד יכול להוביל את הריתמוס של הווידאו, לתאם פעולות פיזיות, ולהתאים סנכרון שפתיים אוטומטית. האודיו כאן הוא לא קישוט - הוא מנוע שמניע את התזמון של מה שקורה על המסך.

המדריך הרשמי של קלינג שמסביר את מנגנון ה"נכס עם קול" - איך קליפ וידאו של 3-8 שניות נועל גם מראה וגם קול של דמות.

ייחוס מרחבי: לאן זזה המצלמה

זו קטגוריה שמתחילים שוכחים ממנה. סרטוני מסך ירוק או "מודל לבן" - בלוק גיאומטרי לא מטוקסטר של הסצנה - מגדירים את מסלול המצלמה, את גבולות העומק של הסביבה, ואת הפריסה המרחבית לפני שהמודל מאיר את הסצנה. מי שרוצה שליטה מדויקת בתנועת המצלמה, מתחיל כאן.

מודל לבן

סדר העדיפויות שחוסך יצירות מבוזבזות

גם עם 50 מקומות, לא כדאי למלא את כולם. יש סדר עדיפויות שכדאי לעבוד לפיו: קודם הדמויות המרכזיות, אחר כך המוצרים או האביזרים המרכזיים, אז הסצנה, ולבסוף הסגנון הכללי. כל דבר שחייב להישאר עקבי בין שוטים ראוי לרפרנס משלו. אם הדמות נושאת חרב, מצלמה, שרשרת או כלי נגינה, תנו לפריט הזה רפרנס נפרד במקום לקוות שהמודל יזכור אותו מתוך תמונת הדמות.

יש גם רכיב שקוראים לו לפעמים "בלוק המראה": פריים שמייצג את הלוק הסופי של הסרט - התאורה, הצבע, שפת העדשה. זה מה שמונע מרצף שוטים להרגיש כאילו כל אחד מהם הגיע מסשן אחר של המודל. כשעורכים וידאו קיים, כדאי לשמור על קליפ המקור מתחת לעשרים שניות ולשלב אותו עם תמונת רפרנס אחת עד חמש, ולעלות לשש-שמונה רק כשהעריכה באמת דורשת זאת.

הכלל שמחזיק סדרה שלמה יחד

אם יש דבר אחד שכדאי לקחת מכל זה, הוא זה: שימוש חוזר באותם רפרנסים משוט לשוט הוא מה ששומר על רצף עקבי. הקסם לא נמצא ביצירה בודדת מרשימה, אלא בכך שאותה דמות, אותו לוק ואותו קול חוזרים בכל קליפ בסדרה. זה בדיוק מה שהופך דמות עם רפרנסים קבועים ל"נכס" שאפשר למחזר - היא לא רק נראית אותו דבר, היא גם נשמעת אותו דבר לאורך סצנות, שוטים ומצבים שונים.

כאן נמצא ההבדל האמיתי בין מי שמנצל את היכולת למי שרק מתרשם ממנה. היכולת להזין 50 רפרנסים היא לא הזמנה למלא טופס. היא מערכת עם היגיון פנימי: להפריד בין סוגי הרפרנס, לתת לכל אלמנט קריטי מקום משלו, לתעדף נכון, ולחזור על אותם חומרים לאורך הפרויקט. מי שלומד את השיטה מגלה שהעקביות בין שוטים מפסיקה להיות עניין של מזל, ומתחילה להיות עניין של תכנון. השאלה ששווה לשאול לפני כל יצירה היא לא "כמה רפרנסים אני יכול להעלות", אלא "מה בדיוק אני מנסה לנעול".