Minimax לעומת Runway Gen3: יתרונות ייחודיים

Minimax

• תנועה טבעית וקולנועית: מינימקס מוביל ביצירת תנועה טבעית וחלקה, במיוחד בהשוואה ל-Runway Gen3, שנטייתו היא לייצר תנועה שנראית לעיתים כמו סלואו מושן. היכולת ליצור זרימה קולנועית הופכת אותו לבחירה מועדפת בפרויקטים המצריכים דינמיקה טבעית.

• הבנת פרומפט מתקדמת: מינימקס מצטיין בעיבוד פעולות מורכבות ואפילו שתי פעולות בפריים בודד – יכולת שאינה קיימת במתחרה.

• חיסרון מרכזי: קושי לשמור על עקביות הדמות בהנפשה של דמויות ריאליסטיות. התוצאה עשויה להיראות מעוותת או לא עקבית.

Runway Gen3

• ייצור שוטים ריאליסטיים: חברת Runway  ומודל הוידאו המתקדם שלה, Gen3, מצליח לייצר שוטים ריאליסטיים של דמויות, בעוד מינימקס עשוי לעוות אותן.
• פיצ’ר ACT ONE: פיצ’ר זה מאפשר סנכרון שפתיים ומחוות פנים מדויקות, אידיאלי לסצנות דיאלוג.
• שליטה בזוויות מצלמה: המערכת מאפשרת שליטה מדויקת בזוויות מצלמה, בניגוד למינימקס, שמחייב ניסוי וטעייה בפרומפט.
• השלמת תנועה באמצעות פריימים: Runway Gen3 מאפשר להעלות פריים פותח וסוגר להשלמת תנועות מורכבות, דבר המספק שליטה מדויקת על התוצאה הסופית.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס יצירת סרטים עם AI

לפרטים נוספים לחצו כאן >>

תובנות מעבודה על פרויקטים מורכבים

עבודת הכנה מדוקדקת

הצלחת פרויקט מתחילה הרבה לפני השימוש במחוללי הווידאו. הכנת תמונות איכותיות להנפשה היא שלב קריטי. לעיתים, שינוי קטן בתמונת המקור מוביל לשיפור דרמטי בתוצאה הסופית. הקנבס החדש של Ideogram, המציע יכולות Inpainting והרחבת תמונות, הוא כלי מצוין לשימוש בשלב זה.

תהליך עבודה מעשי

עבודה עם מחוללי וידאו דורשת סבלנות. נדיר להגיע לתוצאה מושלמת בניסיון הראשון, וניסוי וטעייה הם חלק בלתי נפרד מהתהליך. גם לאחר קבלת תוצאה משביעת רצון, עריכה נוספת – כמו חיתוך קצוות או תיקון חלקים – לרוב נדרשת.

חשיבה יצירתית ופתרונות מתקדמים

עבודה עם מחוללי וידאו דורשת לעיתים פתרונות מחוץ לקופסה. לדוגמה, שימוש בטכניקת “פרומפט הפוך” – יצירת תנועה מהסוף להתחלה וביצוע Reverse בעריכה – יכול לספק פתרון לבעיות תנועה מורכבות.

יצירתיות אנושית היא המפתח

כלי AI מספקים גישה חסרת תקדים להפקת רעיונות, אך הם לא יכולים להחליף את היצירתיות האנושית. הרעיון שמאחורי התוכן הוא זה שמבדיל בין סרט רגיל ליצירה יוצאת דופן.

מינימקס ו-Runway Gen3 אינם מחוללים מתחרים אלא משלימים. כל אחד מהם מצטיין בתחומו, ושילוב מושכל בין השניים מאפשר התמודדות עם אתגרי ההפקה השונים. הכנה מדוקדקת, מיפוי נכון של השוטים וחשיבה יצירתית הם המפתח לתוצאות מיטביות.

הפוסט Minimax מול Runway Gen3: השוואה מעמיקה בין מחוללי הווידאו המובילים בשוק הופיע ראשון בLet's AI בינה מלאכותית

הרעיון מאחורי היצירה

הסרטון מתחיל ביד המציירת את פניי בעיפרון, ומשם מתפתח למסע סוריאליסטי דרך עולם וירטואלי. אנו עוקבים אחר הדמות שלי, הלובשת משקפי VR, בטיול ברחוב שמוביל לכיכר מלאה ב”אמני רחוב” – כולם בדמותי, מציירים פורטרטים שלי. הסרטון מסתיים בהסרת משקפי ה-VR, כשהדמות חוזרת למציאות, תשושה מהמסע.

הכלים שמאחורי הקסם

• תמונות: אימנתי מודל Lora ב-Flux, המאפשר יצירת תמונות מותאמות אישית.
• הנפשה: השתמשתי ב-Runway Gen3 עם נגיעה של Luma להפיח חיים בתמונות הסטטיות.
• עריכה: Capcut שימש לליטוש הסופי של הסרטון, הוספת סאונד אפקטס ומוזיקה.

תובנות מהתהליך

בינה מלאכותית (AI) ככלי יצירתי: למרות העוצמה של כלי AI, הם נשארים כלים. הבסיס לכל יצירה מוצלחת הוא רעיון מעניין וסיפור מרתק שמתחבר לקהל.

התקדמות מהירה

כלי AI לווידאו עשו קפיצת דרך משמעותית לאחרונה, מאפשרים יצירת סצנות ריאליסטיות שמרגישות כמו “פלסטלינה דיגיטלית” ביד היוצר.

שילוב טכנולוגיות

השילוב של מודל LORA מותאם אישית (דרך FLUX) עם הנפשה של Runway Gen3 מאפשר תוצאות מרשימות במיוחד עם תמונות ריאליסטיות.

למידה מהניסיון

במהלך העבודה עם Gen3, גיליתי שהוא מצטיין בהנפשת סצנות מוכרות, כמו יד מציירת על קנבס – סוג תוכן נפוץ ביוטיוב שעליו כנראה אומן המודל. תובנה זו מספקת לנו, כיוצרים, כלי חשוב לעבודה עם AI:

• ניתן לנצל את חוזקות המודל בבחירת רעיונות או סצנות דומות לתכנים נפוצים ברשת.
• בתוך המסגרת המוכרת, אפשר להכניס אלמנטים חדשניים ליצירת תוכן מקורי.
• חשוב להבין את מגבלות המודל כשמבקשים ממנו לייצר משהו פחות מוכר.
• ככל שנתנסה יותר, נפתח “חוש” לסוגי התוכן שבהם המודל מצטיין.

הבנה זו של אופן פעולת המודל מאפשרת לנו לעבוד איתו ביעילות רבה יותר ולהפיק ממנו תוצאות מרשימות, תוך שילוב בין הבנה טכנולוגית ויצירתיות אנושית. ככל שהטכנולוגיה מתקדמת, הגבול בין מציאות לדמיון הופך לנזיל יותר. כיוצרים, האתגר שלנו הוא להשתמש בכלים אלה בחוכמה, ליצור תוכן משמעותי שמספר סיפור ומעורר מחשבה. “The Sketch” הוא רק טעימה ממה שאפשרי כשמשלבים יצירתיות אנושית עם עוצמת AI.

הפוסט לשחרר את הדמיון: כיצד AI מעצב מחדש את עולם הווידאו הופיע ראשון בLet's AI בינה מלאכותית

הסינים לא מחכים לאף אחד – האם קלינג ינצח את סורה?

הטכנולוגיה הכי מדוברת היום היא Sora של Open AI. הכלי הושק בפברואר 2024 ועם השקתו הבטיחה OpenAI לשנות את כל מה שידענו על וידאו, אבל בינתיים השאירה אותנו רק עם הציפייה. אבל במזרח לא מחכים לאף אחד! בזמן ש’סורה’ זמינה אך ורק ליחידי סגולה שקיבלו גישה ועדיין לא זמינה לציבור, בסין כבר החלו להשתמש ב’קלינג’ (Kling) – מחולל וידאו מרשים במיוחד, שנראה כמתחרה רציני ביותר של סורה! נכון להיום הוא פתוח רק לאזרחי סין. לפי מה שראינו באתר של החברה, ומסרטונים שמשתמשים מסין פרסמו ב־X (טוויטר לשעבר), זה נראה מדהים. ילד אוכל המבורגר בהנאה, פנדה מנגנת בגיטרה, כלבלב מתהלך בנונשלנטיות על חוף הים או סתם חלב מוקצף נשפך לכוס אספרסו – הכול נראה פשוט מצוין. פוטו־ריאליסטי, מדויק ופשוט מרהיב. הינה כמה דוגמאות מתוצרי הווידאו שהכלי המדהים הזה יודע לייצר:

פרומפט: ילד סיני עם משקפיים נהנה מצ’יזבורגר טעים בעיניים עצומות במסעדת מזון מהיר | Credit: kling.kuaishou.com

פרומפט: כלב מגזע קורגי עם משקפי שמש צועד על חוף של אי טרופי | Credit: kling.kuaishou.com

פרומפט: פנדה ענקית המנגנת בגיטרה ליד האגם | Credit: kling.kuaishou.com

לומה מפתיעים: “דרים משין” הגיח משום מקום ושמט לכולנו את הלסת!

ואז פתאום, בלי שאף אחד שם לב,  ב־13.6.24 צץ משום מקום Dream Machine של לומה. הפעם מדובר במודל שכבר פתוח לשימוש של הציבור הרחב ואפילו בחינם. החברה פתחה גישה חופשית לחבילת התנסות ובה 30 סרטונים בחודש.

מי את לומה, ומאיפה באת?!

לומה היא חברת סטארט־אפ צעירה שפיתחה טכנולוגיות מתקדמות של בינה מלאכותית ליצירת תוכני 3D ווידאו ריאליסטיים מטקסט או מתמונות. את החברה ייסדו ב־2021 צוות יזמים וחוקרי AI מנוסים, כולל המנכ”ל Amit Jain, שהיה מומחה בחברת אפל להנדסת מערכות ראייה ממוחשבת ומצלמות. לומה גייסה מעל 70 מיליון דולר במימון הון סיכון, והצוות שלה, הכולל מומחים בתחום הראייה הממוחשבת, גרפיקה ולמידת מכונה, עובד להגשמת החזון של הנגשת יצירת תוכן ב־3D באמצעות AI לכולם. בעידן של שינויים מהירים כל טכנולוגיה חדשה מצליחה לרגש אותנו לזמן קצר בלבד עד שמגיעה הבאה ומכניסה אותנו להתרגשות מחודשת. עם זאת, Luma מאופיינת בגישה רעננה ומסקרנת בתחום יצירת הווידאו, וכדאי להכיר את הכלים שלה ולהתנסות בהם. תוכלו לקרוא על הכלים של לומה פה.

אם אתם רוצים להתמקצע, כדאי שתדעו שאנחנו מלמדים על לומה ודרים משין לעומק בקורס יצירת סרטים עם AI. 

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס יצירת סרטים עם AI

לפרטים נוספים לחצו כאן >>

הטכנולוגיה של לומה, דרים משין

לומה משתמשת בטכנולוגיית Dream Machine, מודל בינה מלאכותית שמייצר במהירות וידאו איכותי וריאליסטי  מטקסט ומתמונות. היא מנצלת מודל טרנספורמר יעיל שמאומן ישירות על וידאו, ומסוגלת לייצר סצנות עם הבנה פיזיקלית של המרחב, בדיוק ובעקיבות תוך כדי שמירה על תנועה חלקה וסינמטוגרפיה מדהימה. לומה מאופיינת באיכויות שעד עכשיו לא ראינו באף מודל ששוחרר לציבור הרחב, וזה מה שמיוחד בה. היא עדיין לא מושלמת, ויש לא מעט באגים והזיות, אבל בהחלט מדובר בקפיצת מדרגה (10 מדרגות למעשה) מכל מודל וידאו שראינו עד היום.

כדי להדגים את הקפיצה הטכנולוגית המדהימה של לומה בהשוואה למודלים אחרים שהכרנו, שלי אור גיסר ואני ערכנו סרטון קצר לרמיקס שעשינו יחד לשיר Hurricane. בקליפ תוכלו לראות השוואה בין ג’ינרוטי וידאו־על בטכניקה של הנפשת תמונה סטטית (Image to video) בלומה דרים משין ובראנוויי והאפייר.

מגבלות והתאמת ציפיות

אף על פי שהמודל מרשים, יש לו מגבלות, אי־דיוקים, עיוותים וקצת הזיות, במיוחד עם פרומפטים מורכבים, אבל אני חושב שהוא יעיל ומדויק בעיקר בעבודה עם תמונות רפרנס. הביקוש ל־Dream Machine היה כה גבוה עד שלומה הציגה מערכת להמתנה בתור. חלק מהמשתמשים ממתינים כל הלילה כדי שהפרומפטים שלהם יעובדו. בסיום ההמתנה אפשר ליצור וידאו בשתי דקות. עוד ביום ההשקה לומה פעלה כדי להגדיל את השרתים, ונכון לעכשיו זמני ההמתנה אינם ממושכים, והסרטונים מגיעים מהר יחסית.

טיפים והמלצות

• קבלו טיפ – אם אתם רוצים שהסרטים שלכם יג’ורנטו בלי המתנה בכלל, פשוט פתחו יוזר חדש (הרשמה עם חשבון גוגל) ותקבלו תוצאות מיידיות. נראה שחברת לומה נותנת עדיפות למשתמשים חדשים כדי לא לייאש אותם בהמתנה – אסטרטגיה חכמה מאוד!

• חשבתם שהתוצרים של לומה מדהימים? עוד לא ראית איך הם נראים עם Enhancer – האפסקיילר של Krea. לקחתי את התוצרים ששלי ואני יצרנו עם לומה (מהסרטון שראיתם מעלה), והכנסתי אותם ל־Video Upscaler של Krea, שיודע לחדד ולהוסיף פרטים, להגדיל רזולוציה ו־FPS. מדהים לראות איך כלי AI שונים משלימים זה את זה ויוצרים תוצר מטורף! התוצאה לפניכם (את המוזיקה הוספנו ממאגר הסאונדים החינמי של Clipchamp של מיקרוסופט).

ומה עם הסאונד?

ראינו איך מחוללי וידאו ואפסקיילרים מאפשרים לנו להגיע לתוצאות מדהימות ולהפוך למשרד פרסום של איש אחד: גם עורך וידאו, גם צלם, גם במאי, וכל זה מבלי לקום מהכיסא. אבל מה לגבי הפסקול – המוזיקה והסאונד? בקורס מידול סאונד ודיפ פייק שלי ושל אביתר אדרי נלמד אתכם כל מה שאתם צריכים לדעת על בניית מודלי קול, יצירת מוזיקה עם AI ויצירת תכנים ויראליים.

הפוסט מה קורה כמשתמשים באפסקיילר של Krea על הסרטונים של Luma – Dream Machine? הופיע ראשון בLet's AI בינה מלאכותית

הכול התחיל אי שם בספטמבר 2022. באופן מקרי ביותר התחלתי לשחק במחוללי התמונות הראשונים שיצאו לשוק – דאלי 2 וסטייבל דיפיוז’ן (על מידג’רני אפילו לא שמעתי אז) – והחלטתי להעלות פוסט עם תמונות של סרטי הבורקס כדמויות של פיקסאר. אם הייתם אומרים לי אז שאני הולך להפוך לאחד מיוצרי תוכן ה־AI המובילים בישראל, שאופיע פעמים רבות בתוכניות טלוויזיה ובעיתונות, שאעמוד בביטחון מול קהל בעשרות הרצאות, שתהיה לי פגישה עסקית בכל ערב ושבסוף אפילו אשיג ‘משרת חלומות’, הייתי אומר לכם שאתם חיים בסרט.

יצירתיות, אנושיות וגמישות מחשבתית – מה למדתי מהמסע האישי שלי בעולם ה־AI?

מה שהתחיל כמשחק אקראי לחלוטין, שינה לי בתוך שנה וחצי את החיים ב־180 מעלות. וככה בגיל 40 במקום לחוות את המשבר הידוע זכיתי לפריחה מחודשת ולקפיצת מדרגה מטורפת בקריירה שלי, ואני גם מכיר לא מעט קולגות שחוו תהליך פריחה דומה. אם היו שואלים אותי מהי התובנה הכי משמעותית מהמסע שלי עד כה, הייתי אומר שדווקא התכונות האנושיות הייחודיות שלנו הן אלה שישמרו עלינו מפני המכונה המאיימת שלעולם לא תוכל להחליף אותנו.

התכונה החשובה ביותר בעולם החדש

היצירתיות היא ללא ספק להיות התכונה החשובה ביותר לאדם ב’עולם החדש’. צריך לזכור שה־AI הוא בסך הכול מודל סטטיסטי (מדהים) שמצטיין בזיהוי תבניות ובחיזוי תוצאות; והיכולת האנושית לחשיבה מקורית, ליצירת קישורים חדשים ולפיתוח רעיונות חדשניים תישאר היתרון הבלעדי שלנו.

גמישות ויכולת הסתגלות

דבר נוסף שלמדתי הוא החשיבות של גמישות ושל יכולת ההסתגלות. העולם שסביבנו ימשיך להשתנות בקצב מסחרר, ולכן יידרשו מאיתנו כושר למידה מתמיד, התפתחות ורכישת מיומנויות חדשות. אני גם מאמין ששוק העבודה העתידי יתמקד פחות בתפקידים סטטיים ויותר בסט מיומנויות דינמי ובהתאמתו לצרכים המשתנים של הארגון.

מקומה של אמפתיה אנושית בעולם של בינה מלאכותית

ואסור לשכוח את הפן האנושי – אמפתיה, רגישות ויכולת לייצר אינטראקציות משמעותיות. בשנה וחצי האחרונות בזכות הבינה המלאכותית גיליתי כל כך הרבה בינה אנושית וחיבורים מדהימים יותר ממה שגיליתי בעשור שלם – שיתופי פעולה מרתקים, הזדמנויות חדשות ואנשים מוכשרים להפליא, שחלקם נעשו קולגות וחברים לחיים. ואלו בדיוק הדברים שאף בינה מלאכותית לא תוכל לעשות – ככל שהטכנולוגיה תתפתח, הכישורים האנושיים הללו יידרשו עוד ועוד. כי בסופו של יום, אנשים עובדים עם אנשים. את העבודות הסיזיפיות יעשה בשבילנו ה־AI, ולנו יישאר לעבוד יחד, להביא רעיונות מטורפים ולהיות טובים זה אל זה.

טרנספורמציה היא הזדמנות לצמיחה

זאת לא הולכת להיות דרך קלה. מדובר בטרנספורמציה עמוקה שתדרוש שינוי בתפיסות ובהתנהלות ברמת האישית, החברתית והארגונית. אבל ההזדמנויות והצמיחה הטמונות בשינוי הזה, מדהימות ושוות כל מאמץ, ותכלס גם אין לנו יותר מדי ברירה, כי גם אם נרצה וגם אם לא, ה־AI כאן כדי להישאר. אני חושב שהאתגר שלנו הוא לזהות ולטפח אצלנו את אותן תכונות ייחודיות שעושות אותנו אנושיים וטובים יותר מהמכונה (יצירתיות, למשל, היא לגמרי שריר שאפשר לאמן), למצוא את הדרך לחבר אותן עם העוצמה הבלתי נתפסת של הבינה המלאכותית ועם ההזדמנויות שהיא מביאה ופשוט להיעשות בעצמנו טובים ויעילים יותר.

אני אופטימי מאוד.

הפוסט מה למדתי מהמסע האישי שלי בעולם AI? הופיע ראשון בLet's AI בינה מלאכותית