אימון LoRA למודל הוידאו Wan 2.1 זמין עכשיו ב-Replicate

אם אתם עוקבים אחרי התפתחויות בעולם הבינה המלאכותית, בטח שמעתם על Wan 2.1 – מודל הוידאו המתקדם מבית Alibaba. בזכות כלי חדשני מבית Ostris AI, כעת ניתן לאמן מודל LoRA מותאם אישית למודל Wan 2.1 ישירות דרך פלטפורמת רפליקייט, בתהליך שאורך כ-20 דקות בלבד. 

You can now fine-tune Wan 2.1 14b using Replicate and @ostrisai’s AI-toolkit 🎉https://t.co/y05fv5OoOa

– autocaption training images
– publish to Hugging Face
– save intermediate checkpoints to Weights & Biases

All of the outputs below are text-to-video.

Still much to do! pic.twitter.com/jOX8OGgUYU

— fofr (@fofrAI) March 12, 2025

מה זה Wan 2.1?

Wan 2.1, שפותח על ידי Qwen (חברת בת של Alibaba), הוא מודל וידאו מתקדם שהושק בפברואר 2025, משלב טכנולוגיית Diffusion Transformer (DiT) עם מקודד וידאו ייחודי (Wan-VAE) כדי ליצור וידאו באיכות גבוהה מטקסט או תמונות.

מה שהופך את Wan 2.1 למיוחד הוא היכולת שלו לרוץ על חומרה צרכנית רגילה – הגרסה הקטנה (T2V-1.3B) מאפשרת הרצה על כרטיסי מסך כמו RTX 4090. בנוסף, המודל מציע ביצועים מובילים שעולים על מודלים מסחריים ופתוחים אחרים במגוון מדדים, תומך ביצירת וידאו מטקסט (T2V) ומתמונה (I2V), ומסוגל לייצר טקסט קריא בתוך הוידאו באנגלית וסינית – תכונה שהופכת אותו לראשון מסוגו.

הטכנולוגיה המתקדמת של Wan-VAE מאפשרת למודל לשמור על עקביות בין פריימים כך שאובייקטים ואנשים לא משנים צורה באופן אקראי, לשמר פרטים עדינים גם ברזולוציות גבוהות של עד 1080p, ולעבד וידאו ארוך יותר מבלי לאבד מידע. כל זה הופך את Wan 2.1 לכלי רב-עוצמה עבור יוצרי תוכן, מחנכים, מפתחי משחקים וחוקרי בינה מלאכותית.

אימון LoRA מותאם אישית עם Ostris

הודות לכלי החדש של Ostris AI, כעת אפשר לאמן מודל LoRA (Low-Rank Adaptation) מותאם אישית למודל Wan 2.1 14B ישירות דרך פלטפורמת רפליקייט. זה אומר שאתם יכולים להתאים את המודל העוצמתי הזה לסגנון ספציפי, לאובייקטים מסוימים או לתוכן ייחודי משלכם. 

הכלי של Ostris, הידוע גם כ-AI-toolkit, הוא אוסף כלים ושירותים שפותחו במיוחד לאימון ועבודה עם מודלים של בינה מלאכותית. לאחרונה, Ostris הציגו כלי מיוחד לאימון LoRA עבור מודל הוידאו Wan 2.1, המאפשר לאמן מודלים מותאמים אישית באמצעות מקבץ תמונות.

מה זה בעצם לורה (LoRA)?

LoRA, או בשמה המלא Low-Rank Adaptation, היא טכניקה חכמה שמאפשרת להתאים מודלים גדולים של בינה מלאכותית לצרכים ספציפיים בלי לאמן מחדש את כל המודל. תחשבו על זה כמו על מתאם חשמלי: במקום להחליף את כל שקעי החשמל בבית כדי להתאים אותם למכשירים שלכם, אתם פשוט משתמשים במתאם קטן וזול.

איך זה עובד? במקום לעדכן את כל הפרמטרים של המודל (שיכולים להגיע למיליארדי פרמטרים!), LoRA מוסיפה מטריצות קטנות בדרגה נמוכה (low-rank matrices) שמשנות רק חלק קטן מהמשקולות המקוריות. זה כמו להוסיף “תוספת קלה” למודל המקורי, בלי לשנות את הבסיס שלו.

היתרון העצום הוא ביעילות: במקום לאמן 175 מיליארד פרמטרים (כמו ב-GPT-3), עם LoRA מאמנים רק כ-17.5 מיליון פרמטרים – פי 10,000 פחות! זה הופך את תהליך האימון למהיר בהרבה, זול יותר, ודורש הרבה פחות משאבי מחשוב.

עם הכלי החדש של Ostris AI, אתם יכולים ליהנות מכל היתרונות האלה ולהתאים את מודל הוידאו המתקדם Wan 2.1 לצרכים הייחודיים שלכם – בין אם זה סגנון אמנותי מסוים, דמויות ספציפיות, או כל תוכן אחר שתרצו שהמודל ילמד לייצר.

יתרונות מרכזיים של Ostris

כלי האימון החדש של Ostris מציע מספר יתרונות משמעותיים למפתחים ויוצרי תוכן המעוניינים לאמן מודלי LoRA מותאמים אישית עבור Wan 2.1. היתרונות הללו מייעלים את תהליך האימון ומשפרים את הנגישות לטכנולוגיה המתקדמת הזו.

ראשית, הכלי מציע תיוג אוטומטי של תמונות האימון. תכונה זו מייתרת את הצורך בתיוג ידני של כל תמונה, תהליך שעלול להיות מייגע ולהימשך זמן רב. התיוג האוטומטי לא רק מקצר את זמן ההכנה, אלא גם מספק תיאורים עקביים שעוזרים למודל להבין טוב יותר את התוכן החזותי.

שנית, הכלי מאפשר פיבלוש של המודל המאומן לפלטפורמת Hugging Face. אפשרות זו מפשטת את תהליך השיתוף והפצת המודלים, ומאפשרת למפתחים לשתף את עבודתם עם הקהילה בקלות ובמהירות.

בנוסף, האינטגרציה עם Weights & Biases מאפשרת מעקב מתקדם אחר תהליך האימון. המערכת שומרת נקודות ביניים לאורך האימון, מה שמאפשר למפתחים לנתח את התקדמות המודל ולשפר את האסטרטגיות שלהם בהתאם.

לבסוף, יעילות האימון היא יתרון משמעותי של הכלי. עם זמן אימון של כ-20 דקות בלבד על GPU מסוג H100 עם 2,000 צעדי אימון, מפתחים יכולים לבצע ניסויים מרובים ולשפר את המודלים שלהם בפרק זמן סביר, מה שמוביל לתוצאות טובות יותר בזמן קצר יותר.

איך מתחילים?

אימון מודל

לאימון מודל LoRA משלכם למודל Wan 2.1, פשוט עקבו אחר השלבים הבאים:

1. הכינו קובץ ZIP עם מינימום 10 תמונות איכותיות שמייצגות את הסגנון או האובייקט שתרצו שהמודל ילמד.
2. היכנסו לדף האימון של Wan LoRA Trainer ברפליקייט.

3. העלו את קובץ התמונות שלכם.
4. הגדירו פרמטרים כמו מילת טריגר, מספר צעדי אימון (מומלץ 2000), וקצב למידה.
5. התחילו את האימון ועקבו אחר התקדמותו.
6. תוכלו גם להעלות את המודל ל-Hugging Face על ידי יצירת טוקן ייעודי בממשק של רפליקייט.

יצירת וידאו עם המודל

לאחר שסיימתם את אימון ה-LoRA המותאם אישית, יצירת וידאו עם המודל היא פשוטה ואינטואיטיבית. גשו למודל המאומן ברפליקייט, הזינו פרומפט שכולל את מילת הטריגר שהגדרתם, ובחרו את הגדרות היצירה. לתוצאות מיטביות, התחילו עם רזולוציה של 480p לניסויים מהירים ועברו ל-720p לתוצר סופי. כוונו את פרמטר ה-guide_scale (מומלץ להתחיל עם 6) ואת ה-shift (כ-2) להשגת איזון בין יצירתיות לדיוק. הוסיפו פרומפט שלילי עם מונחים כמו “blurry, distorted, text” להימנעות מארטיפקטים לא רצויים. לחצו על כפתור היצירה והמתינו מספר דקות – הוידאו שלכם, בסגנון הייחודי שאימנתם, יהיה מוכן להורדה ושיתוף.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס יצירת סרטים עם AI

לפרטים נוספים לחצו כאן >>

למה זה משמעותי?

היכולת לאמן גרסאות מותאמות אישית של מודל Wan 2.1 היא צעד נוסף בהתפתחויות המשמעותיות בתחום יצירת הוידאו באמצעות בינה מלאכותית. משמעות הדבר היא שטכנולוגיה מתקדמת זו אינה נשארת בידי מפתחי המודל בלבד, אלא מתרחבת לקהל רחב יותר של משתמשים.

עבור יוצרי תוכן, האפשרות לאמן מודל LoRA מותאם אישית פותחת דלת ליצירת וידאו בסגנון ייחודי או עם דמויות ספציפיות. במקום להסתמך על מודלים כלליים, יוצרים יכולים כעת להטמיע את הסגנון האמנותי שלהם או להשתמש בדמויות מזוהות עם המותג שלהם ביצירות וידאו. זה מאפשר רמה חדשה של ביטוי יצירתי וייחודיות בתוכן המופק.

מפתחי תוכנה נהנים מהיכולת לשלב מודלים מותאמים אישית באפליקציות שלהם. אפליקציות עריכת וידאו, משחקים, או כלי יצירת תוכן יכולים כעת להציע למשתמשים שלהם אפשרויות מותאמות אישית ליצירת וידאו, מה שמעשיר את חוויית המשתמש ומוסיף ערך לפתרונות הקיימים.

בתחום המחקר, חוקרים יכולים לבחון כיצד המודל מתנהג עם סוגים שונים של נתונים. זה מאפשר הבנה עמוקה יותר של יכולות המודל, מגבלותיו, ודרכים לשיפור טכנולוגיות עתידיות. המחקר בתחום זה יכול להוביל לפיתוח אלגוריתמים משופרים ויישומים חדשניים.

מה שהופך את כל זה לנגיש במיוחד הוא זמן האימון הקצר. עם משך אימון של כ-20 דקות בלבד על חומרה מתאימה, תהליך ההתאמה האישית הופך למעשי ויעיל. זמן האימון הקצר מאפשר ניסוי וטעייה, שיפור הדרגתי של המודל, ויכולת להגיב במהירות לצרכים משתנים – יתרונות משמעותיים בעולם הטכנולוגי המהיר של ימינו.

כמה זה עולה?

מחיר האימון של מודל Wan 2.1 ברפליקט מבוסס על זמן השימוש ב-GPU מסוג H100, שעולה כ-0.001525 דולר לשנייה או כ-5.49 דולר לשעה. אימון טיפוסי של 2000 צעדים אורך כ-20 דקות על H100, ולכן העלות הצפויה היא בסביבות 1.85 דולר לאימון מלא.

לשם השוואה, אימון דומה על כרטיס מסך ביתי כמו RTX 3060 יכול להיות זול יותר (כ-0.77 דולר לאימון) אך יארך הרבה יותר זמן – כ-21.5 שעות לעומת 20 דקות בלבד על H100.

רפליקייט מציעה גם אפשרויות חומרה נוספות בתמחור שונה, החל מ-0.36 דולר לשעה למעבד CPU בסיסי ועד 43.92 דולר לשעה לתצורת 8x H100 GPU החזקה ביותר.

דוגמה מעשית לשימוש בטכנולוגיית LoRA ליצירת וידאו מותאם אישית

Ostris יצרו סרטון קצר כהוכחת יכולת באמצעות טכנולוגיית בינה מלאכותית. הם השתמשו במודל Wan 2.1 14B של Alibaba לאחר שאימנו עליו LoRA מותאם אישית עם תמונות של היוצר, מה שאפשר למודל לייצר וידאו שנראה כמוהו. המוזיקה נוצרה באמצעות Suno, עם כתיבת מילים עצמאית שתתאים לוידאו. Ostris מציינים שהמודל 14B ברזולוציה של 720p מרשים הרבה יותר מהמודל הקטן (1.3B), אך לוקח כ-30 דקות לייצר וידאו לעומת 1.5 דקות בלבד. הוידאו נוצר בבית על כרטיס מסך RTX 4090, וה-LoRA אומנה על אותו כרטיס:

Made a low effort proof of concept short music video. I used @SunoMusic for the music. I wrote the lyrics myself to match the videos. Paired with my LoRA I trained of myself using @Alibaba_Wan Wan 2.1 14B. I am having a lot of fun with this. Sound on. https://t.co/qSg9S5rsqR pic.twitter.com/uhwCVgDNeL

— Ostris (@ostrisai) March 9, 2025

כלי האימון החדש של Ostris AI ברפליקייט הופך את מה שהיה פעם תהליך מורכב ויקר לנגיש ומהיר עבור יוצרי תוכן, מפתחים וחוקרים. עם זמן אימון של כ-20 דקות בלבד על GPU מסוג H100 ועלות ממוצעת של כ-1.85 דולר לאימון מלא, מדובר בפתרון משתלם במיוחד. תכונות מתקדמות כמו תיוג אוטומטי של תמונות ואינטגרציה עם פלטפורמות כמו Hugging Face ו-Weights & Biases מאפשרות לכל אחד להתאים את מודל הוידאו המתקדם Wan 2.1 לצרכיו הספציפיים. בעולם שבו תוכן מותאם אישית הופך לסטנדרט, היכולת ליצור וידאו בסגנון ייחודי או עם דמויות ספציפיות פותחת אפשרויות חדשות ומרגשות. אם אתם מתעניינים ביצירת וידאו באמצעות AI, זו העת לנצל את הטכנולוגיה החדשנית והנגישה הזו ולקחת את היצירתיות שלכם לרמה הבאה.