יצירת דמות עקבית עם Flux – אימון לורה ב-Fal ו-Astria

צפו בשיעור בו אני מלמד איך לבנות לורה עם Flux ב-Astria ו-Fal

בהקלטה שלפניכם תמצאו שיעור מוקלט בו אני מסביר צעד אחר צעד איך בונים לורה (LoRA) שתאפשר לכם לייצר דמות עקבית בפלטפורמות של Fal ו-Astria. חלקו הראשון של השיעור עוסק בהשקת קורס GenAI Master. חלקו השני הוא השיעור המעשי בו אני מסביר על משפחת מודלי Flux ובניית מודלים ולורות.

תודה גם למעל 1,000 איש שנרשמו לשיעור שלנו בלייב זום – הנה טעימה מהחוויה של משתתפי הוובינר.

תגובות מוובינר GenAI Master

מה צריך לדעת כדי ליצור דמות עקבית?

לפני שניגשים ליצור דמות עקבית באמצעות בינה מלאכותית, חשוב לעשות יישור קו מקצועי. יש מספר מונחי יסוד שחשוב להכיר ויש גם מגוון טכניקות שיכולות לקצר תהליכים ואף לחסוך את הצורה בבניית Finetuned Model או LoRA.

מה צריך לדעת כדי ליצור דמות עקבית עם AI?

הבנת מודלים ואופן פעולתם

כדי להתחיל, עליכם לדעת מה הם מודלים וכיצד בונים אותם. המודל הוא המנוע שמאפשר לנו ליצור דמויות בהתאם להנחיות. מישהו (חברה חיצונית) כבר אימן אותו לזהות דפוסים וכתוצאה מאימון זה הוא כבר “יודע” איך דברים נראים. הוא יודע איך נראים גבר, אישה, אופניים או כלב. להלן דוגמאות למודלים מפורסמים: SDXL, Flux [dev], וגם מודלים סגורים כמו “פניקס” של לאונרדו, או הגרסאות השונות של מודלי מידג’רני – למשל: V6.1 או V5.2

איך יוצרים דאטה-סט איכותי?

חשוב ליצור מאגר תמונות מגוון ומקיף של הדמות אותה אתם רוצים לייצר. מאגר טוב צריך לכלול בין 20 ל-30 תמונות באיכות גבוהה, ממגוון זוויות ומצבים שונים. רצוי לשמור מראש את התמונות בגודל של 1024X1024 פיקסלים. חשוב להקפיד על גיוון – תמונות שצולמו בימים שונים ובשעות שונות, ביום, בלילה, ממגוון זוויות שונות ועם מנעד רגשות רחב (מחייך, רציני, עיניים סגורות, עיניים פקוחות וכן הלאה).

טיפים לבניית דאטה-סט איכותי

עבודה עם מספרי סיד או וריאציות

כדי להשיג תוצאה עקבית ואיכותית, עליכם לדעת כיצד לעבוד עם וריאציות ומספרי סיד. אלו כלים חיוניים ליצירת וריאציות עקביות לדמות שלכם ולעיתים יכולים אף לייתר את השימוש באימון לורה.

• למשל – בכלים כמו מידג’רני אפשר לעשות שימוש בווריאציה עדינה (Vary Subtle) כדי לג’נרט כמות גדולה של תמונות של אותה דמות, עם שינויים מינוריים. עבודה עם כפתור ה-Remix (שמאפשר לערוך את הפרומפט) יכולה לסייע בשינוי רקעים או לוקיישנים של אותה דמות.
• שמירה על מספר סיד (seed Number) קבוע יכולה לסייע ביצירת המשכיות בשפה הגרפית. מספר סיד הוא מספר שמקטלג את הרעש שממנו נוצרת התמונה, ולכן מספר סיד קבוע יגרום לתהליך הדיפוזיה (הסרת הרעש) להתחיל מאותה “נקודת פתיחה”.

יצירת דמות עקבית עם וריאציה עדינה במידג’רני.

מה זה לורה (LoRA)?

לורה (או Low-Rank Adaptation) היא טכניקת דיוק דק במודלים של בינה מלאכותית, שמאפשרת להתאים מודלים קיימים לצרכים ספציפיים על ידי הוספת שכבת משקולות חדשה מבלי לשנות את המודל המקורי. זה מקצר משמעותית את זמן האימון ומשפר את הגמישות, שכן ניתן לטעון LoRA מעל כל מודל בסיס קיים ואף לשלב מספר לורות יחד. השיטה מתאימה במיוחד ליצירת דמויות עקביות בפרויקטים גרפיים כמו אנימציה, קומיקס ועיצוב מותגים, תוך שמירה על עקביות ודיוק בעלויות נמוכות. או במילים אחרות – המודל כבר יודע לג’נרט כמעט כל תמונה שתרצו, אבל אם תרצו תמונה ספציפית (כמו אדם ספציפי שהוא לא אומן עליו לפני כן), תוכלו לבנות לורה ש”מלמדת” את המודל איך אותו אדם ספציפי נראה, ואז “להלביש” את הלורה על המודל הקיים. 

אימון לורה עם Flux – המודל יודע איך ג’ון סנואו נראה, אבל כדי ליצור את “אביתר סנואו”, הוא צריך לורה (LoRA) שתלמד אותו איך אביתר נראה.

שימוש במודלי שפה גדולים והנדסת פרומפטים

הנדסת פרומפטים היא טכניקה שמאפשרת לכם לכוון את המודל לייצר את התוצאות המדויקות ביותר בהתאם להוראות שאתם נותנים לו. שליטה במודלי שפה גדולים (LLMs) ואופן פעולתם היא מיומנות חיונית בעבודה עם כלי GenAI. היא יכולה, למשל, לסייע לכם בבניית סדרת פרומפטים עם ניסוח אחיד, שמתארים את אותה דמות בסיטואציות או סביבות שונות. שמירה על אחידות בהנדסת הפרומפט תאפשר לכם לשמור גם על אחידות בתוצרים הסופיים שלכם.

עבודה עם מודלי שפה ליצירת פרומפטים עבור דמות עקבית

שימוש ב-Face Swap, Style Reference ו-Charcter Reference

כלים כמו Face Swap מאפשרים להחליף ולהטמיע פנים על דמויות קיימות, ואילו Character Reference משמש לשמירה על עקביות גרפית ויצירת דמויות על סמך הפניות לתמונות פנים של אותה דמות. כך אפשר פעמים רבות לוותר על בניית מודל או אימון לורה ו”להסתפק” בטכניקה מהירה זו. פה יש לכם מדריך לשימוש בפייס סאוופ עם Picsi AI.

יצירת דמות עקבית עם Character Reference בלאונרדו (משמאל) ומידג’רני (מימין).

רקע כללי על מודלי Flux של Black Forest Labs

מודלי Flux הם משפחת מודלים מובילה ואיכותית במיוחד! המודלים פותחו על ידי חברת Black Forest Labs, שהוקמה ברובה על ידי יוצאי Stability AI. המודלים המרכזיים כוללים את Flux Schnell, Flux Dev, ו-Flux Pro, כאשר כל אחד מהם מותאם לסוגים שונים של יצירת תוכן גרפי. המודל Flux Pro, למשל, הוא המתקדם ביותר ומספק תוצאות ריאליסטיות מרשימות במיוחד. גם Flux Dev הוא מודל מעולה, אך לא לשימוש מסחרי, אלא אם עובדים דרך פלטפורמות מורשות כמו Fal או Astria.

ישנו מאמר מורחב באתר שמסביר לעומק על Flux, ובו הפניות לכל הפלטפורמות שבהן ניתן להשתמש בו (לרבות שימוש חינמי). לקריאת המאמר לחצו כאן.

אימון לורה ב-Fal

אימון לורה בפלטפורמה של Fal הוא תהליך פשוט ומהיר ביותר!

1. כנסו לאתר של Fal והירשמו לגיטהאב.
2. כנסו לעמוד המודלים, לחצו על “אימון לורה עם פלאקס” (Train a Flux LoRA) ובחרו באימון המתקדם (Advanced Training).
3. העלו דאטה-סט איכותי הכולל לפחות 20-30 תמונות ברזולוציה גבוהה (בהתאם להנחיות מעלה).
4. קבעו את כמות הצעדים (Steps). 1,000 צעדים יובילו ללורה איכותית ו-3,000 צעדים יובילו ללורה מדהימה. העלות של אימון 1,000 צעדים היא כ-5 $.
5. מעבר לכך אין שום צורך לגעת בשום דבר! אין צורך לגעת ב”הגדרות מתקדמות” ולא חובה לשים Captions (ולכן לא צריך גם מילת טריגר). פשוט לחצו על כפתור התחלת האימון וזהו – כעבור 20 דק’ לערך הלורה תהיה מוכנה לשימוש מיידי.
6. לאחר שהאימון מסתיים, אפשר להוריד את הלורה למחשב לשימוש לוקאלי (על ידי לחיצה על כפתור Show Files) או להתחיל לג’נרט תמונות (לחיצה על כפתור Run Inference).

איך יוצרים תמונות עם הלורה החדשה שאימנו?

כדי ליצור תמונות, פשוט רשמו את הפרומפט בתיבה מצד ימין ולחצו Run לאישור. תוכלו לפתוח את ממשק ההגדרות המתקדמות ולשנות פרמטרים כמו כמות תמונות, מימדי התמונה, משקלים ועוד. להרחבה, צפו בשיעור המוקלט מעלה.

אימון לורה ב-Astria

עוד פלטפורמה נהדרת היא אסטריה (Astria). חברה ישראלית שהרימה כלי ורסטילי ומעולה, המאפשר לג’נרט תמונות במגוון מודלים קוד פתוח וגם לאמן מודלים ולורות.

כמה דברים שחשוב לדעת על אסטריה: אימון הלורה מאוד איטי (3-4 שעות). אמנם אפשר להוריד את הלורה למחשב ולעבוד לוקאלית (עם כלים חיצוניים), ואמנם אפשר להטעין כסף ולשלם רק פר שימוש ולא עם מנוי חודשי, אבל יש חסרון אחד לא מבוטל. אסטריה שומרים את המודלים והלורות שלכם ל-30 יום בלבד ולאחר מכן הם מוחקים אותם! אם אתם רוצים שהם ישמרו במערכת, יש לשלם “דמי משמרת” על סך 1.5 דולר בחודש. קצת מבאס, אבל כדאי לדעת שמשתתפי הקורסים שלנו מקבלים קרדיטים חינם לאסטריה, כך שאפשר להתנסות בכיף.

חשוב לציין שמניסיון אישי, הפלטפורמה מאוד ורסטילית והתוצאות בה לרוב טובות מאוד. על הנייר זה לא אמור לשנות (הרי מדובר באותו מודל ואותה טכנולוגיה), אבל אני מאוד אוהב לעבוד עם אסטריה ואיכשהו תמיד שם יוצא לי הכי טוב…

אז איך מאמנים לורה על Flux עם אסטריה? בקלות!

1. נכנסים לאתר החברה ומשלימים את הליך ההרשמה.
2. לוחצים על Create Fine-tune ונותנים לו שם.
3. מעלים את הדאטה-סט למודל (כ-30 תמונות, אבל אפשר גם פחות).
4. חשוב מאוד! ב-Class Name יש לציין אם זה גבר, אישה, חיה או שפה גרפית (Style). כן כן… אפשר לאמן גם על סגנון עיצובי.
5. באפשרויות המתקדמות יש לוודא שאתם על המודל הנכון ב-Base Fine-tune. במקרה שלנו: Flux Dev (כמובן שאפשר להתנסות גם עם מודלים אחרים).
6. ב”סוג המודל” (Model Type) יש לבחור ב-LoRA.
7. בחרו את כמות הצעדים – בסרטון בניתי לורה שאומנה על 3,000 צעדים (עלה לי 15 $ ולקח 3-4 שעות), אבל התוצאות היו מדהימות לדעתי!
8. באסטריה חייבים לבחור טריגר, תחת אפשרות Token. זוהי מילת קוד שכתיבתה בתוך הפרומפט תפעיל את הלורה ותעזור לאסטריה ופלאקס “להבין” שאתם רוצים לג’נרט את הדמות שעליה אימנתם את הלורה. חשוב להשתמש במילה שאין לה משמעות בשפה האנגלית, כמו sks או ohwx.

איך יוצרים תמונות עם הלורה החדשה שאימנו?

• לאחר האימון (שיכול לקחת כמה שעות), המודל מוכן לשימוש ומאפשר יצירת תמונות עקביות ברמה גבוהה. החברה תישלח לכם מייל שתהליך האימון הסתיים.
• כנסו שוב לאסטריה, בחרו בלשונית Tunes ולחצו על הלורה שאימנתם.
• במסך יצירת התמונות שנפתח תראו פרומפט לדוגמה, ואחריו מעין קוד שצבוע באדום – זו הלורה. אל תשנו בקוד הזה כלום. את הפרומפט שלכם אתם יכולים לרשום בטקסט שלפני הלורה.
• אם תרצו, תוכלו לפתוח את ההגדרות המתקדמות ולדייק את הפרמטרים השונים, כמו מימדי התמונה, מספרי סיד, גיידנס סקייל וכמות צעדים (ברירת המחדל של אסטריה היא 50 Steps).
• אל תשכחו להוסיף את מילת הטריגר (ה-Token) ואחריה את התיאור (גבר / אישה / כלב וכן הלאה). למשל, אם אני רוצה תמונה של אביתר רוכב על חד קרן ורוד, ארשום לפני הקוד של הלורה את הטקסט הבא: 

שימוש במילת טריגר ולורה בפרומפט באסטריה

רוצים להיות מאסטרים בבינה מלאכותית?

השיעור המוקלט שמופיע במדריך זה הוא למעשה השיעור הראשון בקורס GenAI Master, בו אנחנו מלמדים לעומק שליטה במגוון כלי בינה מלאכותית יוצרת (Gen AI). הקורס כולל מספר שיעורים בלייב זום, מדריכים כתובים לכל הכלים, ומעל 100 שיעורים מוקלטים המלווים את תהליך הלמידה ומאפשרים להעמיק ולהתמקצע בכל כלי וכלי. בוגרי הקורס יוצאים עם תיק עבודות מקצועי ותעודת סיום – כרטיס הכניסה שלכם להשתלבות בשוק העבודה. למידע נוסף על הקורס, צפו בחלק הראשון של השיעור המוקלט.

הסרטון שלפניכם נוצר בעזרת הטכניקות שלימדתי במדריך זה (אימון לורה, דמות עקבית, עבודה עם פלאקס באסטריה ו-Fal), וכמובן בטכניקות נוספות כמו ג’ינרוט פס קול ומוזיקה, עבודה עם מחוללי וידאו, כתיבת תסריט ופרומפטים עם AI, ועוד. כל הטכניקות הללו נלמדות בהרחבה בקורס וגם אתם תוכלו בקלות ליצור תוצרים כאלה!

איך אפשר להרוויח מיצירת דמות עקבית?

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס לאונרדו, אסטריה ובניית מודלים

לפרטים נוספים לחצו כאן >>