מה קורה כשמחברים יחד ביקורת פוליטית, בובות, שירי מחזמר ו-AI?

לפני כמה חודשים מצאתי את עצמי עמוק בתוך פרויקט יוצא דופן, שהפך למסע מלא תובנות, אתגרים, וכמה הפתעות טכנולוגיות בדרך. הכול התחיל מצורך רגשי – אחרי ה-7 באוקטובר הרגשתי דחף לעבד וליצור, אבל לא רציתי לגעת ישירות בנושאים הרגישים. במקום זה, מצאתי את עצמי חושבת על השכונה המטורפת שבה אנחנו חיים, המזרח התיכון, וזה הוביל אותי לאסוציאציה אחרת של “שכונה” סוריאליסטית בה הכל יכול לקרות – רחוב סומסום ו-Avenue Q. החיבה שלי לסאטירה ולמחזות זמר כמו ״המילטון״, השתלבו עם הניסויים שלי בבובות דיגיטליות וכלי בינה מלאכותית. במדריך הזה, אני מפרקת את כל התהליך – מהשלב שבו רעיון מתגלגל ליצירה של ממש, דרך ההתמודדויות עם מגבלות טכנולוגיות, ועד לרגע שבו הכול מתחבר לכדי יצירה שלמה.

שלב 1: כתיבה ופיתוח קונספט

ברגע שהרעיון גובש, הגיע הזמן לעבודה על הסיפור והשירים. תמיד אהבתי לכתוב, גם לפני עידן הבינה המלאכותית, ולכן עדיין חשוב לי לקחת חלק פעיל בתהליך הכתיבה. מבחינתי אני רואה ב-AI פרטנר מעולה לסיעור מוחות שעוזר לי לשלוף מחשבות חבויות מעמקי המוח שלי. לצורך זה השתמשתי בעיקר ב-ChatGPT, אבל לפעמים גם בג׳ימיני וקלוד. 

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס יצירת סרטים עם AI

לפרטים נוספים לחצו כאן >>

אז איך לעבוד עם AI בכתיבה יצירתית?

• השתמשו ב-AI כסיעור מוחות. התחילו בכתיבה חופשית – אני לפעמים זורקת אליו את הרעיונות המבולבלים, האסוציאטיבים והבלתי מנוסחים שלי ואז מבקשת ממנו שיעשה בזה סדר.
• תנו לו פידבק כאילו הוא אדם שעובד איתכם – לדוגמא, ״כתוב את אותו הטקסט אבל בטון יותר קליל ופחות רשמי״ או ״תוסיף לשיר עוד בית שמדבר על נושא X” 
• זכרו שהתוכן הטוב ביותר מגיע מכם – AI הוא רק עוזר, לא תחליף.
• אם הכתיבה בעברית מומלץ להשתמש בקלוד, העברית שלו טובה יותר. עם זאת חריזה בעברית בעייתית בכל המודלים ודורשת עריכה ידנית.

שלב 2: הפקת המוזיקה והשירים

העולם של יצירת מוזיקה בעזרת בינה מלאכותית מתפתח כל הזמן, ומדי פעם יוצאים כלים חדשים. נכון לעכשיו הכלים החזקים שיש בשוק הם udio ו-suno. היתרונות והחסרונות של כל כלי: אודיו נחשב לאיכותי יותר מבחינת רמת ההפקה. אבל סונו יודע להפיק שירים בעברית (עם קצת טעויות…) בעוד ש-udio לצערנו עדיין לא מסוגל. כל אחד מהכלים אומן על חומרים מוזיקליים שונים ולכן שווה לנסות את הפרומפט שלך בשניהם ולראות מה נותן את התוצאה הטובה ביותר לסגנון המוזיקלי הרצוי. בשניהם יש אפשרות מוגבלת להתנסות בחינם, אבל לאפשרויות המלאות מומלץ לשלם על מנוי, שעולה כ-10$ לחודש.

איך זה עובד?
בתיאור נכתוב את הסגנון המוזיקלי שנרצה בכמה שיותר פירוט. לדוגמא: Pop, Alternative Folk, Emotional, female vocals. זה הפרומפט שלנו. ב-lyrics נדביק את המילים שיצרנו מקודם בשלב הכתיבה. (ניתן לתת לסונו/אודיו לכתוב את המילים אבל מנסיוני התוצאה פחות טובה ועם פחות שליטה בתוצאה). אלה שני הדברים החשובים. יש עוד המון אפשרויות מתקדמות אבל בתור התחלה אפשר להשאיר אותן כמו שהן.

טיפ: הרבה יותר נוח לקבל את קולות השירה בנפרד מהמוזיקה. נכון לעכשיו הפיצ׳ר הזה קיים רק בחלק ממודלי המוזיקה אבל תמיד אפשר להפריד בכלי יעודי כמו: vocal remover, Fader או אפילו ישירות בתוך Suno ו-Udio.

שלב 3: יצירת הדמויות

הדמויות הן הלב של הפרויקט, ולכן השקעתי הרבה זמן ביצירתן. לצורך זה אני בחרתי להשתמש בכלי המצויין מידג׳רני (עדיין בתקופת הדיסקורד, לפני האתר). יש דברים שהצליחו בג׳ינרוט הראשון. אבל לא תמיד הכל מצליח. לדוגמא, בהקשר של זה שיש בישראל יצוג של כל הדתות –  אני התעקשתי לייצר תמונה שמרפרנסת לבדיחות של ״נוצרי, יהודי ומוסלמי נכנסים לבר״. זה התברר כמשימה לא קלה בכלל שדרשה עשרות ג׳ינרוטים…

כיצד תוכלו ליצור דמויות לסרטון אנימציה בעצמכם:

• כדי ליצור דמויות ב-AI, השתמשו ב-MidJourney, DALLE או לאונרדו.
• התחילו בכתיבת פרומפטים מפורטים, תוך ציון סגנון, צבעים, הבעות פנים ופרטי לבוש.
• לאחר יצירת הדמויות הראשונות, חזרו על התהליך מספר פעמים כדי להגיע לתוצאה אחידה.
  אם יש צורך בשיפורים, ערכו את הדמויות באמצעות פוטושופ.
• טיפ שלי: אני מציעה לכם לייצר דמויות יותר אנושיות ממה שאני עשיתי – זה יפשט מאוד על שלב האנימציה בהמשך.

שלב 4: האנימציה

עכשיו הגיע הזמן להנפיש את הדמויות. את האנימציה פיצלתי לשתי קטגוריות:

• תנועתיות כללית – דמות רוקדת, הולכת וכדומה.
• ליפסינק – סינכרון תנועות הפה של הדמות בזמן הדיבור.

לגבי החלק של סינכרון תנועות הפה נתקלתי בהרבה קשיים. מודלי הווידאו הישנים לא הצליחו להבין את המבנה של הבובות, ואילו המודלים החדשים דווקא כן הבינו – אבל מצד שני הם התעקשו להזיז להן את הפה גם כשזה לא נדרש.

אנימציית דיבור לדמויות לא אנושיות היא אתגר, כי רוב המודלים לא מבינים מה לעשות עם דמות כזאת וברוב המקרים אפילו לא יזהו אותה כדמות (כי הם לא רואים פרצוף ברור ומייצג שכולל עיניים, אף ופה סטנדרטיים). לכן לרוב מתקבלות תוצאות מעוותות, או שהמודלים פשוט מסרבים להפיק תוצאה (מתקבלת הודעת שגיאה בסגנון של ״לא הצלחנו לזהות פנים״). ככל שהדמות יותר דומה לדמות אנושית כך יהיה לכם קל יותר בשלב הזה להשתמש בכלי AI כמו למשל Act-one של חברת ראנוויי.

בסופו של דבר, נאלצתי לבצע את האנימציה ב-Adobe Character Animator – תוכנה “אמיתית” של אנימטורים שמאפשרת לבנות דמות מחלקים ולהפעיל אותה כמו מריונטה. כן, יש לתוכנה יכולת AI שמאפשרת להעלות קובץ קול ולהזיז את הפה בהתאם, אבל, דיסקליימר: אם אתם מתכוונים להשתמש בה – קחו בחשבון שזה דורש עבודת אנימציה אמיתית, זה לא AI של “שגר ושכח”. 

הממשק של תוכנת Adobe Character Animator

את האנימציה הכללית (למשל, המדענים עם עגבניות השרי המתפוצצות – ששילבו בין שתי התעשיות המפורסמות של ישראל) יצרתי בשיר הראשון עם מודלים ישנים יותר כי זה מה שהיה זמין כשרק התחלתי (הגירסאות הישנות של פיקה ו- PixVerse). בהמשך, בכל פעם שהופיעו מודלים חדשים יותר, בדקתי איך הם מתמודדים עם הדמויות שלי – וכך העבודה הפכה לקלה יותר. כשהגעתי לשיר הרביעי בסידרה כבר השתמשתי במודלים החדשים של Minimax ו-Kling.

שלב 5: עריכה

לאחר שכל החלקים מוכנים, הגיע הזמן להרכיב הכול יחד. עריכה זה המקום שהקסם באמת קורה – וכאן אין תחליף ליד של האומן. כמו שבשלב הראשוני הרעיון מתחיל אצלי בראש ולא אצל ה-AI – גם בשלב הסופי והאחרון אני זו שמוודאת שהחזון שלי עדיין מתממש בתוצאה הסופית.

איך נערוך את הוידאו שלנו?
בשיטה המסורתית – לחתוך ולהדביק ע״י שימוש בתוכנת עריכת וידאו. נכון לעכשיו אין לשלב העריכה פתרון AI בלחיצת כפתור. אני משתמשת בתוכנת פרמייר-פרו של אדובי, אבל אפשר גם להשתמש בגירסת האונליין של כלי העריכה החינמי capcut.

לסיכום

• AI הוא כלי מדהים, אבל הוא לא יוצר לבד – אתם צריכים להנחות אותו.

• אין מתכון סודי או “פרומפטים מנצחים” – תהליכי יצירה הם אינדיבידואליים.

• הדרך חשובה לא פחות מהתוצאה – הכישלונות, האתגרים והניסיונות הם חלק בלתי נפרד מהפרויקט.

זה היה תהליך ארוך, מתסכל לעיתים, ומלא ניסוי וטעייה – אבל גם אחד הפרויקטים היצירתיים והמרגשים ביותר שעשיתי. עכשיו כשאתם יודעים איך זה נעשה – מה הייתם רוצים ליצור?