מטא משחררת את Llama 4 – דור חדש של מודלי בינה מלאכותית פתוחים

בתאריך 5 באפריל 2025, חברת מטא הכריזה על השקת סדרת מודלי Llama 4, המסמנת עידן חדש במערכת האקולוגית של מודלי הבינה המלאכותית הפתוחים. ההשקה כוללת שני מודלים זמינים כעת – Llama 4 Scout ו-Llama 4 Maverick, ומודל שלישי בשם Llama 4 Behemoth שעדיין בשלבי אימון, המציגים חידושים משמעותיים בתחום. עם השקעה מסיבית של עד 65 מיליארד דולר בתשתיות בינה מלאכותית השנה, מטא מציגה מודלים מולטימודליים מתקדמים המסוגלים לעבד טקסט, תמונות וקטעי וידאו באופן אינטגרטיבי, תוך שימוש בארכיטקטורת Mixture of Experts (MoE) חדשנית וחלון הקשר חסר תקדים של 10 מיליון טוקנים. “המטרה שלנו היא לבנות את הבינה המלאכותית המובילה בעולם, להפוך אותה לקוד פתוח ולהנגיש אותה אוניברסלית”, הצהיר מארק צוקרברג, מנכ”ל מטא.

שלושה מודלים חדשים

Llama 4 Scout 

Scout מהווה פריצת דרך בעולם המודלים היעילים עם ארכיטקטורת (MoE (Mixture of Experts חדשנית המשלבת 17 מיליארד פרמטרים פעילים ו-16 “מומחים” המגיעים יחד לסך של 109 מיליארד פרמטרים. Scout מציג חלון הקשר מהפכני של 10 מיליון טוקנים, פי חמישים מהמתחרה הקרוב ביותר, המאפשר עיבוד של אלפי עמודי טקסט בבת אחת. יכולת זו הופכת אותו לאידיאלי לניתוח מסמכים מורכבים, בסיסי נתונים גדולים וקטעי קוד שלמים של תוכנות. למרות עוצמתו, המודל מתוכנן לרוץ ביעילות על כרטיס גרפי Nvidia H100 בודד, מה שהופך אותו לנגיש יחסית למפתחים ולארגונים בינוניים.

מהטבלה המצורפת ניתן להסיק כי Llama 4 Scout מציג ביצועים מרשימים ביחס למודלים אחרים, כולל דורות קודמים של Llama ומתחרים מובילים. המודל מצטיין במיוחד במשימות הבנת תמונות (עם ציון 88.8 ב-ChartQA ו-94.4 ב-DocVQA), משיג תוצאות גבוהות במדדי חשיבה וידע (74.3 ב-MMLU Pro ו-57.2 ב-GPQA Diamond), ומציג יכולות מרשימות בעבודה עם הקשר ארוך (MTOB) בהשוואה ל-Gemini 2.0. בולטת במיוחד העובדה שבניגוד לדורות קודמים של Llama (3.3 ו-3.1) שאינם תומכים במולטימודליות, Llama 4 Scout מציע תמיכה מלאה ביכולות אלו ומשיג תוצאות גבוהות במדדים כמו MMMU (69.4) ו-MathVista (70.7). הנתונים מחזקים את מעמדו של Llama 4 Scout כמודל יעיל ורב-תכליתי שמשלב יכולות טקסטואליות וויזואליות מתקדמות:

יתרונות במשימות מולטימודליות וחלון הקשר ארוך

Llama 4 Maverick 

Maverick מייצג את חוד החנית של מודלי הבינה המלאכותית הפתוחים עם 17 מיליארד פרמטרים פעילים ו-128 “מומחים” המגיעים לסך מרשים של 400 מיליארד פרמטרים. המודל מצטיין ביכולות מולטימודליות מתקדמות המאפשרות לו לעבד ולהבין טקסט, תמונות וקטעי וידאו באופן אינטגרטיבי, תוך שימוש בגישת “early fusion” המשלבת את כל סוגי הקלט לרצף אחיד של טוקנים. הישגיו המרשימים הביאו אותו למקום השני בדירוג ChatBot Arena של Hugging Face, מיד אחרי Gemini 2.5, מה שהופך אותו למודל הפתוח המוביל כיום בשוק. Maverick מציג ביצועים מרשימים במיוחד במשימות הדורשות הבנה מעמיקה של תוכן חזותי וטקסטואלי משולב, כמו ניתוח מסמכים עם תרשימים או מענה על שאלות לגבי תכני וידאו.

מהטבלה המצורפת ניתן להסיק כי Llama 4 Maverick מציג ביצועים מרשימים ביחס למתחריו המובילים בשוק. המודל מצטיין במיוחד במשימות הבנת תמונות (עם ציון 90.0 ב-ChartQA ו-94.4 ב-DocVQA), עולה על Gemini 2.0 Flash ברוב המדדים, ומתחרה היטב ב-GPT-4o למרות פער המחיר העצום ($0.19-$0.49 לעומת $4.38 למיליון טוקנים). בתחום הקידוד, Llama 4 Maverick (43.4) מציג ביצועים טובים יותר מ-Gemini (34.5) ו-GPT-4o (32.3), אך נופל מעט מ-DeepSeek (45.8/49.2). בהקשר רב-לשוני, המודל משיג ציון 84.6 ב-Multilingual MMLU, גבוה יותר מ-GPT-4o (81.5). ביכולת עיבוד הקשר ארוך (MTOB), Llama 4 מוביל על פני המתחרים. הנתונים מחזקים את מעמדו של Llama 4 Maverick כמודל הפתוח המוביל בשוק, המציע תמורה מצוינת למחיר:

יתרון משמעותי למודל של מטא במרבית המדדים

מהתרשים המצורף ניתן להסיק כי Llama 4 Maverick 03-26 Experimental מציג ביצועים יוצאי דופן ביחס למחיר שלו. המודל משיג את הציון ELO (מדד להשוואת ביצועים בין מודלי בינה מלאכותית) הגבוה ביותר בהשוואה לכל המודלים האחרים המוצגים, כולל GPT-4.5 Preview ו-GPT-4o, תוך שמירה על עלות נמוכה משמעותית (פחות מ-$0.10 לשימוש). זה ממקם את Llama 4 Maverick בעמדה ייחודית של עליונות ביצועים וכדאיות כלכלית. מודלים אחרים כמו DeepSeek V3.1 ו-Gemini 2.0 Flash מציגים גם הם יחס טוב בין ביצועים לעלות, אך נופלים מ-Llama 4 Maverick בציון ה-ELO. מנגד, מודלים כמו GPT-4.5 Preview ו-GPT-4o מציגים ביצועים גבוהים אך בעלות גבוהה משמעותית, מעל $10 ואף $100 לשימוש. התרשים מדגיש את היתרון התחרותי המשמעותי של Llama 4 Maverick בשוק מודלי הבינה המלאכותית:

הציון הגבוה ביותר והעלות הנמוכה ביותר

Llama 4 Behemoth 

Behemoth מסמן את העתיד של מודלי בינה מלאכותית בקנה מידה ענק עם 288 מיליארד פרמטרים פעילים ו-16 “מומחים” המגיעים לסך מדהים של כ-2 טריליון פרמטרים. המודל מתוכנן להתחרות ישירות במודלים המובילים תוך שמירה על הגישה הפתוחה של מטא. המודל צפוי להציג יכולות מתקדמות בהבנת שפה טבעית, פתרון בעיות מורכבות, ויכולות הנמקה והסקה ברמה שטרם נראתה במודלים פתוחים. עם השלמת האימון, המודל עשוי לשנות את כללי המשחק בתעשייה ולהנגיש יכולות בינה מלאכותית מתקדמות למפתחים וארגונים שעד כה נאלצו להסתמך על שירותים קנייניים יקרים.

מהטבלה המצורפת ניתן להסיק כי Llama 4 Behemoth מציג ביצועים מרשימים ביותר בהשוואה למתחריו המובילים – Claude Sonnet 3.7, Gemini 2.0 Pro ו-GPT-4.5. המודל מוביל בכל קטגוריות הבנצ’מרק שנבדקו, עם הישגים בולטים במיוחד במתמטיקה (MATH-500) עם ציון מרשים של 95.0, לעומת 91.8 של Gemini ו-82.2 של Claude. גם ביכולות קידוד (LiveCodeBench) המודל משיג 49.4, הרבה מעל Gemini (36.0). בתחומי הידע והחשיבה (MMLU Pro, GPQA Diamond), הבנה רב-לשונית (Multilingual MMLU) וחשיבה ויזואלית (MMMU), Llama 4 Behemoth מציג עליונות עקבית על פני המתחרים. התוצאות מאשרות את הצהרתו של צוקרברג שמדובר ב”מודל הבסיס בעל הביצועים הגבוהים ביותר בעולם”, אפילו בטרם הושלם האימון שלו במלואו:

עליונות בכל הקטגוריות הנבדקות

מה החידושים הטכנולוגיים המרכזיים?

ארכיטקטורת Mixture of Experts (MoE)

הסוד מאחורי העוצמה והיעילות של מודלי Llama 4 טמון בארכיטקטורת ה-MoE (Mixture of Experts או תערובת של מומחים) החדשנית שלהם. דמיינו לעצמכם צוות של מומחים מתחומים שונים, כאשר בכל רגע נתון רק המומחים הרלוונטיים למשימה מתעוררים לפעולה. כך בדיוק פועלת הארכיטקטורה הזו – המודל מורכב ממספר רב של רשתות עצביות מתמחות, אך במקום להפעיל את כולן בו-זמנית, הוא מפעיל באופן סלקטיבי רק את אלו הנדרשות למשימה הספציפית. כשאתם מבקשים מהמודל לכתוב קוד, למשל, הוא מגייס את המומחים לתכנות בעוד שהמומחים לניתוח תמונות או לכתיבה יצירתית נשארים במצב רדום, חוסכים אנרגיה ומשאבי מחשוב יקרים. גישה חכמה זו מאפשרת למודלים להגיב במהירות מפתיעה למרות גודלם העצום, ובה בעת לשמר רמת אינטליגנציה גבוהה. היתרון המעשי הוא ברור – ארגונים יכולים להטמיע את המודלים בסביבות ייצור אמיתיות מבלי להתפשר על ביצועים או לסבול מעיכובים משמעותיים, מה שהופך את טכנולוגיית ה-MoE לאחד החידושים המשמעותיים ביותר בדור החדש של מודלי הבינה המלאכותית.

חלון הקשר עצום

האם אתם מסוגלים לקרוא 15,000 עמודים ולזכור כל פרט מהם? זה בדיוק מה שמודל Llama 4 Scout מסוגל לעשות הודות לחלון ההקשר המהפכני שלו של 10 מיליון טוקנים. זו קפיצת מדרגה אדירה בעולם הבינה המלאכותית. חשבו על זה – בעוד שהמודל המתקדם של OpenAI מוגבל ל-128,000 טוקנים בלבד, Llama 4 Scout מרחיב את האופקים פי 78. מאחורי הקלעים, מהנדסי מטא השיגו את הפריצה המרשימת הזו באמצעות ארכיטקטורת iRoPE החדשנית (interleaved Rotary Position Embeddings), טכנולוגיה מתוחכמת המשלבת שכבות תשומת לב (Attention) מיוחדות שפועלות ללא הטמעות מיקום (Positional Embeddings) מסורתיות. המודל משתמש בטכניקת סקיילינג לטמפרטורה חכמה בזמן אמת (real-time temperature scaling), המאפשרת לו להבין טקסטים ארוכים במיוחד. היכולת לעבד ולהבין כמויות עצומות של מידע בבת אחת פותחת אפשרויות חדשות לגמרי – מניתוח ספרים שלמים, דרך סקירת מאגרי מידע רפואיים ענקיים, ועד לבחינת קודבסים מורכבים של תוכנות מסחריות. זוהי לא רק התקדמות טכנית – זהו שינוי פרדיגמה בדרך שבה בינה מלאכותית יכולה לעבוד עם מידע בעולם האמיתי.

מולטימודליות מובנית

בניגוד לדורות קודמים שהוסיפו יכולות ויזואליות כתוספת חיצונית, מודלי Llama 4 נולדו מולטימודליים מהיסוד, עם ארכיטקטורה שמשלבת הבנת טקסט וראייה באופן אורגני לחלוטין. הסוד טמון בגישת ה-“early fusion” החדשנית, שבה המודל אינו מבחין בין סוגי מידע שונים – במקום זאת, הוא רואה תמונות, טקסט וקטעי וידאו כרצף אחיד ושלם של טוקנים. דמיינו לעצמכם שיחה עם חבר שמבין באופן טבעי את התמונה ששלחתם, את הטקסט שכתבתם, ואת הסרטון שצירפתם – כל זאת ללא מאמץ וללא “תפרים” מלאכותיים. זוהי בדיוק החוויה שמציעים מודלי Llama 4. היכולת המשולבת הזו מאפשרת למודלים להצטיין במשימות מורכבות במיוחד – הם יכולים לנתח מסמכים עסקיים עמוסי תרשימים, לפענח מאמרים מדעיים עם גרפים מורכבים, ואפילו לצפות בסרטון ולענות על שאלות מעמיקות הן על התוכן החזותי והן על הדיאלוגים. זוהי לא רק התקדמות טכנולוגית – זוהי קפיצת מדרגה בדרך שבה בינה מלאכותית מתקשרת עם העולם הרב-ממדי שלנו.

ביצועים ותמיכה בשפות

Llama 4 מתקרב לחזון האוניברסלי של צוקרברג עם תמיכה מרשימה ב-12 שפות מגוונות מרחבי העולם. מערבית ועד ויאטנמית, מהינדי ועד ספרדית, המודלים החדשים מגשרים על פערים תרבותיים ולשוניים באופן שלא נראה קודם במודלים פתוחים. מאחורי היכולות המרשימות הללו עומד תהליך אימון מסיבי על למעלה מ-30 טריליון טוקנים – כמות מידע מסחררת שהיא פי שניים ממה שהוזן לדור הקודם, Llama 3. המודלים לא רק “ראו” טקסטים בשפות שונות, אלא גם נחשפו למיליארדי תמונות וקטעי וידאו, מה שמעניק להם הבנה עשירה ומורכבת של העולם. התוצאות מדברות בעד עצמן – לפי נתוני מטא, Llama 4 Maverick מציג ביצועים עדיפים על מתחריו היוקרתיים כמו GPT-4o של OpenAI ו-Gemini 2.0 של Google במגוון תחומים קריטיים – מקידוד מורכב ועד חשיבה לוגית, מהתמודדות עם טקסטים ארוכים במיוחד ועד ניתוח תמונות מדויק. המודל מצטיין במיוחד במשימות רב-לשוניות, שם הוא מפגין הבנה עמוקה של ניואנסים תרבותיים ולשוניים שבדרך כלל אובדים בתרגום. עבור משתמשים מרחבי העולם, המשמעות היא פשוטה – גישה לטכנולוגיית בינה מלאכותית מתקדמת שסוף-סוף מבינה אותם בשפתם הטבעית.

יכולות באיתור מידע ספציפי (Needle-in-a-haystack – NIAH)

מהתרשים המצורף ניתן להסיק כי מודלי Llama 4 מציגים יכולות מרשימות במציאת מידע ספציפי (Needle-in-a-haystack) בתוך הקשרים ארוכים. Llama 4 Maverick מצליח לאחזר מידע בדיוק גבוה עד 1 מיליון טוקנים, עם כשלונות מינימליים (רק שניים) באזור ה-79%-86% מעומק הטקסט. Llama 4 Scout מציג ביצועים מושלמים באחזור מידע טקסטואלי לאורך 10 מיליון טוקנים, ללא כשלונות כלל. בנוסף, Llama 4 Scout מציג יכולת מרשימה גם באחזור מידע מתוך קטעי וידאו ארוכים עד 20 שעות (10.4 מיליון טוקנים), עם רק שלושה כשלונות בודדים. התוצאות מדגימות את היתרון המשמעותי של חלון ההקשר הענק של מודלי Llama 4 ואת יעילותם באחזור מידע מדויק מתוך מאגרי מידע גדולים במיוחד:

הצלחה כמעט מושלמת לאורך מיליוני טוקנים

זמינות ורישוי

רוצים לשים ידיים על הטכנולוגיה המתקדמת ביותר בעולם הבינה המלאכותית הפתוחה? מודלי Llama 4 Scout ו-Maverick זמינים כבר עכשיו להורדה באמצעות שני ערוצים מרכזיים – אתר Llama הרשמי ופלטפורמת Hugging Face המוכרת למפתחים. הגישה הנוחה מאפשרת למפתחים ולארגונים להתחיל לעבוד עם המודלים המתקדמים הללו כמעט מיד. מטא לא הסתפקה רק בשחרור המודלים לקהילה – החברה כבר שדרגה את העוזר האישי שלה, Meta AI, לעבוד עם Llama 4 ב-40 מדינות שונות ברחבי העולם. עם זאת, המשתמשים צריכים לקחת בחשבון שהתכונות המולטימודליות המתקדמות ביותר מוגבלות בשלב זה לדוברי אנגלית בארצות הברית בלבד. למרות שמטא מציגה את Llama 4 כ”קוד פתוח”, חשוב להכיר את המגבלות המשמעותיות שמלוות את הרישיון: ארגונים מסחריים גדולים במיוחד – אלה עם יותר מ-700 מיליון משתמשים פעילים מדי חודש – חייבים לקבל אישור מיוחד ממטא לפני שהם יכולים להשתמש במודלים. מגבלה משמעותית נוספת היא האיסור המוחלט על יחידים וחברות באיחוד האירופי להשתמש או להפיץ את המודלים – מגבלה שנובעת ככל הנראה מהתנגשות עם דרישות רגולטוריות מחמירות של חקיקת הבינה המלאכותית ופרטיות הנתונים האירופית. למרות המגבלות הללו, Llama 4 מייצג עדיין את אחת ההזדמנויות הגדולות ביותר לארגונים ומפתחים להשתמש בטכנולוגיית בינה מלאכותית מתקדמת ללא עלויות API גבוהות.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס מקיף לבינה מלאכותית - GenAI Master

לפרטים נוספים לחצו כאן >>

לסיכום, השקת Llama 4 מהווה נקודת מפנה בעולם הבינה המלאכותית הפתוחה, עם שלושה מודלים חדשניים – Scout, Maverick, וה-Behemoth העתידי. חידושים טכנולוגיים כמו ארכיטקטורת MoE, חלון הקשר של 10 מיליון טוקנים, ויכולות מולטימודליות מתקדמות מציבים את מטא בחזית החדשנות. עם תמיכה ב-12 שפות ואימון על למעלה מ-30 טריליון טוקנים, המודלים מתחרים ביעילות במובילי השוק. השקעה מתוכננת של 65 מיליארד דולר בתשתיות AI משקפת את מחויבותה של מטא לקדמה טכנולוגית. למרות מגבלות מסוימות על השימוש, בעיקר באיחוד האירופי ועבור תאגידי ענק, מטא ממשיכה במסורת הקוד הפתוח. הביצועים המרשימים של Llama 4 מציבים אתגר משמעותי למתחרים ומקדמים את חזונו של צוקרברג להנגשת AI מתקדמת לכלל האוכלוסייה. עם תכניות להקמת מרכז נתונים עצום והרחבת יכולות המחשוב, מטא מתכוננת להוביל את מהפכת ה-AI בשנים הקרובות.