OpenAI משיקה מודל חדש: GPT-4o Mini – מודל AI קטן וחסכוני… אבל למי באמת הוא מתאים?

חברת OpenAI משיקה מודל קטן, זול וחסכוני במיוחד! אתמול (18.7.24) הכריזה החברה על השקת GPT-4o mini. המודל החדש מיועד להרחיב את טווח היישומים המבוססים על AI בהפיכת הטכנולוגיה לזמינה וזולה יותר למפתחים ולארגונים. הוא כבר זמין בפלטפורמת ChatGPT (גם בחבילה החינמית) וגם למפתחים ב־API. אבל למי הוא באמת מתאים, והאם יש פה בשורה אמיתית? יצאנו לבדוק…

ביצועים ויכולות

מודל GPT-4o mini הוא מודל שפה קטן וחסכוני יותר שנועד להנגיש את טכנולוגיית הבינה המלאכותית למפתחים ולארגונים בעלות נמוכה. המודל החדש מבטיח להרחיב את מגוון היישומים של AI אך לשמור על ביצועים גבוהים ועל עלות נמוכה. GPT-4o mini מציע שילוב ייחודי של גמישות בשימוש והתאמה למשימות מגוונות, ולכן הוא כלי משמעותי בעידן הפיתוח המודרני של יישומי בינה מלאכותית.

המודל מציג יכולות משופרות גם במשימות הכוללות הנמקה טקסטואלית וויזואלית, ומציע ביצועים טובים יותר בקריאת פונקציות ובעבודה עם הקשרים ארוכים בהשוואה ל־GPT-3.5 Turbo. הוא מציג ביצועים משופרים בהשוואה למודלים קטנים אחרים במגוון מדדים:

• MMLU (משימות הנמקה): ציון של 82.0%, לעומת 77.9% של Gemini Flash ו־73.8% של Claude Haiku.
• MGSM (הנמקה מתמטית): ציון של 87.0%, לעומת 75.5% של Gemini Flash ו־71.7% של Claude Haiku.
• HumanEval (ביצועי קידוד): ציון של 87.2%, לעומת 71.5% של Gemini Flash ו־75.9% של Claude Haiku.
• MMMU (הנמקה מולטימודלית): ציון של 59.4%, לעומת 56.1% של Gemini Flash ו־50.2% של Claude Haiku.

השוואה בין ביצועי GPT-4o Mini למודלים אחרים | Credit: OpenAI

יכולות טכניות

GPT-4o mini מציע מספר יכולות טכניות משמעותיות:

• תמיכה בטקסט ובראייה: כרגע תומך בטקסט ובראייה ב־API ומתוכנן לתמוך בעתיד ביכולות וידאו ושמע.
• חלון הקשר גדול יחסית: מציע חלון הקשר של 128K טוקנים המאפשר לעבד טקסטים ארוכים.
• פלט נרחב: תומך בעד 16K טוקנים של פלט לבקשה.
• ידע עדכני: כולל מידע עדכני עד אוקטובר 2023.
• טיפול משופר בשפות שאינן אנגלית: בזכות מטייב (tokenizer) משופר הטיפול בטקסט שאינו באנגלית יעיל יותר מבחינת עלויות.

עלויות

אחד היתרונות המשמעותיים של GPT-4o mini הוא המחיר הנמוך:  15 סנט למיליון טוקנים של קלט ו־60 סנט למיליון טוקנים של פלט. מדובר בהוזלה של יותר מ־60% בהשוואה ל־GPT-3.5 Turbo והפחתה משמעותית בהשוואה למודלים מתקדמים קודמים. OpenAI מציינת כי העלות לטוקן של GPT-4o mini ירדה ב־99% מאז text-davinci-003, מודל מתקדם פחות שהוצג ב־2022.

רוצים להבין את המחירים של המודלים השונים של OpenAI בהשוואה למודלים אחרים כמו Anthropic או מודלים הזמינים ב־Groq?

אביץ (אברהם יצחק מאיר) הכין לכם ארטיפקט שיעשה לכם סדר. לחצו פה והפעילו אותו בתוך קלוד. הוא יאפשר לכם לראות מחירונים של המודלים השונים. אפשר לבחור עם הסליידר כמות טוקנים (תוכלו להפריד בין Input ו־Output באמצעות הכפתור), ואם לוחצים בטבלה על מודל מסוים, אז רואים את היחס של שאר המודלים אליו בעמודת Ratio.

בתמונה: המודל החדש של gpt-4o-mini בהשוואה לאחרים. Claude 3 Opus יקר ממנו פי – שימו לב טוב – 120!! | מתוך הארטיפקט שאביץ יצר.

שימושים פוטנציאליים

המודל החדש מאפשר מגוון רחב של משימות בזכות העלות והלטנטיות הנמוכות שלו:

• חיבור זול ל־API: בראש ובראשונה מדובר במודל סופר זול אך עדיין אמין ואיכותי.
• אינטראקצייה בזמן אמת: תקשורת עם לקוחות באמצעות תגובות טקסט מהירות כמו בצ’אטבוטים לשירות לקוחות.
• משימות מבוססות נתונים: יכולת משופרת בחילוץ מידע מקבצים ויכולות ייצור תוכן כמו תגובות איכותיות לדוא”ל על בסיס היסטוריית שיחות.

אמצעי בטיחות

OpenAI מדגישה כי הבטיחות מובנית במודלים שלה. GPT-4o mini כולל מספר אמצעי בטיחות:

• סינון מידע: בשלב הטרום־אימון מסוננים תכנים בעייתיים כמו דברי שנאה, תוכן למבוגרים, ספאם ומידע אישי מצטבר.
• RLHF: שימוש בטכניקות כמו למידת חיזוקים עם משוב אנושי לשיפור הדיוק והאמינות של תגובות המודל.
• שיתוף פעולה עם מומחים: יותר מ־70 מומחים חיצוניים בתחומים כמו פסיכולוגיה חברתית ומידע מוטעה בחנו את המודל לזיהוי ולטיפול בסיכונים פוטנציאליים.
• היררכיית הוראות: GPT-4o mini הוא המודל הראשון המיישם את שיטת היררכיית ההוראות של OpenAI, המשפרת את יכולת המודל להתנגד לטכניקות פריצה או לשימושים זדוניים כמו jailbreaks, prompt injections וחילוצי system prompt.

איפה אפשר להשתמש במודל החדש?

GPT-4o mini זמין במספר פלטפורמות:

• כמודל טקסט וראייה הוא זמין ב־Assistants API, Chat Completions API, ו־Batch API.
• בתוך הפלטפורמה של ChatGPT הוא זמין למשתמשי Plus ו־Team, וכמובן גם למשתמשים בחינם. הוא מחליף את GPT-3.5. משתמשי Enterprise יקבלו גישה בקרוב.

OpenAI מתכננת להשיק אפשרויות Fine-Tuning ל־GPT-4o mini בימים הקרובים.

יתרונות בולטים באתר ובאפליקציה

• ביצועים מעולים: GPT-4o mini מצטיין במשימות טקסטואליות ומראה ביצועים מרשימים במיוחד. זה אומר שתוכלו ליהנות מתשובות מהירות ומדויקות יותר.
• תמיכה רב־שפתית: היכולת לעבד טקסטים בשפות שונות שופרה מאוד. תתכוננו לתקשר עם הבוט בשפה שלכם, בקלות ובפשטות.
• תמיכה חזותית: הגרסה החדשה תדע לנתח תמונות בצורה מרשימה. צפו לניתוח תמונות ושילוב טקסט חזותי בצורה אינטואיטיבית.
• קונטקסט מרשים: עד 128 אלף טוקנים בחלון ההקשר שלו (כ־95,000 מילים) ו־16 אלף טוקנים לפלט בכל בקשה. כלומר תוכלו לנהל שיחות ארוכות ומורכבות יותר בלי בעיות (מזכירים שלאח הגדול שלו, GPT-4o, יש חלון קונטקסט של 200K).

מסקנות סופיות

השקת GPT-4o mini מסמנת צעד משמעותי בהנגשת טכנולוגיית AI מתקדמת למגוון רחב יותר של מפתחים וארגונים. הוא פחות מתאים ל”משתמש הממוצע”, אבל בהחלט מתאים למפתחים וליזמים שרוצים טכנולוגיה מתקדמת, יעילה, איכותית והכי חשוב – מהירה וזולה! מי שרוצה לעבוד עם API בלי “לקרוע את הכיס” יכול להפיק תועלת רבה ממודל שכזה. זה ממש לא GPT 3.5 – זו חיה אחרת לגמרי! הוא הרבה יותר חכם ועוצמתי, אבל הוא לא מתקרב ל־GPT4o ובטח שלא ל־Claude 3.5 Sonnet, שנכון לכתיבת שורות אלו הוא מודל השפה הטוב בעולם!

היכולות המשופרות והעלות הנמוכה יותר פותחות אפשרויות חדשות ליישומי AI, במיוחד בתחומים הדורשים תגובות מהירות או עיבוד של כמויות גדולות של מידע. ככל שהטכנולוגיה תמשיך להתפתח, יהיה מעניין לראות כיצד GPT-4o mini וטכנולוגיות דומות ישפיעו על הנוף הטכנולוגי והעסקי בשנים הקרובות. בעוד שהמודל מציג ביצועים טובים יותר ממודלים קטנים אחרים, הוא עדיין נופל מ־GPT-4o במספר מדדים. ארגונים יצטרכו לשקול את היתרונות של עלות נמוכה יותר לעומת ביצועים שהם מעט פחות טובים.