מחיר למיליון טוקנים לא באמת מספר כמה מודל AI עולה

כשמשווים מחירים של מודלי AI, זה מרגיש כמו משימה די פשוטה. פותחים את דפי התמחור, מסתכלים כמה עולה מיליון טוקנים ב-GPT, ב-Claude או במודל אחר, ומקבלים לכאורה תשובה ברורה: המספר הנמוך ביותר הוא המודל הזול ביותר. אלא שההשוואה הזו מסתירה בעיה בסיסית. טוקן הוא לא יחידת מידה אחידה בין מודלים. טיבו סוטיו (Thibault Sottiaux) מ-OpenAI העלה את הנקודה הזו בפוסט שפרסם לאחרונה. הטענה שלו פשוטה: כשאנחנו משווים מחיר למיליון טוקנים כאילו טוקן הוא גרם, ליטר או קילוואט-שעה, אנחנו מניחים שטוקן אחד במודל מסוים מייצג בדיוק את אותו הדבר במודל אחר. הוא לא.

אותו טקסט, מספר שונה של טוקנים

כל משפחת מודלים משתמשת ב-tokenizer, המנגנון שמפרק את הטקסט שהמודל מקבל ליחידות קטנות יותר. הפירוק הזה אינו זהה בין מודלים. אותו משפט, קטע קוד או מסמך יכולים להפוך ל-800 טוקנים במודל אחד וליותר מ-1,000 במודל אחר. הפער תלוי בסוג הטקסט, בשפה, במספרים, בקוד ובאופן שבו ה-tokenizer של כל מודל תוכנן.

וזה אומר שמחיר נמוך יותר לטוקן לא מבטיח חשבון נמוך יותר. מודל יכול לפרסם מחיר אטרקטיבי יותר למיליון טוקנים, אבל אם הוא צורך יותר טוקנים כדי לעבד את אותו תוכן, חלק מהיתרון הזה נעלם.

פיצה אחת, מספר שונה של משולשים

סוטיו משתמש באנלוגיה פשוטה כדי להסביר את הבעיה. דמיינו שתי פיצות זהות. הראשונה חתוכה לשמונה משולשים, וכל משולש עולה 2 דולר. בסך הכל תשלמו 16 דולר. השנייה חתוכה ל-16 משולשים. כל משולש עולה רק 1.25 דולר. על פניו, המקום השני זול משמעותית. המחיר למשולש נמוך יותר.

אבל כדי לקבל פיצה שלמה צריך לקנות 16 משולשים, ולכן המחיר הכולל מגיע ל-20 דולר. המשולש זול יותר. הפיצה יקרה יותר. זו בדיוק הבעיה שעלולה להיווצר כאשר משווים מודלים רק לפי מחיר למיליון טוקנים. אם כל מודל מחלק את "הפיצה" למספר אחר של חלקים, המחיר של חלק בודד לא מספר כמה תעלה הארוחה כולה.

הבדיקה שהראתה פער של 34.5%

כדי להמחיש את הנקודה, סוטיו שיתף בדיקה קטנה שכללה טקסט באנגלית, תוכן טכני, שפות שונות ומספרים. לפי הנתונים שפרסם, ה-tokenizer שבו משתמש GPT-5.6 Sol ספר 766 טוקנים עבור התוכן שנבדק, לעומת הערכה של 1,170 טוקנים עבור Claude Opus 5.

הפער הוא כ-34.5% פחות טוקנים עבור אותו תוכן. זו כמובן לא בדיקה שמספיקה כדי לקבוע איזה מודל זול יותר בכל שימוש. סוג התוכן, היקף הקלט והפלט והמשימה עצמה יכולים לשנות את התמונה. אבל היא ממחישה היטב למה השוואה שמתבססת רק על המחיר הרשמי למיליון טוקנים עלולה להיות חלקית.

שני מודלים יכולים להציג מחיר באותה יחידה, בזמן שבפועל הם משתמשים במספר שונה מאוד של אותן יחידות כדי לבצע את אותה עבודה.

וגם מספר הטוקנים עדיין לא מספר את כל הסיפור

כאן מגיע החלק המעניין יותר בטענה של סוטיו. גם אם נתקן את ההשוואה ונחשב כמה טוקנים כל מודל באמת צורך, עדיין לא הגענו למדד החשוב ביותר. כי משתמשים ועסקים לא קונים טוקנים. הם מנסים להשיג תוצאה.

מודל יכול להיות זול יותר גם במחיר לטוקן וגם במספר הטוקנים, אבל אם הוא דורש כמה ניסיונות כדי להשלים משימה, צריך לספק לו יותר הקשר או לתקן את התשובה שוב ושוב, העלות האמיתית מתחילה לעלות.

מנגד, מודל יקר יותר יכול להיות משתלם אם הוא מסיים את המשימה בניסיון הראשון. לכן ההשוואה החשובה באמת היא לא רק מחיר לטוקן, אלא מחיר לתוצאה מוצלחת.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס בינה מלאכותית במשרד

לפרטים נוספים לחצו כאן >>

מה כדאי למדוד במקום

עבור משתמש בודד, ההבדלים האלה לא תמיד יהיו משמעותיים. עבור חברות שמפעילות מודלים בקנה מידה גדול, הם יכולים להפוך לסכומים משמעותיים מאוד. במקום לשאול רק כמה עולה מיליון טוקנים, כדאי לשאול שאלות שמחוברות לעבודה עצמה.

כמה עולה לסכם אלף מסמכים ברמת האיכות הנדרשת? כמה עולה לטפל בעשרת אלפים פניות שירות? כמה עולה ליצור קוד שעובר את הבדיקות? וכמה ניסיונות בממוצע נדרשים עד שמקבלים תוצאה שאפשר להשתמש בה? בנצ׳מארק (Benchmark) יכול להיות נקודת התחלה טובה, אבל בדיקה על השימוש האמיתי של הארגון תספר הרבה יותר.

המחיר שמופיע בטבלה הוא רק נקודת ההתחלה

מחיר למיליון טוקנים הוא נתון שימושי, ואין סיבה להתעלם ממנו. אבל הוא לא מספיק כדי לקבוע איזה מודל זול יותר. צריך להבין כמה טוקנים כל מודל צורך עבור אותו תוכן, כמה קלט ופלט נדרשים כדי לבצע את המשימה, וכמה ניסיונות נדרשים כדי להגיע לתוצאה טובה.

ובסופו של דבר, המדד החשוב ביותר הוא פשוט יותר: כמה עלה לקבל את התוצאה שרצינו. לפני שבוחרים את המודל עם המחיר הנמוך ביותר בטבלת התמחור, כדאי לבדוק כמה משולשים צריך לקנות כדי לקבל את הפיצה כולה.