האלגוריתם של גוגל שמכווץ מודלים פי 6

הסיפור של TurboQuant מתחיל ברעיון שנשמע כמעט בלתי סביר. האפשרות לצמצם פי 6 את כמות הזיכרון שמודלי שפה גדולים משתמשים בו בזמן שהם פועלים, ועדיין לשמור על אותה איכות תשובה. מאחורי הרעיון הזה מסתתר שינוי עמוק בהרבה. האלגוריתם של גוגל לא רק דוחס מידע, אלא משנה את האיזון בין חומרה לתוכנה ומציע דרך חדשה לחשוב על העלות האמיתית של הפעלת מערכות בינה מלאכותית בקנה מידה גדול. בעולם שבו כל שיפור בביצועים דרש עד היום עוד GPU ועוד זיכרון, TurboQuant מציב סימן שאלה על כמה מההנחות הבסיסיות ביותר של תעשיית ה-AI.

יתרון שמדלג על האימון מחדש

אימון מודל שפה גדול עולה מיליוני דולרים ודורש שבועות של חישוב. עד היום, כל ניסיון לצמצם מודל כזה חייב התערבות בתהליך האימון עצמו. TurboQuant עובד אחרת - הוא מקטין את צריכת הזיכרון בזמן שהמודל כבר פועל, בלי לגעת באימון המקורי. המשמעות היא שכל ארגון, קטן כגדול, יכול ליהנות מהחיסכון בלי להיכנס להשקעות כבדות או לשנות את תהליך הפיתוח שלו. במקום לבנות מודל מחדש, פשוט מכווצים אותו תוך כדי תנועה - וזה מחזיר את הפוקוס מאסקלציה של חומרה לאופטימיזציה חכמה של מה שכבר קיים.

הרגע שבו מחקר הופך לאפשרות תעשייתית

הטענה הזו לא נשארה בגדר רעיון תיאורטי. בתוך זמן קצר מפרסום המאמר, כמה קבוצות חוקרים שלא קשורות לגוגל ניסו ליישם את השיטה בעצמן - והצליחו. הם בדקו אותה על מחשבים שונים, מערכות הפעלה אחרות ומודלים שלא הופיעו במחקר המקורי, ובכל המקרים קיבלו תוצאות דומות. העובדה שהשיטה עבדה מחוץ למעבדות של גוגל, ובתנאים שלא תוכננו מראש, מחזקת את ההבנה שמדובר בגישה כללית ולא בטריק חד-פעמי. הטכנולוגיה עשויה להיות רלוונטית להרבה יותר גופים מאלה שיש להם גישה לתשתיות של גוגל.

התגובה בשוק: כשזיכרון הופך לפחות קריטי

התגובה בשוק ההון הייתה מהירה וברורה. מניות של יצרניות זיכרון כמו Samsung ו-Micron ירדו, משום שהמשקיעים הבינו את המשמעות המעשית. אם מודלים צורכים פחות זיכרון, הביקוש לשבבי HBM, אחד הרכיבים היקרים ביותר בשרתים ייעודיים ל‑AI, עלול להיחלש. Matthew Prince, מנכ"ל Cloudflare, הגדיר את TurboQuant כ"רגע ה-DeepSeek של גוגל" - השוואה שמאותתת על שינוי כיוון. ממש כמו ש-DeepSeek הראתה שאפשר לאמן מודלים חזקים בעלות נמוכה, TurboQuant מראה שאפשר להריץ אותם בחלק קטן מהחומרה שחשבנו שצריך.

התגובה בשוק היתה מהירה. Source: stocktwits.com

מה זה אומר לתקציב ה-AI של ארגונים

ספקיות הענן הגדולות הרחיבו תשתיות בשנים האחרונות בקצב מהיר, מתוך הנחה שמודלים גדולים דורשים כמויות עצומות של זיכרון. הן חתמו על חוזים ארוכי טווח לרכישת שבבי HBM, בנו מרכזי נתונים חדשים והסתמכו על שרשראות אספקה שכבר היום פועלות קרוב לקצה היכולת. אם TurboQuant או טכניקות דומות יבשילו, פחות שרתים יידרשו כדי לשרת את אותו מספר המשתמשים, ופחות זיכרון יידרש בכל שרת. עבור ארגונים שמתכננים תקציב AI לשנה הקרובה, הנקודה המעשית ברורה - עלויות ההפעלה, שהן החלק היקר ביותר בתקציב ה‑AI, עשויות לרדת מהר יותר ממה שההתחייבויות החוזיות הנוכחיות משקפות.

הזהרות ופערים

חשוב להישאר מפוכחים. האלגוריתם עדיין לא בפרודקשן, וגוגל לא פרסמה קוד רשמי שניתן לבחון או להריץ בקנה מידה גדול. אין עדיין בדיקות שמדמות שימוש של מיליוני משתמשים במקביל, ולא ברור אם הדחיסה משפיעה על מהירות התגובה או על יציבות המערכת לאורך זמן. גם היכולת של השיטה להתמודד עם מודלים גדולים במיוחד עדיין לא הוכחה. ספקיות הענן, שמפעילות תשתיות עצומות ומורכבות, לא יאמצו טכנולוגיה חדשה לפני שתוכיח את עצמה כיציבה, בטוחה ויעילה. הפוטנציאל גדול, אבל הדרך ליישום תעשייתי עדיין לא ברורה.

לא רק TurboQuant

ובכל זאת, גם עם כל סימני השאלה, המסר של TurboQuant ברור. העלות של מערכות בינה מלאכותית לא נקבעת רק על ידי גודל ה‑GPU או כמות הזיכרון, אלא על ידי היכולת להשתמש בהם בצורה חכמה. בעולם שבו פיתוח חומרה מתקדמת דורש שנים של עבודה והשקעות עתק, תוכנה יכולה לשנות את כללי המשחק בתוך זמן קצר. עבור מנהלים שמתכננים תשתיות לשנים קדימה, זו תזכורת לא להינעל על הנחות ישנות. העלויות עשויות לרדת מהר יותר ממה שנדמה, והמהפכה הבאה עשויה להגיע דווקא מהשכבה הרכה ביותר במערכת - מהתוכנה שמצליחה להפיק יותר מהחומרה שכבר קיימת.