עולם הבינה המלאכותית רגיל למדוד הצלחה בגודל – יותר שכבות, יותר כוח מחשוב, יותר פרמטרים. אבל מחקר חדש טוען ההפך – לפעמים דווקא הקטנים חושבים טוב יותר. למה מודלים חכמים שמסכמים מאמרים וכותבים קוד נכשלים בחידת סודוקו פשוטה? כי הם עונים ברצף אחד ארוך, בלי לעצור, לבדוק ולתקן. בני אדם, לעומת זאת, פותרים צעד אחר צעד, עם מחיקות, ניסיונות חוזרים ותיקונים. החוקרת Alexia Jolicoeur-Martineau ממעבדת הבינה המלאכותית של Samsung במונטריאול הצליחה ללמד רשת קטנה לחשוב באותה צורה, וכשהיא עשתה את זה, קרה דבר מפתיע – היא עקפה מודלים גדולים פי מאה אלף ממנה.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
מודלי שפה גדולים כמו ChatGPT, Gemini ו-Claude יודעים לכתוב קוד, לסכם מאמרים ולנהל שיחות מורכבות, אבל כשמעמידים אותם מול חידות לוגיות פשוטות לכאורה, כמו סודוקו או מבוכים, הם עדיין מתקשים. הם חושבים ב“קו ישר“ – מייצרים תשובה בניבוי קדימה (forward pass), מילה אחרי מילה ושלב אחרי שלב, בלי לעצור ולבדוק אם ההיגיון עדיין נכון. טעות מוקדמת גוררת שרשרת טעויות בהמשך.
הקושי הזה נחשף במיוחד במבחן ARC-AGI – סדרת חידות חזותיות שנועדה לבדוק אם מודלים באמת “מבינים” דפוסים חדשים, ולא רק משננים דוגמאות. בגרסה הראשונה של המבחן (ARC-AGI-1), מודל o3 של OpenAI השיג תוצאות מרשימות – כ-75.7% בתצורת חישוב מוגבלת, ועד 87.5% בתצורת חישוב גבוהה. אבל בגרסה המתקדמת יותר (ARC-AGI-2), שמודדת יצירתיות ויכולת למידה אמיתית, כמעט כל המודלים נתקעים סביב אחוזים בודדים בלבד. לדוגמה, Gemini 2.5 Pro (Preview) הגיע לכ-3.8%, ו-o3-pro (high) ל-4.9% בלבד – נתונים שממחישים עד כמה גם המערכות המתקדמות בעולם עדיין מתקשות באמת “להבין” ולא רק “לחזות”.
במילים פשוטות, למרות ההתקדמות המרשימה, רוב המודלים הגדולים עדיין לא באמת “חושבים”. הם מעולים בזיכרון, בחיזוי ובשפה, אבל לא בהיגיון הדרגתי ובתיקון עצמי בזמן אמת.
כדי להתגבר על המגבלה הזו של היעדר היכולת “לחשוב בלולאות”, חוקרים ניסו לפתח ארכיטקטורות חדשות שמדמות תהליך חשיבה אנושי אמיתי. אחת מהניסיונות הבולטים הייתה מודל בשם HRM (Hierarchical Reasoning Model), מודל חשיבה היררכי שניסה לשלב שתי רשתות נוירונים שפועלות בתדרים שונים: אחת “מהירה” ואחת “איטית”. הרעיון היה חכם, אבל היישום היה מסורבל. HRM כלל 27 מיליון יחידות למידה, נשען על תיאוריה מתמטית מורכבת, והצדיק את עצמו בהסברים ביולוגיים שהיו קשים להבנה גם למומחים.
החוקרת Alexia Jolicoeur-Martineau שאלה שאלה פשוטה: האם באמת צריך את כל זה? היא לקחה את אותו רעיון בסיסי, רשת שחושבת בלולאות, ופישטה אותו לחלוטין. כך נולד Tiny Recursive Model (TRM): רשת אחת, קטנה, שחוזרת על עצמה עד 16 פעמים. בכל סיבוב היא בוחנת את השאלה, את התשובה הנוכחית ואת “הערות לעצמה” מהפעמים הקודמות, ומשפרת את הפתרון בהדרגה.
שני עקרונות פשוטים הופכים אותה ליעילה במיוחד:
1. משוב בשלבים (Deep Supervision) – בכל שלב המודל מקבל רמז אם הוא מתקרב לתשובה הנכונה, ממש כמו במשחק “קר-חם”, שבו אתה יודע שאתה בדרך הנכונה כששומעים “חם… חם יותר”.
2. החלטה מתי לעצור (ACT) – אם התשובה כבר נכונה אחרי שלושה סבבים, הוא מפסיק ולא מבזבז חישובים. כך הוא מספיק להתאמן על יותר דוגמאות שונות ולומד מהר יותר.
התוצאות מדברות בעד עצמן – TRM הזעיר, עם כ-7 מיליון יחידות למידה בלבד, הגיע ל-44.6% ב-ARC-AGI-1 ול-7.8% ב-ARC-AGI-2. בגרסה קטנה עוד יותר של 5 מיליון יחידות, הוא פתר חידות סודוקו קשות בדיוק של 87.4%, והצטיין גם במבוכים עם 85.3%, לעומת 74.5% של HRM הגדול.
הפשטות הזו לא רק חוסכת כוח מחשוב, היא גם מוכיחה שמחשבה מחזורית קטנה יכולה להביס כוח גולמי עצום.
המחקר הזה מערער על אחת ההנחות העמוקות ביותר בעידן הבינה המלאכותית והוא שגודל שווה אינטליגנציה. כשניסו להגדיל את הרשת משתי שכבות לארבע שכבות, הביצועים דווקא הידרדרו. יותר פרמטרים לא הביאו להבנה טובה יותר, רק לזיכרון עמוק יותר.
TRM מציע אלטרנטיבה: עומק שנוצר לא מנפח, אלא מחזרות חכמות. הוא לומד בהדרגה, מתקן את עצמו, ומגיע לתוצאה מדויקת יותר, בדיוק כפי שבני אדם עושים כשאנחנו חושבים. היתרון אינו רק רעיוני אלא גם מעשי. רשת זעירה כזו יכולה לרוץ על מחשב נייד רגיל או אפילו על טלפון, בלי צורך בחיבור לענן ובלי לצרוך כמויות עצומות של חשמל. זה שינוי משמעותי בעידן שבו מודלים ענקיים דורשים חוות שרתים שלמות וצריכת אנרגיה של מדינות קטנות.
ובעומק הדברים – זה שינוי כיוון מחשבתי. במקום להוסיף שכבות, TRM מוסיף דרך חשיבה: הוא חוזר, בוחן, משפר, ומחליט מתי לעצור. זהו עקרון פשוט שמזכיר את האופן שבו המוח האנושי לומד, ומרמז על דור חדש של AI שמצליח לא רק “לדעת”, אלא גם להבין.
היישומים פותחים אופקים חדשים – הוכחות מתמטיות, תכנון תנועות רובוטים, ניפוי באגים בקוד – כל משימה שבה נדרשת חשיבה מדויקת יותר מידע רחב. אבל אולי החשוב מכל, המחקר הזה מזכיר לנו שהאינטליגנציה האמיתית לא תמיד נמדדת בכמות, אלא באיכות החשיבה.
TRM הוא לא מודל כללי לשיחות, כתיבה או יצירת טקסט. הוא אומן על שאלות שיש להן תשובה אחת נכונה, כמו סודוקו ומבוכים, ולכן אינו מתאים למשימות פתוחות או דמיון חופשי. אבל זו לא חולשה, זו בחירה – הוא נבנה כדי לחשוב בצורה ממוקדת, צעד אחרי צעד, ולא לזרוק רעיונות באוויר. זה לא מוח שמדבר, זה מוח שבוחן, מתקן ומגיע למסקנה. כלי מדויק לחשיבה, לא לשיחה.
לסיכום, המחקר של Alexia Jolicoeur-Martineau מזכיר עיקרון פשוט אבל מהפכני – כדי לחשוב חכם יותר, לא צריך בהכרח לחשב יותר. רשת זעירה אחת, שחוזרת על עצמה ולומדת מתוך תהליך החשיבה שלה, יכולה לנצח מערכות ענקיות פי מאה אלף ממנה. ההתקדמות הבאה בבינה מלאכותית תגיע כנראה פחות מהוספת שכבות ושרתים, ויותר מהבנה עמוקה של איך חשיבה אמיתית באמת עובדת – גם אצל מכונות, וגם אצלנו.
למי שרוצה לצלול לעומק – המחקר המלא זמין כאן.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
רוצים לקבל עדכונים על כל מה שחדש ומעניין בעולם ה-AI? הרשמו לניוזלטר שלנו!
תוצאות נוספות...
תוצאות נוספות...
כתיבת תגובה