האם אפשר ללמד בינה מלאכותית איך ללמוד עוד לפני שהיא מכירה את העולם?

כדי ללמד מודל בינה מלאכותית לזהות דפוסים בשפה, מקובל לחשוף אותו לכמויות עצומות של טקסט. כדי שיזהה מבנים בתמונות, מאמנים אותו על מידע חזותי. כך פועלת התפיסה שמאחורי רוב המודלים המתקדמים: ככל שנחשוף אותם ליותר מידע איכותי, כך הם יוכלו לרכוש יכולות שימושיות יותר. אבל מה יקרה אם ניקח ממודל את כל חומרי הלימוד האלה? האם הוא עדיין יוכל לפתח יכולות שיעזרו לו להבין מידע חדש, עוד לפני שראה אפילו דוגמה אחת מהעולם האמיתי?

ללמוד בלי להכיר את העולם

צוות חוקרים מאוניברסיטת תל אביב, מאוניברסיטת סטנפורד וממוסדות נוספים החליט לבדוק בדיוק את האפשרות הזאת. במחקר שפורסם בספטמבר 2026, תחת הכותרת Self-Play Pretraining with Zero Data, הם הציגו שיטת אימון שבה שני מודלים מתחילים ממשקלים אקראיים, יוצרים תרגילים ומתפתחים יחד, בלי להתאמן על טקסטים, תמונות או הקלטות אמיתיות.

התוצאה מאוד מסקרנת: המודל הלומד הצליח לשפר את יכולתו לחזות מידע מתחומים שמעולם לא נחשף אליהם במהלך האימון. הניסוי מציע ראיות ראשוניות לכך שחלק מכישורי החיזוי של AI עשויים להתפתח מתוך התנסות במבנים מתמטיים וחישוביים, עוד לפני רכישת ידע על העולם.

איך מודל AI לומד בלי נתונים | מקור: Cowsik et al. 2026

כיתה בלי ספרי לימוד

כדי להבין את הניסוי, דמיינו תלמיד שלא קיבל ספרים, תמונות או מידע על העולם. במקום זה, נותנים לו מורה שמייצר עבורו תרגילים חדשים כל הזמן. המורה עוקב אחר ההתקדמות של התלמיד, ומנסה לבחור תרגילים שיאתגרו אותו ויאפשרו לו להשתפר. זה הרעיון שהחוקרים בדקו.

במערכת שפיתחו פועלים שני מודלים. הראשון הוא מחולל תרגילים (Generator), שמייצר תוכניות מחשב קצרות. כאשר מריצים אותן, מתקבלים רצפים של סימנים. המודל השני, הלומד (Learner), מתאמן בניסיון לחזות את הסימן הבא בכל רצף.

החלק המעניין הוא האופן שבו המחולל משתפר. הוא מקבל משוב שמעריך אם התרגילים שיצר תואמים את כיוון ההתקדמות של הלומד. תרגיל פשוט מדי כבר לא יתרום הרבה, ורצף אקראי לחלוטין לא בהכרח יאפשר ללמוד כלל שימושי. המערכת מחפשת תרגילים שמרחיבים בהדרגה את מה שהמודל מסוגל ללמוד.

לגישה הזאת קוראים Self-Play, או פשוט למידה מתוך משחק גומלין. שני הצדדים משתפרים זה לצד זה, כאשר אחד מייצר את האתגרים והשני לומד להתמודד איתם.

במהלך האימון זיהו החוקרים שהמחולל למד לייצר גם רצפים מתמטיים מוכרים, בהם סדרות חשבוניות, סדרות הנדסיות וסדרת פיבונאצ'י, שבה כל איבר הוא סכום שני קודמיו. אף אחד לא סיפק לו מראש שיעור על פיבונאצ'י. הרצפים הופיעו מתוך החיפוש אחרי חומר אימון מועיל.

זו תוצאה מעניינת, אבל זה לא אומר שהמודל מבין מתמטיקה כפי שאדם מבין אותה. היא מראה שתהליך האימון מסוגל לגלות ולהפיק מבנים מתמטיים שימושיים.

איזה דפוסים המודל גילה בעצמו | מקור: Cowsik et al. 2026

מה קורה כשהמודל פוגש את העולם לראשונה?

כאן מגיע המבחן החשוב באמת. הרי אפשר לאמן מודל לזהות רצפים שהוא יצר בעצמו, אבל האם היכולת הזאת תועיל לו גם כשהוא יפגוש מידע שנוצר מחוץ לסביבת האימון?

החוקרים בחנו את המודל על נתונים אמיתיים ממגוון תחומים, בהם טקסטים, תמונות, דיבור, מוזיקה, קוד ורצפי DNA. המידע הומר לרצפים של יחידות מידע קטנות, והמודל נדרש לחזות את היחידה הבאה.

ככל שהגדילו את משאבי החישוב שהוקדשו לאימון העצמי, השתפרה יכולת החיזוי שלו בתחומים רבים באופן עקבי. יתרה מכך, הגישה שבה המחולל התאים את התרגילים להתקדמות הלומד הניבה שיפור משמעותי יותר בהשוואה ליצירת תוכניות אקראיות מתוך אותה סביבת חישוב.

איך השיטה השפיעה בתחומים שונים

בניסוי נוסף הראו החוקרים שהמודל מסוגל לזהות כללים מתוך דוגמאות שמציגים לו בזמן הבדיקה, בלי לעדכן מחדש את המשקלים שלו. למשל, הוא הצליח ללמוד מתוך דוגמאות כיצד להפוך סדרת סימנים או להפעיל פעולות חישוב מסוימות.

עם זאת, חשוב להבין מה בדיוק נמדד. המודל לא התבקש לנהל שיחה, להסביר תמונה או להבין משמעות של יצירה מוזיקלית. החוקרים מדדו בעיקר את היכולת שלו לחזות את המשך הרצף. מדובר בכישור בסיסי שעומד בבסיסם של מודלים רבים, אבל הוא לא שקול להבנה אנושית או לביצוע מוצלח של משימות מורכבות.

הרעיון לא נולד עכשיו, אז מה באמת חדש?

האפשרות ללמוד מתוך מידע שנוצר באמצעות חישוב לא חדשה לגמרי. כבר ביוני 2025 פרסם החוקר Peter Bloem את Universal Pre-training by Iterated Random Computation.

במחקר הזה הוא הראה שאימון על רצפים שנוצרו באמצעות תהליכי חישוב יכול להקנות יכולות חיזוי שמועילות גם על נתונים אמיתיים, ולשפר את ההמשך של תהליך האימון. באותה שנה פורסם גם Absolute Zero, מחקר שהציג מערכת המסוגלת לייצר לעצמה משימות חשיבה וללמוד לפתור אותן באמצעות משוב שניתן לבדוק באופן אוטומטי. אלא שבמקרה הזה, הלמידה העצמית התבססה על מודל שכבר עבר אימון קודם.

המחקר החדש מתקדם בכיוון אחר. שני המודלים מתחילים ממשקלים אקראיים, והמחולל לומד לבחור בעצמו אילו סוגי תרגילים מקדמים את הלומד. במקום להסתפק במאגר קבוע של תרגילים מלאכותיים, תוכנית הלימודים משתנה יחד עם היכולות שנרכשות.

זה החידוש המרכזי של העבודה: האפשרות ליצור תהליך אימון מקדים שבו לא רק הלומד משתפר, אלא גם המקור שמספק לו את חומר הלימוד.

אולי כדאי ללמוד איך ללמוד לפני שלומדים עובדות

מאחורי הניסוי מסתתרת הבחנה חשובה. יש ידע שתלוי בעולם המסוים שבו אנחנו חיים, למשל מתי התרחשה מלחמת העולם השנייה, מהו מזג האוויר בפריז או מה כתוב בחוזה מסוים. אי אפשר לגלות את העובדות האלה מתוך תרגילים מתמטיים בלבד.

לעומת זאת, יש דפוסים שעשויים להיות שימושיים במגוון רחב של מצבים: חזרות, רצפים, קשרים בין חלקים, היררכיות וכללים שניתן להסיק מדוגמאות. החוקרים בוחנים האם אפשר לפתח חלק מהיכולות האלה מראש, כדי שהמודל יהיה מוכן יותר ללמוד מהמציאות כאשר ייחשף אליה.

כדי לבדוק את זה, הם ערכו גם ניסוי המשך. לאחר שלב האימון העצמי, הם חשפו את המודל לנתונים אמיתיים והשוו את קצב הלמידה שלו למודל זהה שהתחיל מאפס. התוצאה הייתה מעודדת. המודל שעבר אימון עצמי הגיע לרמות מסוימות של דיוק חיזוי לאחר שנחשף לפחות נתונים אמיתיים.

האם אימון עצמי עוזר ללמוד מהר | מקור: Cowsik et al. 2026

בניסוי התמונות, לדוגמה, נדרשו לו כ-421 מיליון יחידות אימון, לעומת כ-588 מיליון למודל שהתחיל ממשקלים אקראיים. גם בתחום האודיו נמצא יתרון דומה.

אבל יש כאן הסתייגות מהותית. ההשוואה הזאת לא כוללת את משאבי החישוב שהושקעו בשלב האימון העצמי, לכן היא מעידה על למידה מהירה יותר בשלב החשיפה לנתונים אמיתיים, אבל עדיין לא מוכיחה שהתהליך הכולל חסכוני יותר בכסף או בחישוב.

מה עדיין רחוק מהוכחה?

לצד התוצאות המבטיחות, הניסוי מוגבל בהיקפו. החוקרים עבדו עם מודלים קטנים יחסית, שהגדול שבהם כלל כ-24.4 מיליון פרמטרים. זו סקאלה שונה לחלוטין מזו של מודלי השפה המסחריים הגדולים.

יש גם הסתייגות נוספת מהמונח Zero Data. אפילו שהמודלים לא אומנו על נתונים מהעולם האמיתי, החוקרים השתמשו במדדי ביצוע על טקסט ו-DNA אמיתיים כדי לבחור חלק מהגדרות האימון. כלומר, המידע החיצוני לא שימש ללמידת משקלי המודל, אבל הייתה לו השפעה מסוימת על תכנון הניסוי.

בנוסף, מדובר בינתיים בטיוטת מחקר ולא במחקר עם אישור לפרסום שעבר ביקורת עמיתים. החוקרים פרסמו משקלי מודלים וקוד להערכת התוצאות, דבר שמאפשר בדיקות נוספות, אך עדיין דרוש אימות רחב יותר של הממצאים.

השאלה הפתוחה החשובה היא האם אותו מנגנון ימשיך להועיל כשהמודלים יהיו גדולים ומורכבים בהרבה, וכאשר היעד יהיה שיפור ביכולות מעשיות ולא רק בחיזוי של רצפים.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס מטמיעי AI

לפרטים נוספים לחצו כאן >>

הצעד הבא באימון הבינה המלאכותית

אם התוצאות יחזיקו מעמד גם בקנה מידה גדול, הן עשויות להוסיף אפשרות מעניינת לאופן שבו מאמנים מערכות AI.

מודלים יוכלו אולי לעבור שלב של התנסות חישובית עצמית, לפתח יכולות חיזוי כלליות, ורק לאחר מכן ללמוד מתוך מידע מהעולם האמיתי. בעתיד ייתכן שאפשר יהיה גם לשלב תהליכי למידה כאלה בתוך האימון של מודלים קיימים.

הפוטנציאל הוא להפחית חלק מהתלות בנתונים חיצוניים ולהפיק יותר ערך מהמידע הקיים. אבל לשם כך צריך עדיין להוכיח שהשיטה משפרת יכולות בקנה מידה משמעותי, ושעלותה מצדיקה את התועלת.

המחקר של החוקרים מתל אביב ומסטנפורד לא ביטל את הצורך ללמד מודלים על העולם. הוא סיפק ראיות ראשוניות לכך שאפשר להקנות להם חלק מכישורי החיזוי עוד לפני המפגש עם המציאות. אם הגישה הזאת תתרחב, היא עשויה לשנות את סדר הפעולות בתהליך האימון: קודם לפתח יכולת לזהות מבנים וכללים, ואז להשתמש בה כדי ללמוד את העולם בצורה יעילה יותר.