דמיינו את עצמכם יושבים בבית קפה הומה אדם, שקועים בשיחה מרתקת עם חבר. בזמן שאתם מדברים על אירועי השבוע, המוח שלכם מתמרן בקלות בין חוטי השיחה השונים – מה שנאמר לפני חמש דקות, הזמנת הקפה שאתם מחכים לה, והנקודה שאתם רוצים להעלות בהמשך. היכולת המדהימה הזו להחזיק ולעבד מידע ברגע נתון היא משהו שאנחנו לעיתים קרובות לוקחים כמובן מאליו. ובכל זאת, זו בדיוק היכולת שחוקרים שאפו לשחזר בבינה מלאכותית, מה שהוביל לאחת ההתפתחויות המשמעותיות ביותר: חלון ההקשר (Context Window).
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
בימים הראשונים של מודלי שפה מבוססי AI, המערכות הללו היו כמו בני שיח הסובלים מאובדן זיכרון חמור לטווח קצר. הם יכלו “לזכור” רק כ-1,500 מילים בכל רגע נתון – כאילו שאתם מנסים לסכם ספר כשאתם בעצם יכולים לקרוא רק עמוד אחד. המגבלה הזו גרמה לכך שמערכות AI מוקדמות, למרות יכולותיהן היחסית מרשימות לאותה תקופה, התקשו במשימות שדרשו הבנה של מסמכים ארוכים יותר או ניהול שיחות ממושכות. סיפור חלונות ההקשר התפתח כמו מרוץ טכנולוגי, כשכל התקדמות דוחפת את גבולות האפשרי.
זה החל עם יכולות צנועות של GPT-3 עם 2,000 טוקנים, והשינוי המשמעותי החל במרץ 2023 כאשר OpenAI הציגה את GPT-4 עם שתי גרסאות – אחת עם 8,192 טוקנים והשנייה עם 32,768 טוקנים. זו הייתה רק ההתחלה של אבולוציה מהירה שתשנה את נוף הבינה המלאכותית. במהלך 2023, מעבדות ה-AI הגדולות נכנסו לתחרות להרחבת היכולות הללו. OpenAI שיפרה את המודל שלה עם GPT-4 Turbo, והגדילה את חלון ההקשר ל-128K טוקנים. המסע של Anthropic היה מרשים באותה מידה – החל מחלון של 9K טוקנים ב-Claude המקורי, הם עשו קפיצה דרמטית ל-100K טוקנים עם Claude 2 באמצע 2023, וכעת – משפחת המודלים של Claude 3 מציעה חלון הקשר של 200K טוקנים עם אפשרות למיליון טוקנים ללקוחות נבחרים.
הגרף מתעד את הצמיחה המשמעותית בגודל חלון ההקשר של מודלי GPT מ-2018 ועד 2024, עם דגש מיוחד על המודלים העיקריים (מסומנים בסגול) והשוואה למודלים אחרים בשוק (מסומנים באפור). ניתן לראות את המגמה העולה ואת הקפיצה המשמעותית במיוחד מ-2022 ואילך. Credit: Medium.com
מ-128K ועד 100M: פערים דרמטיים ביכולות עיבוד המידע של מודלי שפה גדולים. Credit: lablab.ai
כדי להבין חלון הקשר, צריך להבין מה זה טוקן. כשאנחנו מדברים על טוקנים בהקשר של בינה מלאכותית, אנחנו מתכוונים ליחידות הבסיסיות שהמודל משתמש בהן כדי לעבד טקסט. טוקן יכול להיות מילה שלמה, חלק ממילה, או אפילו סימן פיסוק בודד. למשל, המילה “התפתחות” עשויה להיות מחולקת ל-2-3 טוקנים שונים, בעוד שהמילה “כן” תהיה בדרך כלל טוקן אחד. באופן כללי, אפשר לחשוב על 4-5 טוקנים כמייצגים מילה אחת בממוצע בעברית. לכן, כשמודל כמו Gemini 1.5 Pro מציע חלון הקשר של 2 מיליון טוקנים, זה שווה ערך למאות עמודים של ספר בעיבוד אחד.
מודל בינה מלאכותית מעבד טקסט בשיטה שונה מזו של בני אדם. הוא מפרק את הטקסט לטוקנים, מזהה את הקשרים ביניהם, ומעבד אותם יחד ליצירת הבנה מקיפה של הטקסט. נניח שבודקת תביעות בחברת ביטוח צריכה לנתח תיק לקוח. בשיטה המסורתית, היא הייתה צריכה לעבור על כל מסמך בנפרד – פוליסת ביטוח, טופסי תביעה, דוחות רפואיים והתכתבויות. בשיטה החדשה, המערכת סורקת את כל המסמכים במקביל. היא משווה בין הפוליסה לתביעה, בודקת מול תקדימים דומים, ומציינת נקודות שדורשות תשומת לב מיוחדת. מה שהיה לוקח שעות של עבודת ניתוח ידנית, מתבצע כעת במהירות וביעילות רבה יותר.
דוגמה לטוקניזציה (פירוק למילים) שנוצרה על-ידי Llama-3-8B. כל תת-מילה צבעונית מייצגת טוקן נפרד. Credit: towardsdatascience.com
עולם חדש נפתח בפני אנשי מקצוע מתחומים שונים הודות להרחבת חלונות ההקשר. עורכי דין יכולים כעת להפקיד בידי מערכות בינה מלאכותית אלפי עמודים של חוזים ותקדימים משפטיים, ולקבל בחזרה תובנות מדויקות תוך דקות. רופאים וחוקרים רפואיים, שבעבר נאלצו להתמודד עם הררי מידע בעבודה ידנית מייגעת, יכולים היום לנתח במהירות מאגרי מידע עצומים ולזהות דפוסים חשובים בין אלפי תיקים רפואיים. מהפכה דומה מתרחשת בעולם התוכנה. מפתחים שבעבר היו צריכים לסרוק שורת קוד אחרי שורת קוד בחיפוש אחר באגים, יכולים היום להזין בסיסי קוד שלמים למערכות AI שמבינות את הקשרי העומק בין חלקי התוכנית. GitHub, למשל, כבר משלבת יכולות אלו בכלי הפיתוח שלה ומשנה את האופן שבו מפתחים כותבים קוד.
הצמיחה בגודל חלון ההקשר במודלי ה-AI המובילים.
אבל כמו בכל טכנולוגיה פורצת דרך, יש גם מחיר – ככל שחלונות ההקשר גדלים, כך גדלות דרישות המחשוב והעלויות. זה כמו ההבדל בין לבקש ממישהו לסכם פרק בספר לעומת ספרייה שלמה – שניהם אפשריים, אבל האחד דורש הרבה יותר משאבים וזמן. חשוב להבין ש“גדול יותר” זה לא תמיד “טוב יותר” – העלות הסביבתית והכלכלית של הפעלת מודלים עם חלונות הקשר גדולים היא משמעותית. הפעלת מודל שמעבד מיליוני טוקנים דורשת כוח מחשוב עצום, צורכת חשמל רב ומייצרת חום שדורש קירור. זה מתורגם לא רק לעלויות כספיות גבוהות, אלא גם לטביעת רגל פחמנית משמעותית. זמני התגובה מהווים אתגר נוסף. כאשר מודל צריך לעבד כמויות עצומות של מידע, התשובות עלולות להתעכב. במקרים רבים, כמו בצ’אט בזמן אמת או במערכות שדורשות תגובה מהירה, חלון הקשר קטן יותר עשוי דווקא להיות יעיל יותר.
המרוץ העולמי בתחום חלונות הקשר משקף תחרות מרתקת בין מעצמות טכנולוגיות. בחזית ניצבות חברות אמריקאיות כמו Google, OpenAI ו-Anthropic, כשלצדן מתפתחות במהירות חברות סיניות כמו Baidu ו-Alibaba, ובאירופה מקודמות יוזמות המותאמות לדרישות הפרטיות המקומיות. תחרות זו מציתה חדשנות מרשימה אך גם מעלה דילמות מהותיות לגבי שיתופי פעולה בינלאומיים, אבטחת מידע ואתיקה בפיתוח בינה מלאכותית. השאלה המרכזית היא האם נכון לפתח טכנולוגיות אלו באופן עצמאי או שמא יש מקום לשיתוף פעולה גלובלי בתשתיות הבסיסיות.
בשנתיים האחרונות כאמור, נרשמה התקדמות מרשימה בהרחבת חלונות הקשר, כאשר Magic.dev’s LTM-2-Mini מוביל עם 100 מיליון טוקנים, ואחריו Google Gemini 1.5 Pro עם 2 מיליון טוקנים, Claude 3.5 Sonnet שמאפשר 200K טוקנים ו- GPT-4 עם 128K. משמעות הדבר היא יכולת מהפכנית לעיבוד מידע. לצורך ההמחשה, Gemini 1.5 Pro, שהיום כאמור מאפשר חלון הקשר של 2 מיליון טוקנים, מסוגל היה לנתח במקביל (עם חלון של מיליון טוקנים ״בלבד״) שיעור מצולם של שעה, 11 שעות הקלטות תרגול, אלפי שורות קוד וטקסט בהיקף של שני ספרי “מלחמה ושלום”. יכולת זו פותחת אפשרויות חדשות בתחומים כמו חינוך, מחקר ופיתוח, ומסמנת התקדמות משמעותית מעבר ליכולות המוגבלות של תחילת הדרך.
חלון ההקשר של גוגל ג׳מיני 1.5 פרו יכול להכיל כמעט 10 ספרי ‘הארי פוטר ואבן החכמים’. Credit: Reddit
בעידן שבו חברות הטכנולוגיה מתחרות על גודל חלונות הקשר, חשוב לזכור שהיעילות היא לא רק עניין של מספרים. לפעמים, מודל ממוקד עם חלון הקשר קטן יותר יכול להיות הפתרון המושלם למשימה ספציפית. מעבר למספרים ולביצועים הטכניים, יש כאן סיפור מרתק על התקרבות בין אדם למכונה. ככל שמודלי הבינה המלאכותית משתכללים, הם מתחילים לעבד מידע באופן שמזכיר יותר ויותר את המוח האנושי – לא רק בהבנת פרטים בודדים, אלא בתפיסת התמונה הרחבה וההקשרים העמוקים שמעניקים למידע משמעות. בעוד אנחנו מתמודדים עם שאלות של עלויות, ביצועים והשפעה סביבתית, חלונות ההקשר מזכירים לנו שהחדשנות המשמעותית ביותר אינה בהכרח בהמצאת הגלגל מחדש, אלא ביכולת שלנו לגרום למערכות לחשוב קצת יותר כמו בני אדם – להבין הקשר, לזכור ולהסיק מסקנות.
בואו ללמוד איתנו בינה מלאכותית בקורס המקיף, העשיר והמבוקש בשוק. הצטרפו לאלפים הרבים שכבר עברו את הקורסים והסדנאות שלנו. פרטים והרשמה באתר.
רוצים לקבל עדכונים בלייב? רוצים מקום בו אתם יכולים להתייעץ עם מומחי AI, לשאול שאלות ולקבל תשובות? רוצים לשמוע על מבצעים והטבות לכלי ה-AI שמשנים את העולם? הצטרפו לקהילות ה-AI שלנו.
אפשר גם להרשם לניוזלטר שלנו
רוצים לקבל עדכונים על כל מה שחדש ומעניין בעולם ה-AI? הרשמו לניוזלטר שלנו!
תוצאות נוספות...
תוצאות נוספות...
