איך מודלים גדולים של שפה גם הלהיבו וגם אכזבו אותנו? מה מסוכן בהם, ואיך מתמודדים?

בתחום הבינה המלאכותית מודלים גדולים של שפה נעשו כלי חשוב ומהפכני המצליח לשנות את הדרך שבה אנו מתקשרים עם מחשבים. היכולת של מחשבים להבין את השאלות שלנו ולספק תשובות מדויקות ומפורטות פתחה לנו אפשרויות חדשות ומרגשות. עם זאת, לצד ההצלחות המרשימות ישנן גם אכזבות וסכנות. 

ההתלהבות הגדולה מ־AI 

כשגילינו שאין צורך להיות דקדקנים כל כך, ושפתאום המחשב מסוגל להבין את השאלה שלנו גם אם לא הגדרנו לו מראש תשובה מדויקת ומפורטת לפרטי פרטים, פתאום זה נהיה מרגש. פתאום הוא מצליח לכתוב לנו תוכן, וקוד, ולהיות גשר בין כלים, כזה שמצליח להבין אותנו וליצור לנו תמונות כפי מה שביקשנו. בערך. החל בסוכני AI ובחבילות פיתוח ומוצרים ללא כל צורך בידע בקוד, דרך קורסים והסמכות וכלה בסטארט־אפים ובגיוסים סביב מוצרי AI שרובם מבוססים על חיבור למודל שפה כלשהו, הסחף האדיר הזה גרם לעולם להצעיד את עצמו מיליוני צעדים קדימה.

האכזבות והאתגרים

לצד ההתלהבות הרבה המשתמשים במודלים גדולים של שפה נתקלים גם באכזבות ובאתגרים רבים. נבחן את האכזבות המרכזיות ואת הסיבות להן:

הטיה מגדרית – טענות שבינה מלאכותית עושה הטיה מגדרית. מנקה תהיה אישה; נהג יהיה גבר; דוגמנית תהיה אישה יפה ולבנה; אסיר יהיה גבר. הבינה המלאכותית מאומנת על תיוג של מידע בחלק מהזמן. ואם בחומר המתויג הוגדרו הטיות, זה מה שהבינה תלמד.

צנזורה – המודלים המסחריים מצונזרים כדי לוודא שלא נעשה שימוש לא ראוי בפלטפורמה. הרי מודלים מסוגלים להשיב גם על שאלות לא אתיות ואלימות ומסוכנות. ויש מודלים חינמיים שמסוגלים לאפשר את זה. אבל המסחריים מצנזרים. מובן שהצנזורה נדרשת, אך לעיתים יש צנזורת יתר גם היכן שאינה נדרשת. במודלים של מייקרוסופט אפשר לבקש אישור להחריג את היכולות של הצנזורה. מובן שזה לא ניתן לכל אחד ואחת ובטח לא בקלות. אבל שתדעו שלצורך עסקי מוכח אפשר לקבל עזרה בהיבט הזה דרך Azure OpenAI.

תחושת תקיעות – יש תחושה שאנחנו תקועים בשלב של מודלים של שפה, אבל מה הלאה? אנחנו רואים שלפעמים התשובות מעולות ולפעמים ממש לא. לפעמים המודל קולע ולפעמים הוא רחוק; התשובות ברובן קצרות, יש בעיות גדולות של זיכרון, חוסר תמיכה מספקת בשפה שאינה אנגלית, עלויות יקרות לאימון מודלים לצרכים אישיים וצורך בחומרה שאינה זולה.

הסכנות שבמודלים הגדולים

חשבו שמודלים מאומנים על מידע מהאינטרנט. אם נבנה אתרים פיקטיביים ונשתול שם קישורים זדוניים או מידע שקרי בכמויות, אז המידע שהמודל יתאמן עליו יהיה שקרי, שגוי ולא נכון. וזה יוביל לתשובות שגויות שעלולות להטעות את המשתמשים.

חברות מסחריות מובילות את התחום

אם חברות מסחריות מובילות את המודלים העוצמתיים, אנחנו בבעיה. חברות מסחריות לא פועלות לשם שמיים ולא כדי להפוך את האנושות לטובה יותר. אלטמן, ביל גייטס והשאר מחזיקים בכוח אדיר בידיים שלהם, והוא מסוכן מדי. לעומת זאת, חברות נחשבות כמו אנתרופיק וקלוד באמת מנסות לתת דגש לבטיחות. ובזכות מודלים של קוד פתוח, הקהילה מאפשרת גם לנו להחזיר אלינו כוח רב לא פחות.

מה הלאה? התקדמות עתידית

לגבי התקיעות של מודלים גדולים של שפה: הם ילכו וישתפרו כמובן, בכל השפות. אבל החידושים הבאים יהיו מודלים שמציגים גם יכולת חשיבה, עצירה, ביקורת עצמית, הבנה, ורק לאחר מכן נותנים מענה. אומנם לא מענה מהיר ומיידי, אך הם מוכיחים יכולת ממשית של מחשבה ושל ביצוע פעולה מקיפה ויסודית. גם עצם זה שהבנו את הפואנטה עם מודלים של שפה במתכונתם הנוכחית, אמורה לתת לנו זריקת מרץ להסיט את המבט אל עבר המכניקה של למידת מכונה, ולעניות דעתי מי שישלוט בה, ישלוט גם בפריצות הדרך העתידיות.

שלוש נקודות חשובות

קלוד 3 – השנה הושק בכמה גרסאות קלוד 3. גרסת הדגל נקראת אופוס, והיא ממש מעולה. לאחרונה שוחרר גם קלוד 3.5 סונטה, והוא ממש מפלצת! קלוד הוא מודל שפה ‘שנכנס ללב’. יש בו קסם. הוא באמת מרתק ומסקרן ובכלל – שווה התייחסות ואי אפשר להתעלם ממנו.

המשך אימון של מודל שפה – יש לנו יכולת היום לבצע ‘המשך’ אימון של מודל שפה. מה שנקרא Fine Tune, שזה בגדול מאפשר לנו להמשיך את האימון עם דאטה משלנו ובכך לשנות את המשקלים בפרמטרים של המודל, את מה שגורם לו להשיב על עוד שאלות בהתאם לידע שהתווסף לו או להתנהג אחרת.

עבודה עם מודלים חינמיים – כדי לעבוד עם מודלים חינמיים צריך משאבים רציניים יחסית. אפשר להתקין תוכנות כמו Ooga Booga או LMStudio או GPT4All המאפשרות לנו לשוחח עם מודלים אחרים וחינמיים של שפה, גם על חומרים מסווגים וכל זה בלי לצאת לאינטרנט, ואפילו לקבל ממשק נחמד לתשאול.

מודלים גדולים של שפה הם כלי רב־עוצמה שיכול לשנות את הדרך שבה אנו עובדים ומתקשרים עם טכנולוגיה. עם זאת, יש בהם גם אתגרים וסכנות. אם נבין לעומק את היתרונות והחסרונות, נוכל למצות את הפוטנציאל של הבינה המלאכותית ולמצוא דרכים להתמודד עם הבעיות שלה. העתיד של הבינה המלאכותית טמון בשיפורים מתמשכים וביצירת מודלים חכמים ובטוחים יותר בדגש על חשיבה ביקורתית ומדעית.