קלוד 2.1 (claude) פה ויש לו חלון הקשר של 200,000 טוקנים!

חדשות משמחות למשתמשי קלוד – מודל השפה המהפכני, שלדעתי עוקף את ChatGPT בסיבוב בכל מה שקשור לעיבוד, ניתוח, תקצור ותרגום טקסטים, כבר פה – והוא פי 2 יותר חזק ואמין. אה… כן – והוא גם זמין בגרסה החינמית! ביום שלישי (21.11.23) חברת אנטרופיק (Anthropic) השיקה את מודל השפה החדש והמשופר שלה – Claude2.1. העדכון מציג מספר חידושים לא פחות ממדהימים! פעם הייתי אומר שזה גיים צ’יינג’ר אבל התחרות בשוק ה-LLM’s כל כך גדולה שבאמת שלמתחרים הכבדים (קלוד וג’פטו) יש ארסנל מרשים של פיצ’רים שהופכים כל אחד מהם למפלצת של ממש!

אז אלו חידושים נמצא במודל החדש של קלוד?

להלן עיקרי החידושים שתמצאו בקלוד 2.1:

• חלון הקשר גדול פי 2! לפני הכל, למודל 2.1 של קלוד claude ai יש חלון קונטקסט גדול פי 2 (!) מהמודל הקודם (שגם הוא היה עצום). 200,000 טוקנים! (לעומת 100,000 בקלוד2). זה שווה ערך לכ-150,000 מילים או 500 עמודים של תוכן שקלוד יודע לעבד ולנתח. אגב, אם תהיתם, לגרסה בתשלום של ChatGPT4 יש “רק” 32,000 טוקנים בחלון ההקשר שלו.

• זמין גם בגרסה החינמית: חשוב לציין שחלון הקונטקסט הרחב זמין רק למשתמשי פרו (מנויים בתשלום) ולמשתמשי ה-api של קלוד. עם זאת המודל החדש כבר זמין גם בגרסה החינמית, אולם שם לא תיהנו מחלון הקונטקסט של 200K אלא “רק” ב-100K (שזה עדיין מרשים ביותר).

• יותר מדויק ואמין: המודל החדש מדויק הרבה יותר ומציג פי 2 פחות שגיאות ו”הזיות” בשליפת מידע או בתשובות לשאלות על דאטה, מה שמגביר משמעותית את המהימנות והאמינות שלו.

הגרף הבא מציג את הטעויות של המודל במענה על שאלות בחלון הקשר גדול של 70K טוקנים לעומת 195K טוקנים. המסקנה: ירידה של 30% בתשובות לא נכונות.

• עיבוד מספר קבצים במקביל: קלוד 2.1 יודע לעבד מספר קבצים או טקסטים במקביל, בתוך פרומפט בודד. הוא יודע לבצע סינטזה בין טקסטים, לענות על שאלות על טקסטים וכמובן לסכם, לתקצר ולתרגם ביעילות. משתמשים ישראליים ישמחו לשמוע שהעברית שלו מ-ד-ה-י-מ-ה! (הרבה יותר משל ChatGPT4).

• החברה מציגה מספר כלי בטא, כלים למפתחים ושדרוגים ב-API שלהם. בסרטון: קונסולת ה-API של קלוד.

• עוד פיצ’ר מעולה הוא מאגר “סיסטם פרומפט” (system prompts). מעין רשימת פקודות/קודים/פרומפטים שיכולים להפוך את קלוד שלכם למומחה בתחומו. פקודות אלו עוזרות לו “ללבוש תפקיד” או “לאמץ דמות” (ומסייעות לו “להישאר בדמות” לאורך זמן). הן עוזרות לו לעקוב אחר חוקים וכללים. כך תוכלו להפוך אותו למומחה לכושר ותזונה, לבלוגר, לכותב קוד ועוד. חשוב לדעת – ה”סיסטם פרומפטס” זמינים רק בקלוד 2.1 בקונסולת המפתחים ולמשתמשי ה-API של קלוד. למרות זאת, אני מציע לכם להעיף מבט על האופן בו החברה בונה את הפרומפטים שבמאגר זה. ניתן ללמוד מכך הרבה על הדרך בה יש “לדבר” עם מודלי שפה בכלל ועם קלוד בפרט. הנה כמה דוגמאות:

אם אתם רוצים לקרוא קצת יותר על אנטרופיק וקלוד, מוזמנים להעיף מבט במאמר הבא. אגב, לאחרונה שמה של אנטרופיק נקשר לא פעם ולא פעמיים בפארסת ההדחה-חזרה של סם אלטמן מ-OpenAI. היו שמועות על איחוד בין החברות (הרי אנטרופיק הוקמה ע”י פליטי OAI בעצמם, שערקו מהחברה והקימו את החברה המתחרה). בימים שלפני חזרתו של אלטמן לתפקיד ה-CEO עלו השערות שאולי ימצא את דרכו לאנטרופיק, אך נראה שההתערבות המאסיבית של סאטיה נאדלה, מנכ”ל מיקרוסופט, הצליחה לבסוף להחזיר את המנכ”ל הצעיר למקומו הראוי בחברה שייסד.