26 אסטרטגיות לשיפור תשובות של מודלי שפה

חוקרים מאוניברסיטת MBZUAI ערכו מחקר שיכול לשנות את האופן שבו אנו מנהלים שיחות עם ChatGPT. הם גילו עשרות טכניקות מפתיעות שמשפרות באופן דרמטי את איכות התשובות של מודלי שפה גדולים (LLMs).

אבל לפני הכל – הישארו מעודכנים! הצטרפו לרשימת התפוצה שלנו ולא תפספסו שום עדכון, חידוש או מידע על כלי חדש שיוצא…

Email

בהרשמה אני מאשר/ת קבלת מסרים פרסומיים במייל

הרשמה

 

בקצרה – מה חשוב לדעת על המחקר?

המידע בכתבה זו מבוסס על מחקר העונה לשם: Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4, אותו כתבו: Sondos Mahmoud Bsharat, Aidar Myrzakhan ו-Zhiqiang Shen מ-VILA Lab, Mohamed bin Zayed University of AI (אוניברסיטת מוחמד בן זאייד ל-AI, או בקצרה: MBZUAI, ממוקמת באבו דאבי).

במסגרת המחקר בדקו החוקרים איך טכניקות שונות יכולות לשפר ביצועים של מודלי שפה. הבדיקות בוצעו על LLaMA ו-GPT, במסגרתן ניסו החוקרים לראות לראות האם הטכניקות השונות באמת עוזרות לקבל תשובות טובות יותר. הם מצאו שככל שהמודל גדול ומתקדם יותר, כך הוא יכול להבין ולענות טוב יותר. וגם שככל שהשאלה או ההוראה שנותנים לו ברורות ומדויקות יותר, כך התשובות שלו משתפרות. לכן, כדי לקבל את התוצאה הטובה ביותר, צריך לנסח את השאלות וההוראות בצורה הכי ברורה וממוקדת שאפשר. העקרונות מסווגים לחמישה סוגים שעוזרים לעשות את זה:

• מבנה ובהירות.
• ספציפיות.
• אינטראקציה.
• תוכן וסגנון.
• פירוק משימות מורכבות.

ראשית, ההנחיה צריכה להיות תמציתית וברורה, ללא מידע מיותר. שנית, חשוב לספק הקשר רלוונטי שיעזור לתוכנה להבין את הנושא. שלישית, יש להתאים את ההנחיה בצורה הדוקה למשימה המבוקשת. רביעית, אפשר להשתמש בדוגמאות כדי להמחיש את הפורמט הרצוי. חמישית, צריך לנסח בזהירות כדי למנוע הטיות. שישית, אפשר לפרק משימות מורכבות לסדרת הנחיות. ולבסוף, ניתן להוסיף לוגיקת תכנות להנחיות עבור משימות מורכבות. העקרונות האלה יכולים לשפר משמעותית את איכות התשובות שמתקבלות.

רשימת הטכניקות המומלצות

חלק מהטכניקות הללו הן יצירתיות במיוחד ואף קצת הומוריסטיות. למשל, חוקרים גילו שהוספת משפטים כמו “אני אתן לך תשר על תשובה טובה יותר!” או “תיענש אם לא תענה נכון” יכולים לשפר משמעותית את תגובת הבוט. להלן הרשימה:

1. ללכת ישר לעניין בלי נימוסים כמו “בבקשה” או “תודה”.
2. לציין קהל יעד כמו מומחים בתחום מסוים.
3. לפרק פרומפטים מורכבים לפשוטים ועוקביים.
4. להשתמש במילים חיוביות כמו “לעשות” במקום שליליות כמו “לא”.
5. לבקש הסברים פשוטים יותר לשם בהירות.
6. לציין שתיתנו ‘טיפ’ יותר גבוה עבור פתרונות טובים יותר.
7. לתת דוגמאות המדגימות את הפורמט הרצוי.
8. תבנו פרומפטים עם תוויות להוראות, למשל, שאלות.
9. לשלב ביטויים כמו “המשימה שלך היא” ו”חובה עליך”.
10. להזהיר שתשובות גרועות יענשו.
11. לבקש תשובות טבעיות ואנושיות.
12. להשתמש במילים מובילות כמו “לחשוב שלב אחר שלב”.
13. להבטיח תשובות לא מוטות וללא סטריאוטיפים.
14. לאפשר למודל לשאול שאלות הבהרה.
15. לבדוק הבנה על ידי בקשת הסברים בחזרה.
16. לשייך תפקיד ספציפי למודל.
17. להשתמש ב- delimiters כדי להפריד בין חלקי הפרומפטים.
18. לחזור על מילים או ביטויים מפתח בפרומפטים.
19. לשלב שרשרת מחשבה ודגימות בפרומפטים.
20. לסיים פרומפטים עם תחילת הפלט המצופה.
21. לבקש פירוט מקיף בנושא מסוים.
22. לתקן טקסטים תוך שמירה על הסגנון המקורי.
23. לייצר אוטומטית קוד המפוזר על פני קבצים מרובים.
24. לספק טקסט התחלתי ולבקש המשך עקבי.
25. לנסח בבירור דרישות תוכן שהמודל חייב למלא.
26. לבקש חיקוי סגנון השפה של דוגמאות שסופקו.

קצת יותר בהרחבה

על המחקר: המאמר מציג 26 עקרונות מנחים שתוכננו כדי לייעל את התהליך של שאילת שאלות והצגת רמזים למודלים שפתיים גדולים. המטרה היא לפשט את המושגים הבסיסיים של ניסוח שאלות עבור קנה מידה שונה של מודלים שפתיים גדולים, בחינת יכולותיהם ושיפור הבנת המשתמש על התנהגות מודלים בקנה מידה שונה בתגובה לרמזים שונים. המחקר בוחן את מודלי LLaMA-1/2 (בגדלים 7B, 13B ו-70B) ואת המודלים GPT-3.5/4 כדי לאמת את אפקטיביות העקרונות על עיצוב רמזים ושאלות.

ממצאים: הממצאים מראים שמודלים גדולים יותר מסוגלים להפגין יכולת סימולציה ניכרת. ככל שהמשימה או ההנחיה המועברת מדויקות יותר, כך המודל מבצע אותה ביעילות רבה יותר, ומתאים את תגובותיו בצורה צמודה יותר לציפיות שלנו. לפיכך, עדיף להקצות תפקיד ספציפי למודלי שפה גדולים כדי לעודד תשובות שמתאימות טוב יותר לתוצאה המבוקשת.

מטרת המחקר: מודלי שפה גדולים (LLMs) כמו ChatGPT הציגו יכולות מרשימות במגוון תחומים ומשימות, כמו מענה על שאלות, חישובים מתמטיים ויצירת קוד מחשב. עם זאת, יישומם והשימוש בהם, במיוחד בתכנון ההוראות או ההנחיות המיטביות עבורם, לפעמים לא ברורים למשתמשים רגילים. המטרה במחקר הייתה לנסות לחשוף סודות אלה עבור מפתחים או משתמשים כלליים בעת חקירה ואינטראקציה עם LLMs, ולשפר את איכות התשובות מ-LLMs מוכנים מראש על ידי ניסוח הנחיות טובות יותר.

עקרונות עיצוב מנחים: במחקר הוגדרו מספר עקרונות מנחים לניסוח הנחיות והוראות שמטרתן הייתה לגרום למודלי שפה גדולים להפיק תגובות איכותיות:

• תמציתיות ובהירות: באופן כללי, הנחיות ארוכות מדי או עמומות עלולות לבלבל את המודל או להוביל לתגובות לא רלוונטיות. לכן, ההנחיה צריכה להיות תמציתית, להימנע ממידע מיותר שאינו תורם למשימה, תוך היותה ספציפית מספיק כדי להנחות את המודל. זוהי ההדרכה העיקרית להנדסת הנחיות.

• רלוונטיות הקשרית: ההנחיה חייבת לספק הקשר רלוונטי שיעזור למודל להבין את הרקע והתחום של המשימה. שילוב מילות מפתח, טרמינולוגיה ייעודית לתחום או תיאורים מצביים יכול לעגן את תגובות המודל בהקשר הנכון.

• התאמה למשימה: ההנחיה צריכה להיות מותאמת בצורה הדוקה למשימה שעומדת על הפרק, תוך שימוש בשפה ובמבנה המצביעים בבירור על מהות המשימה עבור המודל. זה עשוי לכלול ניסוח של ההנחיה כשאלה, פקודה או הצהרת מילוי חסר שמתאימה לפורמט הקלט והפלט הצפוי של המשימה.

• הדגמה באמצעות דוגמאות: עבור משימות מורכבות יותר, שילוב דוגמאות בהנחיה יכול להדגים את הפורמט או את סוג התגובה הרצויים. זה לעיתים קרובות כרוך בהצגת זוגות קלט-פלט, במיוחד בתרחישי למידה ממספר דוגמאות מועט או אפס.

• הימנעות מהטיות: הנחיות צריכות להיות מדויקות כדי למזער את הפעלת הטיות הגלומות במודל בשל נתוני האימון שלו. יש להשתמש בשפה נייטרלית ולהיות מודעים להשלכות אתיות פוטנציאליות, במיוחד עבור נושאים רגישים.

• דרבון הדרגתי: עבור משימות הדורשות רצף של שלבים, ניתן לעצב הנחיות שמנחות את המודל לאורך התהליך באופן הדרגתי. יש לפרק את המשימה לסדרת הנחיות הבונות זו על גבי זו, ומנחות את המודל שלב אחר שלב. בנוסף, יש להתאים הנחיות על פי ביצועי המודל ומשוב איטרטיבי. כלומר, יש צורך להיות מוכן היטב לשפר את ההנחיה על בסיס הפלטים הראשוניים והתנהגות המודל. יתרה מכך, יש להתאים הנחיות על פי ביצועי המודל ותגובתו, ומשוב אנושי איטרטיבי והעדפות. לבסוף, הנחיות מתקדמות יותר יכולות לשלב לוגיקה דמוית תכנות כדי להשיג משימות מורכבות. לדוגמה, שימוש בהצהרות תנאיות. עיצוב הנחיות הוא תחום מתפתח, במיוחד ככל שמודלי שפה גדולים הופכים מתוחכמים יותר. ככל שחוקרים ממשיכים לחקור את הגבולות של מה שניתן להשיג באמצעות הנדסת הנחיות, סביר להניח שעקרונות אלה ייושמו ויתרחבו.

המדריך המלא ל-ChatGPT

אולי גם זה יעניין אתכם – יש לנו מדריך מקיף ל-ChatGPT.

המדריך המלא ל-ChatGPT

האזינו לראיון של שני בורשטיין בפודקאסט פשוט AI

בתוך כל אחד ואחת מאיתנו מסתתר שיווק. אנחנו עושים שיווק בכל אספקט בחיינו, גם אם אנחנו מודעים לכך וגם אם לא. ישנו שיווק ישיר מתוקף עבודתנו – מוכרים מוצר או שירות מסוים וישנו שיווק עצמי שמלווה אותנו כל חיינו. בינה מלאכותית שינתה ומשנה את עולם השיווק בעודכם קוראים שורות אלה. בפרק הנ”ל בני פרבר ואני מנסים לתמצת את השינויים שכדאי שכולנו נכיר ונאמץ, אם אנחנו לא רוצים להישאר מאחור (במיוחד בעולמות השיווק).

סדנת מודלי שפה

רוצים להיות אשפי ChatGPT? רוצים להכיר את כל הסודות של קלוד ai? רוצים לעבוד עם Dall-E3 כמו המקצוענים? רוצים ללמוד הנדסת פרומפטים למתקדמים שתהפוך את מודל השפה שלכם ליועץ, סוכן או סייען AI צמוד? רוצים ללמוד את לבצע קסטומיזציה למודל השפה שלכם ולבנות GPTs משלכם? הצטרפו לסדנת מודלי שפה מקיפה ומעמיקה שתיתן לכם את כל הכלים להתקדם ולשלוט בכלי ה-AI שמשנים את העולם!

 

סדנת מודלי שפה