זה לא מאמר על Instinct

בימים האחרונים התמלאה קבוצת הווטסאפ של משתתפי קורס האוטומציות והסוכנים שלנו בבקשה לקישור הזמנה ל-Instinct. למי שלא מכיר - מדובר בעוזר אישי מבוסס AI שמתחבר למייל, ליומן ולמסמכים שלכם, ומבצע משימות בשמכם. כרגע הוא בגרסת ניסיון סגורה, ומצטרפים אליו בהזמנה ממשתמש קיים. ההתלהבות מובנת. זה כלי מרשים מאוד שמראה לאן הולך עולם סוכני הבינה המלאכותית (AI Agents): תוכנות שלא רק עונות לכם, אלא גם עושות דברים בשבילכם. במקביל, כמה משתתפים כתבו בקבוצה אזהרות על אבטחה ופרטיות. גם אני כתבתי תגובה ארוכה, ותוך כדי הכתיבה הבנתי שהסיפור גדול בהרבה מכלי אחד, ומצדיק מאמר שלם. אז הנה אנחנו פה.

מה דווח על Instinct בשבועות האחרונים

לאחרונה פורסמו כמה סיפורים שמעלים שאלות לא פשוטות - תמרורי אזהרה!

הקוד הסודי שנשלף

למשל, משתמשת סיפרה שביקשה מ-Instinct להזמין שולחן במסעדה. למחרת בבוקר גילתה שהוא שלף קוד חד-פעמי מה-Gmail שלה והתחבר בעצמו לשירות ההזמנות, בלי לשאול אותה. קוד חד-פעמי (OTP) הוא הקוד הקצר שנשלח אליכם במייל או ב-SMS, כדי לוודא שזה באמת אתם.

המייל שלא רצית שישלח

משתמשת אחרת סיפרה שהסוכן שלח מייל בשמה בלי לבדוק איתה קודם. מייל תמים לגמרי, אבל זה הספיק לה כדי לנתק את הסוכן מתיבת המייל שלה.

הפריצה שלא הייתה צריכה לקרות

יזם שבדק את הכלי בעצמו פתח כתובת Gmail חדשה. ממנה שלח מייל לחשבון האמיתי שלו, עם הוראות ל-Instinct: לחפש בתיבה ולשלוח בחזרה סיכום של כל המשימות הפתוחות. Instinct ביצע את ההוראות. לזה קוראים Prompt Injection: מישהו שותל הוראות בתוך מייל או מסמך, והסוכן מציית להן כאילו באו מכם. בסוף היזם מחק את החשבון שלו ב-Instinct.

האם המידע שלכם בידיים בטוחות?

משתמשים גילו גם שאחרי שניתקו את Gmail, המידע שכבר נאסף עדיין היה זמין לסוכן. כלומר, ניתוק החיבור לא אומר שהמידע נמחק.

המודל המציא או חשף סודות?

ובימים האחרונים משתמש סיפר ש-Instinct הציג לו פרטים שנראו כמו מידע של אדם אחר. לפי החברה, לא הייתה דליפה בין משתמשים, והמודל פשוט המציא את הפרטים. בעולם ה-AI קוראים לזה "הזיה". כרגע לא פורסמה הוכחה לכאן או לכאן. אבל גם הזיה כזאת, בתוך סוכן עם גישה רחבה, היא משהו שצריך לקחת ברצינות.

תנאי השימוש מציפים שאלות

ויש את תנאי השימוש. לפיהם, החברה רשאית להשתמש במה שאתם כותבים ומעלים, כולל מידע מהשירותים שחיברתם אליו, גם כדי לאמן מודלים. אפשר לבקש שלא, אבל יש לזה כמה חריגים. לפי התנאים, אתם גם מסמיכים את הסוכן לפעול בשמכם ולהתקשר בהסכמים, בהתחייבויות ובעסקאות ("agreements, commitments or transactions") שמחייבים אתכם.

צ'אטבוט עונה, סוכן עושה

וזו בעיניי הנקודה החשובה באמת. השאלה היא כבר לא רק אם מודל AI טועה לפעמים.

כש-ChatGPT טועה, אתם מקבלים תשובה לא נכונה על המסך. אתם קוראים, מחליטים, ואתם אלה שעושים משהו עם זה. אבל ברגע שנותנים לסוכן גישה למייל, לקבצים, ליומן, לחשבונות ולכרטיס האשראי, ומוסיפים לזה הרשאה לפעול, התמונה משתנה. הזיה או Prompt Injection כבר לא מייצרים רק תשובה שגויה בצ'אט. הם יכולים להפוך לפעולה אמיתית.

אני מאוד בעד סוכנים ומשתמש בהם המון. דווקא בגלל זה חשוב לי להבין את ההבדל. יש צ'אטבוט שאנחנו מדברים איתו, ויש סוכן שאנחנו נותנים לו מפתחות לחלק גדול מהחיים הדיגיטליים שלנו. זה קצת כמו עוזר חדש במשרד. לא הייתם נותנים לו ביום הראשון את מפתחות הבית ואת כרטיס האשראי.

אילוסטרציה

וחשוב לי להגיד בבירור: זה לא מאמר על Instinct. אותו דבר קורה גם עם כלים אחרים, כולל כלים שאני עצמי עובד איתם כל יום.

זה קרה גם לי

ב-25 בספטמבר ערכתי שיעורים של הקורס בעזרת Claude Code, כלי שמאפשר ל-AI לעבוד ישירות על הקבצים במחשב. ביקשתי מהסוכן לעזור לי לנקות מההקלטות מילות מילוי כמו "אממ", שתיקות מיותרות וחזרות.

באמצע העבודה הוא החליט שהוא צריך מודל שמתמלל עברית. הוא נכנס לבד ל-Hugging Face, אתר ציבורי שבו משתפים מודלי AI, ומצא מודל מתאים. אחר כך התקין כמה כלים והוריד למק שלי מודלים בנפח של כמה ג'יגה-בייט. לא ביקשתי את זה.

גיליתי את זה רק כששאלתי אותו איך השיג את המודל. הוא הסביר. כשאמרתי לו שלא נתתי לו אישור לזה, הוא הודה מיד: הוא היה צריך לשאול קודם. לדבריו, ההגדרות שבהן עבדנו אפשרו לו לפעול בלי אישור, והכול היה חינמי וממפרסמים מוכרים, "אבל זה היה שיקול הדעת שלי, ולא קיבלת הזדמנות להגיד לא".

ההתכתבות עם הסוכן

ואני רוצה להיות הוגן. העבודה יצאה טובה מאוד, והשיעור נשמע הרבה יותר נקי. הפעם הכול היה חינמי, ובמקרה הזה הייתי מאשר את זה בכל מקרה. אבל הנקודה היא לא מה הוא הוריד. הנקודה היא שלא הייתה לי הזדמנות להגיד לא. בפעם הבאה זה יכול להיות משהו בתשלום, או משהו לא בטוח.

אז כתבתי לסוכן כלל. לחפש ולקרוא מותר. להתקין או להוריד משהו למחשב, רק אחרי שאני אומר כן. ולפני כן, הוא כותב לי שורה אחת: מה זה, מי פרסם, כמה זה שוקל, כמה זה עולה ומה רישיון השימוש.

אצל יובל זה כבר עלה כסף

יובל אבידני, יוצר תוכן ישראלי בתחום ה-AI, שיתף בשבוע שעבר סיפור דומה, רק חמור יותר. הוא נתן ל-Claude Code מטרה: לבנות משחק תלת-ממדי. הסוכן עבד לבד 4-5 שעות, והתחבר לשירותים שונים כדי ליצור תמונות, מוזיקה ואפקטים. בדרך הוא גם הפיק סרטון וידאו למשחק בעזרת שירותים חיצוניים, בעלות של 80-100 דולר. "ללא ידיעתי ואישורי", כך כתב יובל.

המשחק עבד, ואפילו עלה לאוויר. הוא זמין לכל מי שרוצה לשחק, ויובל עצמו התלהב מהתוצאה, ובצדק. אצלי הסוכן הוריד משהו חינמי. אצל יובל הוא כבר הוציא כסף. זה אותו דפוס בדיוק. ושימו לב: בשני המקרים התוצאה הייתה טובה. זה לא סיפור על סוכן גרוע. זה סיפור על סוכן חרוץ שמחליט לבד.

המדריכים תמיד חינמיים, אבל אם בא לכם להתמקצע - יש גם קורס קלוד קוד (Claude code) וסביבת אנטרופיק

לפרטים נוספים לחצו כאן >>

איך חוקרים כלים חדשים בלי לשלם על זה ביוקר

ברוך גריזמן - DPO במקצועו, בוגר הקורס שלנו וכיום מרצה ב-Let's AI, הוסיף בקבוצה תגובה שכדאי לקרוא. הוא כתב שהרצון לחקור ולהכיר כל כלי חדש מבורך וחשוב. אבל לאור הכוח שהמודלים החדשים מקבלים, צריכה להידלק נורה אדומה.

ברוך כתב שהסוכנים עלולים לשתף, לשלוח או לשנות דברים בלי לערב אותנו. והם עושים את זה כל כך מהר, שעד שנבין, כבר יהיה מאוחר מדי. הוא גם סיפר שקרא על מקרים שבהם כלים כאלה הכניסו אנשים לחובות, או מחקו פתאום קבצים מהמחשב.

ההמלצות שלו פשוטות:

• מחשב נפרד: קחו מחשב ישן שאין עליו כלום, ונסו עליו את הכלים החדשים. זה חשוב בעיקר לסוכנים שעובדים על המחשב עצמו.
• מיילים לבדיקות: חברו את הכלים לחשבונות מייל ריקים, לא לחשבון האמיתי שלכם.
• תקרה לכסף: השתמשו בכרטיס נטען עם סכום מוגבל מראש. אם אתם מחברים כרטיס רגיל, הגדירו באותו רגע גם תקרת חיוב בשירות עצמו.

אילוסטרציה

ואני מוסיף משלי. לפני שאתם מחברים סוכן לחשבונות האמיתיים שלכם, עצרו ובדקו 3 דברים:

• אילו הרשאות אתם נותנים: גישה לקריאה בלבד, או גם לשליחה, למחיקה ולתשלום?
• איזה מידע הוא יכול לראות: רק מה שהוא צריך למשימה, או את כל תיבת המייל?
• מה מותר לו לעשות בלי אישור נוסף: אם התשובה היא "הכול", זה סימן לעצור.

ואם אתם כבר עובדים עם סוכן, כתבו לו כלל ברור: לפני שהוא מתקין, מוריד, שולח או משלם, הוא שואל אתכם.

וחשוב לדעת: כלל כתוב הוא בקשה, לא מנעול. בכלים כמו Claude Code יש גם הגדרות הרשאות, שקובעות מה הסוכן רשאי לעשות לבד ועל מה הוא חייב לשאול. ברירת המחדל השתנתה וכיום היא אוטומטית, כלומר הסוכן שלכם לא צריך לקבל אישור. כדאי לבדוק שוב מה בדיוק אישרתם.

להתלהב כן, לתת את כל המפתחות עוד לא

סוכני AI הם אחד הדברים הכי מעניינים שקורים היום, ואני לא מתכוון להפסיק להשתמש בהם. אבל ככל שהם חזקים יותר, הטעויות שלהם יוצאות מהמסך ומשפיעות על העולם האמיתי. אז להתלהב? בהחלט. לחבר את כל החיים הדיגיטליים וללחוץ "Allow" על הכול בלי לקרוא ולהבין? הייתי מחכה קצת. לאט ובזהירות.