ג'מיני כבר לא צריך לראות הכול: השיטה החדשה של גוגל לניתוח וידאו

דמיינו מנהלת הדרכה שמנסה לאתר מתוך הקלטה של שעה וחצי את הרגע שבו המרצה הסביר כיצד לטפל בהתנגדות של לקוח. עד היום, מערכת AI שמנתחת וידאו הייתה עשויה לעבד מידע מכל ההקלטה, גם אם התשובה מסתתרת בדקה אחת. עכשיו גוגל (Google) מציעה גישה אחרת: לתת למודל לבחור בעצמו אילו רגעים לבדוק, לאיזה קטעים לחזור ומתי צריך להסתכל בתמונה במקום להסתמך על הדיבור. בספטמבר 2026 הציגה Google DeepMind את Agentic Video Understanding, יכולת חדשה לניתוח סרטונים בג'מיני (Gemini). לפי בדיקות החברה, היא מאפשרת חיסכון של עד 88% ביחידות העיבוד, ירידה של עד 66% בעלויות ושיפור של עד 7% באיכות התשובות. אלא שהסיפור המעניין הוא הדרך שבה המודל מחליט על מה להוציא את המשאבים שלו.

We’re introducing a new capability to our latest Gemini models: agentic video understanding.

This allows developers to process long-form video content with more accuracy, while using up to 88% less tokens.

See how it works 🧵 pic.twitter.com/HFmQYplZQq

— Google (@Google) September 1, 2026

למה בכלל יקר לנתח סרטון?

בשיטה הרגילה, המכונה Static, ג'מיני דוגם כברירת מחדל תמונה אחת בכל שנייה של וידאו, לצד המידע הקולי, ומעביר את החומר לעיבוד. סרטון של שעה מייצר כך אלפי תמונות, גם אם המשתמש ביקש תשובה לשאלה ממוקדת. כל המידע הזה מתורגם לטוקנים (Tokens), יחידות שבהן המודל מודד את כמות המידע שהוא מעבד, ושעל בסיסן מחושבת גם העלות.

במצב החדש, Agentic, כלומר ניתוח שבו המודל מחליט כיצד להתקדם, ג'מיני יכול לנווט בציר הזמן לפי המשימה. הוא עשוי להתחיל מהתמלול כדי לזהות היכן נדון נושא מסוים, לפתוח קטע רלוונטי, לבדוק את התמונה או הצליל ולחזור אליו ברמת פירוט גבוהה יותר. אם הוא צריך לספור תנועות מהירות, למשל, הוא יכול להגדיל את קצב הדגימה, שנמדד במספר תמונות בשנייה (FPS).

ההבדל הוא גם תפעולי. בעבר מפתחים יכלו לבנות בעצמם שרשרת פעולות כזו, אבל עכשיו ג'מיני מפעיל כלי פנימי מתוך תהליך העבודה שלו. הוא מחליט איזה מידע חסר לו לצורך התשובה ומבקש אותו, במקום שהמפתח יגדיר מראש את כל שלבי הסריקה.

כך פועל הניתוח האייג׳נטי | Google DeepMind

מתיעוד ישיבות ועד חיפוש ברגע המדויק

האפשרויות מעניינות במיוחד בארגונים שמחזיקים שעות רבות של וידאו. נניח שצוות שירות רוצה לאתר בכל הקלטות ההדרכה דוגמאות למצב שבו לקוח מבקש החזר. במקום להפיק סיכום מלא מכל סרטון, אפשר לשאול היכן הנושא עולה ולבקש את הקטעים המתאימים, עם חותמות זמן לבדיקה.

דוגמה אחרת היא עורך וידאו שמחפש רגע שבו אדם מסיים מחווה קצרה, או צוות בקרת איכות שמנסה לזהות שינוי חריג בצילום של תהליך ייצור. במקרים כאלה דווקא שבריר שנייה חשוב, ולכן האפשרות לחזור לקטע ולבדוק יותר תמונות יכולה להיות שימושית.

גוגל מדגימה גם זיהוי פעולות מהירות במיוחד, שעלולות להתפספס בדגימת וידאו רגילה, וספירה של פעולות חוזרות.

כמה באמת אפשר לחסוך בניתוח הסרטון?

היתרון הכלכלי של השיטה החדשה פשוט: במקום לעבד את כל הסרטון באותה רמת פירוט, ג'מיני מתמקד בקטעים שעשויים להכיל את התשובה. ככל שהסרטון ארוך יותר והשאלה ממוקדת יותר, כך גדל הפוטנציאל לחסוך בעיבוד מיותר.

לפי הבדיקות של גוגל, הגישה הזו הפחיתה את מספר הטוקנים בעד 88% ואת עלות הניתוח בעד 66%, בהשוואה לשיטה הרגילה. הפער בין המספרים נובע מכך שגם ההחלטות של המודל, החיפוש אחר הקטעים הרלוונטיים והבדיקות החוזרות צורכים משאבים. חשוב לזכור שמדובר בתוצאות שהתקבלו בבדיקות החברה, ולא בחיסכון מובטח בכל שימוש.

בבדיקה עצמאית קטנה שפורסמה בפורום המפתחים של גוגל התקבלה תמונה שונה. החוקרים השתמשו בשישה סרטונים מלאכותיים בני עשר דקות, ובחמש ההשוואות התקינות דווקא הניתוח הרגיל היה זול בכ-23%. עם זאת, השיטה החדשה הצליחה לאתר 18 מתוך 20 אירועים קצרים, לעומת 15 בשיטה הרגילה. כלומר, במקרה הזה היא הייתה יקרה יותר, אך גם זיהתה יותר אירועים.

הבדיקה המצומצמת לא מאפשרת להסיק מה יקרה בשימוש רחב, אבל היא מדגישה נקודה חשובה: החיסכון תלוי באורך הסרטון, בסוג השאלה ובכמות הבדיקות שהמודל נדרש לבצע. גם גוגל ממליצה לשקול את השיטה הרגילה בסרטונים קצרים מחמש דקות, כאשר נדרשת סקירה מקיפה או כשהמהירות חשובה במיוחד.

פחות טוקנים ושיפור בדיוק התשובות | Google DeepMind.

ומה קורה כשהמודל מפספס רגע חשוב?

היכולת לבחור היכן להתמקד היא אחד היתרונות הגדולים של השיטה. היא מאפשרת לג'מיני להתעמק ברגעים החשובים, לחזור אליהם ולבחון פרטים שבדגימה רגילה עלולים להתפספס. אבל הבחירה הזו מציבה גם אתגר: מה קורה אם המודל מחליט לדלג דווקא על הקטע שמכיל את התשובה?

נניח שמערכת מנתחת שעות של צילומי אבטחה כדי לאתר אירוע חריג. היא עשויה לזהות במהירות את הרגעים החשודים ולחסוך זמן עיבוד רב. אבל אם אירוע קצר לא זוהה כחשוב, המערכת עלולה להחמיץ אותו. זה לא סיכון ייחודי לשיטה החדשה, משום שגם ניתוח וידאו רגיל מבוסס על דגימת תמונות, אבל הוא מדגיש את החשיבות של התאמת שיטת הבדיקה למשימה.

לכן ההבחנה המעשית היא בין משימות שבהן רוצים למצוא מידע במהירות לבין משימות שבהן אסור להחמיץ מידע. במקרה הראשון, ניתוח אייג׳נטי יכול להיות יעיל במיוחד. במקרה השני, למשל בבדיקות בטיחות או בתחקור אירועים, כדאי לאמת את הממצאים מול קטעי המקור ולשלב בדיקה מקיפה יותר בעת הצורך.

בסופו של דבר, המבחן החשוב הוא לא רק כמה כסף נחסך בניתוח הסרטון, אלא כמה עולה להגיע לתשובה מדויקת שאפשר לסמוך עליה.

למי זה זמין?

חשוב להבחין בין יכולת טכנולוגית שכבר זמינה למפתחים לבין תכונה שכל משתמש יכול להפעיל באפליקציה.

נכון לעכשיו, הגישה הישירה למצב Agentic זמינה בעיקר למפתחים ולארגונים דרך Gemini API, ממשק שמאפשר לשלב את המודל בתוך תוכנות ושירותים. אפשר להתנסות בו גם ב-Google AI Studio, סביבת העבודה של גוגל למפתחים, ובפלטפורמת הסוכנים הארגונית שלה.

היכולת תומכת בסרטונים שהועלו ובקישורים לסרטוני YouTube ציבוריים, ומחייבת לבחור את מצב העיבוד המתאים. אין עליה תוספת תשלום ייעודית מעבר לתמחור הרגיל של ה-API.

גוגל הכריזה גם על הרחבת הטכנולוגיה לאפליקציית ג׳מיני ולשירות Ask YouTube, המאפשר לשאול שאלות על סרטונים אבל נכון לעכשיו לא כל משתמש באמת יכול לבחור במצב Agentic באמצעות כפתור בממשק הרגיל.

השאלה העסקית החשובה היא איזה סוג של צפייה שווה להפקיד בידי המודל. כשהמטרה היא למצוא כמה רגעים בתוך שעות של חומר, הבחירה במה לבדוק עשויה לחסוך כסף ולשפר תשובות. אבל כשהמשימה מחייבת בדיקה של כל הסרטון, אי אפשר להסתפק רק בקטעים שהמודל בחר לבחון.