מהפכה בעולם הראייה הממוחשבת: מטא משחררת את SAM 2

מודל חדשני לסגמנטציה של וידאו בזמן אמת מאיים לשנות את כללי המשחק – הכירו את SAM2. קצת יותר בהרחבה – מטא, ענקית הטכנולוגיה מאחורי פייסבוק, ממשיכה להדהים את עולם הטכנולוגיה עם חדשנות בלתי פוסקת. לאחר שהסעירה את הקהילה הטכנולוגית עם השקת מודל השפה הפתוח Llama 3.1 405B, החברה שבה ומפתיעה – הפעם בתחום הראייה הממוחשבת, עם השקת SAM 2.

Credit: sam2.metademolab.com

מה זה SAM 2 ואיך מתנסים במודל החדש?

SAM 2 הוא הדור הבא של מודל הסגמנטציה המהפכני SAM (Segment Anything Model). בעוד שהגרסה הקודמת כבר הציבה רף גבוה, SAM 2 מרים את הרף עוד יותר גבוה עם יכולות מתקדמות לניתוח וידאו בזמן אמת.

איך עובדים עם SAM2?

• רוצים להתנסות במודל בעצמכם? תוכלו לבחון את הדמו שהעלתה חברת Meta – להתנסות לחצו פה.
• תוכלו גם להוריד את המודל למחשב מגיטהאב – לחצו פה.
• בכתובת הבאה תוכלו למצוא מאגר של קבצים, עליהם תוכלו לבחון את יעילות המודל. להתנסות לחצו פה.

יכולות מרשימות

• מהירות מסחררת: SAM 2 מסוגל לנתח עד 44 פריימים בשנייה!
• גמישות יוצאת דופן: אין צורך באימון מחדש – פשוט הצביעו על אובייקט והמודל יעקוב אחריו.
• התמודדות עם המוכר והלא מוכר: בניגוד למודלים אחרים, SAM 2 מתמודד היטב גם עם אובייקטים שלא ראה מעולם.

Credit: sam2.metademolab.com

איך המודל עובד?

המודל SAM 2 (Segment Anything Model 2) של Meta הוא מודל חדש ומתקדם בתחום הסגמנטציה של אובייקטים בתמונות ובסרטונים. הוא פותח במטרה לאפשר זיהוי וקטלוג אובייקטים בכל תמונה או סרטון בצורה מהירה ומדויקת.

עקרונות הפעולה של SAM 2:

• מודל אחיד לתמונות ולסרטונים: SAM 2 מסוגל לבצע סגמנטציה של אובייקטים לא רק בתמונות, אלא גם בסרטונים. המודל מאפשר בחירה של אובייקט בעזרת לחיצה, מסגרת או מסכה ומסוגל לעקוב אחרי האובייקט לאורך כל הפריימים של הסרטון, גם אם הוא נעלם לזמן קצר מהמסך.

• מודול זיכרון: SAM 2 כולל מודול זיכרון פר סשן, השומר מידע על האובייקט שנבחר בסרטון. המודול הזה מאפשר למודל לעקוב אחרי האובייקט לאורך כל הפריימים, גם אם האובייקט יוצא מהפריים לרגע וחוזר.

• אינטראקטיביות בזמן אמת: SAM 2 מתוכנן לעיבוד סרטונים בצורה יעילה, כך שהוא מאפשר יישומים אינטראקטיביים בזמן אמת.

• נתוני אימון מגוונים: המודל אומן על סט גדול ומגוון של סרטונים ומסכות אובייקטים לאורך זמן, המכיל מעל 600,000 מסכות שנאספו מ-51,000 סרטונים, ממגוון רחב של סביבות מציאותיות ביותר מ-47 מדינות.

• הרחבת קלטים ופלטים: SAM 2 ניתן להרחבה כך שיוכל לקבל סוגים שונים של פרומפטים ולספק קלטים שיכולים לשמש כמקור למערכות AI נוספות, כמו מודלים מתקדמים ליצירת סרטונים.

 

SAM 2 מציע גם אפשרות לבצע התאמות למסכה על בסיס פרומפטים נוספים במהלך הסגמנטציה, ובכך לשפר את הדיוק ואת תוצאות הזיהוי. המודל זמין להורדה ולשימוש, וכן משמש כבסיס למחקר נוסף בתחום הבינה המלאכותית. באינפוגרפיקה הבאה תוכלו לראות המחשה של תהליך העבודה של המודל:

Credit: sam2.metademolab.com

המשמעות מאחורי השחרור

דמוקרטיזציה של הטכנולוגיה

מטא לא רק משחררת מודל מתקדם – היא משחררת אותו לשימוש חופשי תחת רישיון Apache 2. זהו צעד אסטרטגי שעשוי לטלטל את השוק:

1. דמוקרטיזציה של טכנולוגיה: גישה חופשית למפתחים וחברות קטנות.
2. אתגר לחברות מסחריות: מודלים בתשלום עלולים למצוא את עצמם מיותרים.
3. האצת החדשנות: שיתוף פעולה קהילתי עשוי להוביל לפיתוחים מפתיעים.

לא רק מודל! גם מתנה למפתחים

מטא לא הסתפקה במודל בלבד. החברה שחררה גם מאגר נתונים עצום:

• 51,000 סרטוני וידאו.
• יותר מ-600,000 מסכות סגמנטציה מתויגות.

זוהי מתנה של ממש לחוקרים ומפתחים, המספקת בסיס איתן לפיתוחים עתידיים.

מבט לעתיד: השלכות ושימושים

SAM 2 פותח דלת לעולם של אפשרויות:

• עיבוד וידאו יצירתי: מטשטוש פנים ועד החלפת רקעים בקליק.
• אנימציה מתקדמת: מעקב אחר תנועות לאנימציה מדויקת יותר.
• מחקר ופיתוח: בסיס לדור הבא של מודלי ראייה ממוחשבת.

סיכום: מהפכה בפתח?

עם שחרור SAM 2, מטא מוכיחה שוב את מחויבותה לקדם את עולם הבינה המלאכותית. האם זהו הצעד שיפתח את הדלת לדור חדש של יישומי ראייה ממוחשבת? רק הזמן יגיד. דבר אחד בטוח – העיניים של כולם נשואות כעת לעבר מטא, בציפייה לראות מה יהיה הצעד הבא שלה בעולם המרתק של הבינה המלאכותית.