תמלול לעברית בקובץ קול במהירות האור! Whisper-3 הגיע ל־Groq

האם ידעתם שאפשר לתמלל כל קובץ סאונד בכל שפה (גם בעברית) בתוך שניות ספורות? השילוב בין גרוק (Groq) ובין וויספר3 (Whisper-3), מאפשר לעשות בדיוק את זה ואפילו בחינם. אם מה שאמרתי עכשיו נשמע לכם כמו דמויות מהסרט החדש של פיקסאר, אז רק דעו שמדובר בשתי פיסות טכנולוגיה מהפכניות – הראשונה היא מודל AI שמבין שפה ויכול להפוך סאונד לטקסט (Whisper); השנייה – טכנולוגיה מהפכנית שמאפשרת להריץ חישובים בעולמות ה־AI במהירות מפחידה (כמעט ללא השהיה). וכששתיהן חוברות יחד, זה פשוט תענוג.

כמה מילים על גרוק 

כדי להבין מה כל כך מיוחד בסיפור הזה, צריך לומר כמה מילים על שני הכלים המדהימים הללו. נתחיל עם “גרוק” – חברת סטארט־אפ שמחוללת מהפכה אמיתית בעולם מודלי השפה הגדולים (Large Language Models – LLMs). איך? באמצעות שבבים חדשניים ומהפכניים שפיתחה – שבבי יחידת עיבוד שפה (Language Processing Unit – LPU) שעובדים במהירות מסחררת וגורמים לי לפלוט קולות התפעלות בכל פעם שאני צופה בזה מחדש. 

השבבים האלה מאפשרים למודלי AI לעבוד במהירות מסחררת, הרבה יותר מהר מהשבבים המסורתיים (המכונים GPU). איך הם עושים את זה? הסוד טמון בארכיטקטורת הזיכרון המיוחדת שלהם. בניגוד לשבבים הרגילים שצריכים לרענן את הזיכרון שלהם כל הזמן, השבבים של גרוק משתמשים בזיכרון סטטי (Static RAM – SRAM) שלא צריך ריענון. זה אומר שהם יכולים לגשת למידע הרבה יותר מהר.

כל הטוב הזה זמין בפלטפורמה החינמית שלהם, שמאפשרת לכם לבחור בין מגוון מודלי שפה חינמיים הזמינים בקוד פתוח ומוטמעים בתוך המערכת עצמה. המשמעות – אתם יכול לעבוד עם מודלים כמו לאמה3 בחינם ובמהירות שיא חסרת תחרות. פה תמצאו עוד מידע על Groq ותבינו איך לקבל גישה לכלי המדהים הזה.

עכשיו תארו לעצמכם שאת כל כוח החישוב הזה אנחנו מקדישים לפעולה אחרת – לא לכתיבה או יצירת תוכן אלא לתמלול של קובצי וידאו (אפילו הקלטות בעברית).

וויספר3 (Whisper-3) זמין גם בגרוק (Groq)

וויספר 3 הוא מודל קוד פתוח לזיהוי שיחה שפיתחה חברת OpenAI. המודל המתקדם הזה מסוגל לזהות דיבור ולבצע עיבוד שפה טבעית. תארו לעצמכם מתורגמן אישי שמבין כל שפה בעולם, יכול לתמלל כל דבר שאתם אומרים ואפילו לתרגם אותו לשפה אחרת. זה בדיוק מה שוויספר3 עושה!

מה הוא יודע לעשות?

וויספר יכול להמיר קטעי אודיו ארוכים לטקסט מדויק, לתרגם את הטקסט הזה לשפות אחרות ואפילו לזהות אוטומטית את השפה המדוברת בקטע האודיו. זה כמו לקחת את כל המתורגמנים בעולם ולדחוס אותם לתוך תוכנה אחת! מלבד היכולת לתרגם או לתמלל מודל הבינה המלאכותית הזה יודע לזהות את ההקשר הרחב יותר של השיחה, וזה עוזר לו להבין טוב יותר את מה שנאמר וכתוצאה מכך גם לתרגם או לתמלל בצורה תקינה ואיכותית יותר. 

מה הביג דיל? ואיך משתמשים בזה?

מסע בין כוכבים זה פה

עכשיו, תארו לעצמכם מה קורה כשמשלבים את המהירות המסחררת של גרוק עם היכולות המדהימות של וויספר3. קיבלנו מתמלל חינמי, חכם, עוצמתי במיוחד ומהיר במיוחד! אותי זה ישר לוקח לסרטים ולסדרות של “מסע בין כוכבים”. כבר שנים אני אומר לכל הסטודנטים והמשתתפים בקורסים שלי שאנחנו עוד רגע שם. ליתר דיוק, אנחנו עוד רגע בשלב שבו שפה כבר לא תהיה מכשול; שכל אדם מכל מקום בעולם יוכל לדבר עם כל אדם אחר בשפתו שלו, אך לשמוע ולהבין את שותפו לשיחה בצורה אינטואיטיבית וטבעית.

כדי שזה יקרה אנחנו צריכים מערכות AI חכמות ומהירות הרבה יותר! לתרגם ולהבין זה דבר אחד. לעשות את זה מהר, בזמן אמת וללא השהייה, זה כבר דבר אחר לגמרי. ופה גרוק נכנסים לתמונה. הטכנולוגיה שלהם מאפשרת לעשות בדיוק את זה. לעבוד ממש מהר ולהריץ על הפלטפורמות שלהם מודלי AI מגוונים. אז נכון, אנחנו עדיין לא מסתובבים עם איזשהו ‘טרנזלייטור’ סטייל “סטאר טרק” באוזן, אבל העתיד הזה לא רחוק מאיתנו. הטכנולוגיה כבר (כמעט) כאן. והעתיד הזה הולך להפוך להווה של כולנו, הוא כנראה קרוב הרבה יותר ממה שרובכם צופים.

איך משתמשים בוויספר 3 בגרוק?

חזרה לכדור הארץ. איך אנחנו נהנים מכל הטוב הזה? למען האמת, די בקלות וזה ממש פשוט!

• נכנסים לפלייגראונד של גרוק (אם אתם לא רשומים לכלי, עכשיו זה הזמן; לא צריך יותר מכתובת דוא”ל ואתם בפנים).
• בחרו במודל Whisper-3.
• בחרו בשפת התמלול (עברית במקרה שלנו).
• הקליטו קטע דיבור או העלו קובץ של הקלטה קולית.
• לחצו “אישור” ובתוך שניות (או אפילו פחות) תקבלו את הקובץ המתומלל.
• עכשיו כל שנותר לכם הוא להעתיק את המלל שוויספר תִמלל במהירות מדהימה הודות לחומרה המדהימה של גרוק.

וויספר 3 בגרוק

דוגמה בזמן אמת

שימו לב להדגמה הבאה – העליתי לגרוק קובץ של 8 דקות, שבו אחד הלקוחות שלי מדבר על בניית מודל קול שיולבש על האווטר הדיגיטלי שלו וידריך מבקרים במתחם המבקרים של המפעל שלו. וויספר 3 תִמלל את כל הקובץ הזה ב־6 שניות בלבד! מדהים!! (קצב התמלול: הקלטה של דקה ו־20 בשנייה).