מודל ישראלי חדש יודע לדבר עברית טוב יותר מהמודלים של ענקיות הטכנולוגיה

הסטארטאפ הישראלי Deepdub חושף מודל קול חדש שעוקף את ענקיות הטכנולוגיה, ומדבר עברית

תמונה ג'ונרטה עם ChatGPT

עברית קשה שפה. לפני עידן ה-AI, זו בדיוק הסיבה שבגללה המון חברות טכנולוגיה פשוט ויתרו מראש על פיתוח כלי קול שמנסים לתמלל אותה. ה-Assistant ז"ל של גוגל, למשל, מעולם לא תמכה כראוי בעברית עד הגעת ג'מיני. אבל מודלים חדשים שפותחו בארץ ובחו"ל משפרים את חוויית השיחה וטכנולוגיית Text To Speech. עכשיו, הסטארטאפ הישראלי Deepdub מתגאה במודל חדש שמציג ביצועים מרשימים במיוחד בשפת הקודש.

בלי מודלים חיצוניים

כבר ב-2022, הרבה לפני ההייפ הנוכחי, Deepdub הציגה יכולות דיבוב סרטים מבוססות AI ללא צוות שחקנים. מאז השוק התמלא במתחרות, ובראשן ElevenLabs המתחרה עם הכיסים העמוקים במיוחד, אבל דיפדאב המשיכה לעבוד מתחת לרדאר עם לקוחות מסחריים. השבוע היא חשפה את Phantom Z 3.4, מודל שכולל 3.4 מיליארד פרמטרים, שפותח ואומן מאפס על גבי מאגרי דאטה קנייניים של הסטארטאפ.

בשיחה עם גיקטיים מסבירה זיוית כץ, ראש תחום השיווק של דיפדאב: "גם מודל הדיסקרטיזציה הוא שלנו ומאומן על שעות של דאטה שאספנו ועיבדנו בעצמנו. כלומר, אנחנו לא נשענים על מודל TTS חיצוני, אלא מפתחים את הטכנולוגיה אצלנו מקצה לקצה". השליטה המלאה בתהליך, היא מסבירה, מאפשרת להם להוסיף שפות חדשות לסביבת הפרודקשן בתוך כשבועיים בלבד.

האתגר האמיתי, לפחות עבורנו, הוא העברית. "השקענו במיוחד בהגייה ובהטעמה נכונה, כולל שמות, קיצורים, מספרים ותאריכים", מוסיפה כץ. "המודל משתמש בהקשר של המשפט כדי להחליט איך מילה צריכה להישמע, ולא קורא כל מילה בנפרד. בנוסף, אפשר לשלוט בהגייה ישירות מתוך הטקסט, למשל כשיש שם של אדם, מותג או מונח מקצועי שצריך להיאמר בצורה מסוימת".

לדברי כץ, עברית היא שפה מאתגרת במיוחד ל־TTS, בין היתר משום שרוב הטקסט נכתב ללא ניקוד. "אותה מילה יכולה להישמע אחרת ולקבל משמעות שונה בהתאם להקשר למשל שֶׁלֶט לעומת שַׁלָּט ולכן המודל צריך להבין את ההקשר ולא רק לדעת "להקריא" את המילה". בנוסף, היא מסבירה, יש גם מורכבות גדולה בהגייה ובהטעמה של שמות, קיצורים, מספרים, סכומים ותאריכים, "אותו רצף ספרות, למשל, צריך להיקרא אחרת אם הוא מייצג תאריך, סכום כסף או מספר טלפון".

נראה שההשקעה משתלמת. בבנצ'מארק Coval לתחום ה-AI הקולי, המודל מדורג כרגע במקום הראשון, לפני מודלים של ElevenLabs, גוגל ו-OpenAI. גם בזירה המקומית הוא רושם הישגים: ב-TTS Arena, כלי של ivrit.ai המבוסס על האזנה עיוורת והצבעות משתמשים פלטפורמת Hugging Face, המודל עוקף את Gemini ו-ElevenLabs.

בניגוד למודלים אחרים שמוצעים כקוד פתוח או עם משקולות פתוחות, Phantom Z 3.4 הוא מודל קנייני שזמין דרך אתר החברה ו-API. אבל אתם יכולים להתנסות בו בחינם עם 15 דקות של ג'ינרוט קול ללא תשלום לאחר הרשמה באתר. בדיפדאב מציינים כי המודל כבר פועל בסביבת הפרודקשן אצל לקוחות מסחריים, כולל לניהול שיחות שירות בעברית, לצד שימושים בפרסום, גיימינג ולמידה מרחוק, כך שיכול להיות שכבר דיברתם איתו בלי לדעת אפילו.