Lesskeysאיזה מודל Whisper כדאי להריץ ב-Mac?
הריצו את Large V3 Turbo Q5. בבדיקה שלנו הוא היה בין המובילים בדיוק התמלול מבין שישה מודלי Whisper (במרחק של עד 13 מילים מהטוב ביותר, מתוך 6,086), והוא ההורדה הקטנה ביותר בקבוצה הזו, 574 MB, והוא רץ פי 12 מזמן אמת על Apple M1 Max.
macOS 13 ומעלה על Apple Silicon · בלי מנוי
נבדק לאחרונה ב-
המדריך הזה הוא ל-Mac. ל-Windows ראו הרצת Whisper ב-Windows.
התשובה
הורידו את Large V3 Turbo Q5
הוא היה בין המובילים בדיוק התמלול מבין שישה מודלי Whisper, והוא ההורדה הקטנה ביותר בקבוצה השווה.
- 4 בתיקומודלים, שווים מבחינת דיוק
- 574 MBהורדה (547 MB באפליקציה)
- 12פעמים מזמן אמת
במרחק של עד 13 מילים מהטוב ביותר, מתוך 6,086. שעה של שמע לוקחת בערך חמש דקות על Apple M1 Max. הגדלים כאן הם גדלי קבצים שנמדדו ביחידות עשרוניות; האפליקציה מסמנת את אותו קובץ כ-547 MB. מחוץ לאנגלית יש כמה שפות שבהן התוצאה שונה: הדיוק של Whisper ב-29 שפות.
תיקו
גדול יותר עולה יותר, ולא הביא שום יתרון
אותו דיוק עד 13 מילים עולה פי 5.4 בהורדה ורץ לאט פי 1.6.
המודל הגדול ביותר בקבוצה השווה הוא Large V3 בגודל 3.1 GB. לרדת לקטן יותר פוגע בדיוק באופן ממשי: Small טועה ב-75 מילים יותר מהטוב ביותר, ו-Tiny טועה פי 3 יותר.
הבדלים אמיתיים
איפה ההבדלים אמיתיים
Tiny טועה פי 3 מהטוב ביותר: 418 מול 141.
זה סוג אחר של תמלול, לא תמלול גרוע במעט. הוא עדיין מתאים לרישום גס שאפשר לחפש בו, שנעשה בחיפזון מהורדה קטנה, והוא הבחירה הלא נכונה כשהתמלול הוא התיעוד עצמו.
המודלים שמתחת לקבוצה השווה
- Small: 3.55%, 75 שגיאות יותר מהטוב ביותר; פי 35 מזמן אמת מול פי 12 ב-Large V3 Turbo Q5, ב-488 MB
- Tiny: 6.87%, 277 שגיאות יותר מהטוב ביותר; פי 89 מזמן אמת מול פי 12 ב-Large V3 Turbo Q5, ב-78 MB
קובץ קטן יותר
האם קובץ קטן יותר פוגע בדיוק?
לא ככל שהצלחנו למדוד.
- Large V3 Turbo Q5 מול Large V3 Turbo: 574 MB מול 1.6 GB (קטן פי 2.8), ו-4 שגיאות יותר מתוך 6,086 מילים (154 מול 150)
- Large V3 Q5 מול Large V3: 1.1 GB מול 3.1 GB (קטן פי 2.9), ו-2 שגיאות פחות מתוך 6,086 מילים (141 מול 143)
זו סיבה לבדוק כיווץ על השמע שלכם, לא חוק כללי.
לא נבדק
מה שהבדיקה הזו לא אומרת לכם
LibriSpeech test-clean הוא המקרה הקל: דיבור מוקרא מספרי שמע.
- בלי פגישות או שיחות טלפון
- בלי דיבור חופף או רעש
- אין Mac אחר: רק Apple M1 Max
- בלי תוויות דוברים
פגישות אמיתיות קשות יותר, וכל מספר היה גרוע בהן: רצפה, לא הבטחה לגבי הפגישה הבאה שלכם. מודל יכול גם לעצור מוקדם בקובץ ארוך בחלק מהשפות ועדיין לדווח על הצלחה: כש-Whisper נעצר מוקדם.
הנתונים
הטבלה המלאה ואיך לשחזר אותה
שגיאות, מהירות והורדה לכל מודל, ובנוסף השיטה, במרחק לחיצה.
טבלת התוצאות המלאה
שישה ממודלי Whisper ש-Lesskeys מציעה רצו על אותם 300 קטעי דיבור (37 דקות שמע) מתוך LibriSpeech test-clean, ערכת המדד הציבורית הסטנדרטית, שמגיעה עם תמלולים אנושיים משלה. חישבנו את שיעור שגיאות המילים מול התמלולים האלה, מדדנו זמן לכל ריצה ורשמנו את גודל ההורדה. שגיאות נמוכות יותר הן טובות יותר; הפס משורטט ביחס לערך הגדול ביותר בעמודה שלו.
שישה מודלי Whisper על 6,086 מילים של LibriSpeech test-clean (Apple M1 Max)
| מודל | שיעור שגיאות מילים | שגיאות | מהירות | הורדה |
|---|---|---|---|---|
| Large V3 Q5 ● | 2.32% | 141 / 6,086 מילים | פי 7 מזמן אמת | 1.1 GB |
| Large V3 ● | 2.35% | 143 / 6,086 מילים | פי 7 מזמן אמת | 3.1 GB |
| Large V3 Turbo ● | 2.46% | 150 / 6,086 מילים | פי 12 מזמן אמת | 1.6 GB |
| מודל Large V3 Turbo Q5 ● | 2.53% | 154 / 6,086 מילים | פי 12 מזמן אמת | 574 MB |
| Small | 3.55% | 216 / 6,086 מילים | פי 35 מזמן אמת | 488 MB |
| Tiny | 6.87% | 418 / 6,086 מילים | פי 89 מזמן אמת | 78 MB |
נמדד על Apple M1 Max עם whisper.cpp, מעבד גרפי Metal ו-flash attention פועלים, ברירות המחדל של whisper.cpp (beam size 5), שפה קבועה על en, 8 תהליכונים. ● מסמן את המודלים שאנחנו רואים כשווים במקום הראשון. “פי 89 מזמן אמת” פירושו ששעה של שמע מתומללת בערך בדקה אחת. הגדלים בטבלה הזו הם גדלי קבצים שנמדדו ביחידות עשרוניות, ולכן הם שונים מהתוויות באפליקציה ובעמודים האחרים: הקובץ של Large V3 Turbo Q5 בגודל 574 MB הוא 547 MB שם, Small הוא 466 MB (כאן 488 MB), Tiny הוא 75 MB (כאן 78 MB), Large V3 Q5 הוא 1.0 GB ו-Large V3 הוא 3 GB.
האם 4 המודלים המובילים באמת שווים?
Large V3 Q5, Large V3, Large V3 Turbo ו-Large V3 Turbo Q5 סיימו במרחק של עד 13 מילים זה מזה על פני 6,086 מילים של טקסט ייחוס. זה רצפת הרעש של המדידה, לא הבדל. אנחנו רואים כל מודל שנמצא עד 0.5 נקודות אחוז מהטוב ביותר כשווה, כי דירוג של רעש היה גורם לעמוד הזה להיראות החלטי יותר ולהיות פחות נכון.
איך לשחזר את המדד הזה
מערך הנתונים ציבורי (OpenSLR), המודלים הם גרסאות ggml הסטנדרטיות של Whisper, והכלי הוא קובץ Python אחד. הדגימה נבחרת באופן דטרמיניסטי (מזהי קטעים ממוינים, במרווחים שווים, בלי זרע אקראי), כך שהרצה עצמאית בוחרת את אותם קטעים.
נרמול הטקסט לפני חישוב הציון הוא החלק ששווה לבדוק, כי שיעור שגיאות מילים לא אומר דבר בלעדיו. הנרמול שלנו מתעלם מהבדלים שהם עיצוב ולא זיהוי (אותיות גדולות וקטנות, פיסוק, מקפים, 23 מול twenty three, Mr. מול mister) ועדיין סופר כל החלפה, השמטה והוספה אמיתיות. הוא מקובע באמצעות אחד עשר מקרי בדיקה, כולל כאלה שבודקים ששגיאות אמיתיות לא מנורמלות החוצה. בלי השלב הזה מודלים נענשים על סגנון פיסוק במקום על דיוק.
נתוני המהירות מגיעים ממחשב אחד; שבב Apple Silicon אחר ייתן תוצאה אחרת: הסדר אמור להישמר, המספרים המוחלטים לא. זה מודד רק את מודלי התמלול, לא את סימון הדוברים, שהוא שלב נפרד עם שיעור שגיאות משלו.
שאלות
שאלות על בחירת מודל Whisper
באיזה מודל Whisper להשתמש ב-Mac שלי?
Large V3 Turbo Q5. במדד הזה 4 הגרסאות הגדולות סיימו במרחק של עד 13 מילים זה מזה על פני 6,086 מילים, ולכן הם שווים מבחינת דיוק, ומביניהם Large V3 Turbo Q5 הוא ההורדה הקטנה ביותר, 574 MB, והוא רץ פי 12 מזמן אמת.
האם מודל Whisper הגדול ביותר הוא המדויק ביותר?
לא באופן מדיד. Large V3 שוקל 3.1 GB, פי 5.4 מההורדה של Large V3 Turbo Q5, וקיבל תוצאה במרחק של עד 13 מילים ממנו על פני 6,086 מילים, בזמן שהוא רץ לאט פי 1.6.
האם מודל Whisper מכווץ גרוע יותר?
לא באופן מדיד כאן. Large V3 Turbo Q5 קטן פי 2.8 מ-Large V3 Turbo וטעה ב-4 מילים נוספות מתוך 6,086. זה בתוך הרעש של המדידה, ולכן זו סיבה לבדוק כיווץ על השמע שלכם ולא ערובה לכך שהוא אף פעם לא פוגע בדיוק.
איזו אפליקציית תמלול מבוססת Whisper היא הטובה ביותר?
אף מדד לא יכול להכתיר אחת. 4 המודלים המובילים מסיימים במרחק של עד 13 מילים זה מזה על פני 6,086 מילים, ולכן המודל שמתחת כמעט לא מכריע. מה שמבדיל בין האפליקציות הוא אם הן רצות על המחשב, מתמללות הקלטות קיימות ומסמנות מי דיבר.
עוד