Lesskeysכש-Whisper נעצר מוקדם ומדווח שסיים
מודל Whisper יכול להיעצר באמצע הקלטה ועדיין לדווח על הצלחה: 10 מתוך 143 ריצות בבדיקה שלנו עשו זאת. השוואה בין כמות התמלול שחזרה לבין אורך השמע תופסת את זה, בלי תמלול ייחוס.
macOS 13 ומעלה על Apple Silicon · בלי מנויWindows 10 ו-11 · בלי מנוי
נבדק לאחרונה ב-
מה זה
מהי קטיעה שקטה
הטקסט שהוא כן הפיק היה נכון. הוא פשוט נעצר, והתהליך אמר שהוא סיים.
מודל דיבור יכול להחזיר מילים שגויות, או שהוא יכול להיעצר באמצע ולהחזיר תמלול נכון של החלק הראשון כאילו הסתיים. בריצה הגרועה ביותר שלנו, נורווגית, הוא החזיר 113 מתוך 521 מילות ייחוס אחרי 30 דקות של חישוב, ונעצר אחרי 9 קטעים. התהליך שלנו רשם את הריצה הזו כ-COMPLETED: בלי שגיאה, בלי אזהרה, בלי סימון של תוצאה חלקית.
- 10 מתוך 143ריצות נעצרו מוקדם
- 22%מהשמע בריצה הגרועה ביותר
- 9 מתוך 10בשני קובצי large-v3
אילו ריצות
אילו שפות נעצרו מוקדם
9 מתוך 10 הן בשני קובצי large-v3.
כיסוי הוא אורך התמלול חלקי אורך הייחוס: 1.00 הוא תמלול מלא. כל פס הוא ריצה קטועה אחת; הקו המקווקו הוא סף 0.80.
Large V3: 5 מתוך 28 ריצות
- נורווגית0.22
- מלאית0.32
- וייטנאמית0.34
- קוריאנית0.40
- הולנדית0.74
Large V3 Q5: 4 מתוך 28 ריצות
- צ׳כית0.22
- פורטוגזית (ברזיל)0.35
- וייטנאמית0.37
- מלאית0.75
Large V3 Turbo Q5: 1 מתוך 29 ריצות
- הינדי†0.72
הינדי: הסתייגות לגבי חישוב הציון
† זו הריצה של מודל ברירת המחדל: 886 יחידות מול ייחוס של 1,237, אותה ספירה מנופחת שהתיקון במדריך הדיוק של Whisper ב-29 שפות מציין (הינדי: 1,237 יחידות מול 683 מילים אמיתיות, ממנגנון חישוב שפיצל מילים בסימנים מצורפים), ולכן 0.72 המוחלט אינו אמין. אבל שני אחיו מסוג turbo קיבלו 1,288 ו-1,242 יחידות מול אותו ייחוס (כיסוי 1.04 ו-1.00), כך שהריצה של ברירת המחדל הייתה קצרה ב-29 עד 31 אחוזים משלהם. הקריאה הסבירה ביותר היא קטיעה אמיתית, וכך גם רשום בהערת התוצאות של העבודה עצמה. היא רצה בחלק של 12 GB במטריצה (ראו את המגבלות למטה).
קצרה, אף פעם לא ארוכה
כל תא קיצוני במטריצה הזו הוא קצר, אף פעם לא ארוך. אף ריצה אחת מתוך 143 לא חרגה מהייחוס שלה ביותר מחצי. זה הסימן ההפוך מכשל לולאת החזרות, שבו מודל נתקע ופולט אותו ביטוי במשך דקות, ונותן כיסוי של פי חמישה מהייחוס ויותר. שניהם קטסטרופליים ושניהם בלתי נראים בבדיקה נקודתית, אבל אפשר להבדיל ביניהם לפי הסימן של אותו מספר, וזה מה שמאפשר לבדיקה אחת לתפוס את שניהם.
לתפוס את זה
לתפוס את זה בלי ייחוס
משווים בין כמות התמלול שחזר לבין אורך השמע.
שיעור שגיאות מילים דורש תמלול ייחוס, שבשימוש אמיתי אף פעם אין לכם. כיסוי לא. במטריצה הזו שתי האוכלוסיות מופרדות בבירור:
| מה | ריצות | כיסוי ממוצע | שיעור שגיאות ממוצע |
|---|---|---|---|
| קטועות | 10 | 0.44 | 65.90% |
| תקינות | 133 | 1.01 | 12.10% |
סף 0.80 אינו מותאם לנתונים: הכיסוי הגבוה ביותר בין הריצות הקטועות הוא 0.75 והנמוך ביותר בין התקינות הוא 0.82, כך שכל סף בתוך הרווח הריק הזה נותן אותה תשובה. בשימוש אמיתי: משווים את חותמת הזמן של הקטע האחרון שחזר למשך הקובץ, על המחשב של המשתמש, בלי שום דבר להשוות אליו.
שיעור השגיאות
קטיעה מנפחת את שיעור השגיאות
הממוצע של Large V3 הוא 24.64% ב-28 שפות; בלי 5 הריצות הקטועות שלו, 15.25%.
בערך 9.4 נקודות משיעור השגיאות שלו אינן המודל ששומע לא נכון. הן המודל שלא היה שם.
גם בלי קטיעה, Large V3 לא משיג את מודל ה-turbo הקטן יותר
גם כשמוציאים את הקטיעה, Large V3 לא משיג את הכיווץ של מודל ה-turbo בגודל 834 MB, שממוצעו 9.16% בכל 29 השפות ולא נקטע אף פעם. ב-28 השפות ששלוש ריצות ה-turbo חולקות (הינדי בצד), הממוצעים הם Q8 8.59%, ברירת המחדל 8.71% וה-turbo של 1.6 GB 8.80%, במרחק של עד 0.2 נקודות זה מזה, כך שרוב הפער בכותרת הוא שורה אחת של הינדי. גודל לא ניבא כאן אמינות, וגם לא דיוק.
ב-Mac
מה זה אומר על המודלים ש-Lesskeys מציעה
שני קובצי large-v3 נמצאים בבורר המודלים של גרסת ה-App Store שנמכרת כעת (3.1.4), והם אחראים ל-9 מתוך 10 הריצות הקטועות.
אין בגרסה הזו בדיקת כיסוי. הבדיקה שתוארה למעלה היא הצעה עבורה, לא תכונה שכבר שוחררה.
מצב ב-15 באוקטובר 2026, לגרסת ה-App Store שנמכרת כעת (3.1.4)
נאמר בפשטות, כי זו הסיבה שהעמוד הזה ראוי לפרסום ולא לתיוק:
- שני קובצי large-v3 מוצעים בבורר המודלים של Lesskeys, והם אחראים ל-9 מתוך 10 הריצות הקטועות. משתמש שמניח “הורדה גדולה יותר, תוצאה טובה יותר” בוחר באפשרות הכי פחות אמינה ברשימה.
- הכיווץ של 834 MB שרשם את שיעור השגיאות הממוצע הנמוך ביותר (פער מריצות ה-turbo האחרות שהוא ברובו שורה אחת של הינדי) ואפס קטיעות אינו בבורר של הגרסה הזו. הוא היה נגיש בבדיקה הזו רק כי תיקיית המודלים נסרקת בהפעלה.
- מודל ברירת המחדל (547 MB) נקטע פעם אחת ב-29 שפות, בהינדי (כנראה קטיעה אמיתית; ראו את ההערה מתחת לרשימת הכיסוי). הריצה הזו וריצת ה-Large V3 Q5 בצ׳כית רצו שתיהן בחלק של 12 GB במטריצה, עם מעט זיכרון פנוי (ראו את המגבלות).
- אין בדיקת כיסוי בגרסה הזו. הבדיקה שתוארה למעלה היא הצעה עבורה, לא תכונה שכבר שוחררה. כשהיא תשוחרר, החלק הזה ייכתב מחדש ולא יימחק בשקט.
ב-Windows
מה זה אומר ב-Windows
הבדיקה הורצה באפליקציית ה-Mac. אפליקציית Windows לא הייתה חלק ממנה.
כשתוויות הדוברים פועלות, ל-Lesskeys ב-Windows יש רשת ביטחון לתמלול שחוזר ריק מקובץ שיש בו דיבור: היא מפענחת את הקובץ שוב בלי חותמות זמן. אין לה בדיקה לתמלול שנעצר באמצע, וזה המקרה בעמוד הזה. בקובץ ארוך, קראו את השורות האחרונות של התמלול מול השמע, ובדקו שסוף התמלול תואם את סוף ההקלטה.
הנתונים
השיטה, הטבלה והמגבלות
איך נעשו הריצות ומה הן לא יכולות לומר לכם, מכווץ.
איך נמדדה הקטיעה
5 גרסאות Whisper ממשפחת large-v3, ב-29 שפות, 143 מתוך 145 תאים. השמע הוא FLEURS מנורמל ברמת עוצמה בלי ספרות בטקסט (דיבור מוקרא עם תמלולי ייחוס שפורסמו) בכ-460 עד 2,520 יחידות לשפה.
כל ריצה עברה דרך האפליקציה המשוחררת על מכונה וירטואלית עם macOS Sequoia, לא דרך whisper-cli. זה חשוב: זיהוי פעילות קולית, מסנן ההזיות, נרמול עוצמת הקול והגבלת השפה היו כולם בדרך, בדיוק כמו אצל משתמש. השפה הוגבלה בכל ריצה ונשמרה בכל 143 התאים; המודל שנטען בפועל תאם את המבוקש בכל 143. שני התאים החסרים הם הינדי בשני קובצי large-v3, שלא הסתיימו כלל.
חמשת המודלים: גודל, שגיאה ממוצעת, ריצות קטועות
חמש גרסאות של Whisper ממשפחת large-v3 ב-29 שפות (שורות בלי ריצה קטועה מודגשות)
| מודל | גודל | שפות | שגיאה ממוצעת | חציון | ריצות קטועות |
|---|---|---|---|---|---|
| מודל Large V3 Turbo Q8 ● לא בבורר | 834 MB | 29 | 9.16% | 6.80% | אין |
| Large V3 Turbo | 1.6 GB | 29 | 9.52% | 7.23% | אין |
| מודל Large V3 Turbo Q5 ● ברירת המחדל במוצר | 547 MB | 29 | 9.99% | 7.81% | 1 מתוך 29 |
| Large V3 | 3 GB | 28 | 24.64% | 15.80% | 5 מתוך 28 |
| Large V3 Q5 | 1.0 GB | 28 | 26.66% | 18.66% | 4 מתוך 28 |
המגבלות של הבדיקה הזו
- דיבור מוקרא, לא פגישות. FLEURS הוא פרוזה מוקלטת נקייה. שמע שיחתי וחופף קשה בהרבה, ואין לקרוא את השיעורים האלה כמה שתקבלו בשיחה אמיתית.
- מעבר אחד לכל תא. 143 תאים, ריצה אחת לכל אחד. הקטיעה הייתה ניתנת לשחזור בשני קובצי large-v3 ובשתי חקירות נפרדות, אבל המטריצה הזו אינה קובעת שיעור; היא קובעת שזה קורה.
- מכונה אחת, שני גדלי זיכרון. התאים רצו על מכונה וירטואלית אחת של Apple Silicon שהזיכרון שלה היה 12 GB ב-33 התאים הראשונים ו-24 GB בשאר; כל 29 תאי מודל ברירת המחדל וארבעת תאי Large V3 Q5 הראשונים (ערבית, צ׳כית, דנית, גרמנית) רצו בחלק של 12 GB. שתי ריצות קטועות נופלות בו: הינדי במודל ברירת המחדל (241 MB של זיכרון פנוי בנקודה הנמוכה ביותר) וצ׳כית ב-Large V3 Q5 (60 MB). לכל שאר הריצות הקטועות היו יותר מ-6,000 MB פנויים. זיכרון נמוך יכול היה לתרום לשתיים האלה, והמטריצה הזו אינה יכולה להפריד זאת מהמודל. הפענוח נשאר בברירות המחדל של האפליקציה למסלול קבצים ולא בברירות המחדל של כלי שורת הפקודה.
- שיעורים מוחלטים מנופחים במקצת בגלל בחירות נרמול של פיסוק ואותיות. ההשוואות בין מודלים הן החלק שאפשר להסתמך עליו, לא האחוזים המוחלטים.
הפעם התמלולים נשמרו. בסריקה קודמת הם נדרסו בשלב ההגדרה של הריצה הבאה, ואת הקטיעה היה צריך להסיק ממספרי מילים, וזו בדיוק הסיבה שהיא נשארה בלתי מזוהה זמן רב כל כך. “שיעור שגיאות גרוע” ו“נעצר מוקדם” נראים זהים בטבלת תוצאות.
שאלות
שאלות על עצירה מוקדמת של Whisper
מהי קטיעה שקטה בזיהוי דיבור?
מודל מחזיר תמלול שמכסה רק חלק מהשמע, ותהליך העיבוד שסביבו מדווח על הצלחה. הטקסט שקיים בדרך כלל נכון, ולכן שום דבר לא נראה שגוי עד שמישהו משווה את התמלול להקלטה. במטריצה הזו זה פגע ב-10 מתוך 143 ריצות, 9 מהן בשני קובצי large-v3 הגדולים.
איך אפשר לזהות תמלול קטוע בלי תמלול ייחוס?
משווים את מה שחזר למה שנכנס: זמן הסיום של הקטע האחרון מול משך קובץ השמע, או אורך התמלול מול האורך הצפוי. אף אחד מהם אינו דורש תמלול ייחוס, וזה מה שהופך את הבדיקה לשמישה בשימוש אמיתי. בנתונים האלה ריצות קטועות הגיעו בממוצע לכיסוי של 0.44, מול 1.01 בריצות תקינות.
האם מודל Whisper גדול יותר נותן תוצאות טובות יותר?
לא במטריצה הזו. שני הקבצים הגדולים ביותר רשמו את שיעורי השגיאות הממוצעים הגבוהים ביותר והיו אחראים ל-9 מתוך 10 הריצות הקטועות, בעוד שכיווץ של 834 MB של מודל ה-turbo רשם את הממוצע הנמוך ביותר (9.16%, במרחק של עד 0.2 נקודות מריצות ה-turbo האחרות כשמשאירים את ההינדי בצד) ולא נקטע אף פעם. גודל ההורדה לא ניבא כאן לא דיוק ולא אמינות.
האם זה באג ב-Whisper או באפליקציה?
לא נקבע, והעמוד אינו טוען שהוא יודע. מה שנמדד הוא שהמצב קורה ושתהליך העיבוד שסביבו לא שם לב אליו. בדיקת הכיסוי המוצעת היא הקלה ברמת האפליקציה, שהיא השכבה שבשליטתנו; היא אינה מאבחנת את הסיבה שמאחורי התופעה.
עוד