Lesskeysהדיוק של Whisper ב-29 שפות
הריצו את מודל Large V3 Turbo Q5 (547 MB): ב-29 שפות, ב-23 מהן אף מודל גדול יותר לא היה טוב יותר באופן מובהק. השורות של הינדי, ערבית ועברית מנפחות את שיעורי השגיאות שלהן ונמדדות מחדש, ולכן קראו אותן יחד עם התיקון בראש העמוד.
macOS 13 ומעלה על Apple Silicon · בלי מנוי
נבדק לאחרונה ב-
המדריך הזה הוא ל-Mac. ל-Windows ראו הרצת Whisper ב-Windows.
לקרוא קודם
שורות בבדיקה חוזרת
תיקון, מיום 28 באוגוסט 2026
כלי חישוב הציון שמאחורי הטבלה נרמל טקסט באמצעות [^\w\s], וה-\w של Python אינו מתאים לסימנים מצורפים (combining marks) של יוניקוד. לכן כל סימן תנועה בכתב דוונאגרי, נוקטה בבנגלית וניקוד בערבית הוחלפו ברווח, וכך מילה אחת התפצלה לכמה. נמדד על אותם טקסטי ייחוס שהעמוד הזה השתמש בהם: טמילית קיבלה 1,520 יחידות מול 437 מילים אמיתיות, הינדי 1,237 מול 683, אסאמית 1,220 מול 498. שורות בלטינית, בקירילית ובכתבי CJK אינן מושפעות, כי הכתבים האלה אינם נושאים סימנים מצורפים, וכך גם המסקנות שנשענות עליהן.
הדבר מנפח את הייחוס, ומכיוון שקטעים מפוצלים אינם מתיישרים, גם את מספר השגיאות. לכן השורות של הינדי, ערבית, עברית ושאר הכתבים עם סימנים מצורפים מנפחות את שיעור השגיאות בשיעור שמשתנה משפה לשפה, וטענת “השפה הגרועה ביותר” שמופיעה בהמשך אינה בטוחה לגבי השורות האלה. סריקה מתוקנת על פני 83 שפות רצה כעת והעמוד הזה ייווצר מחדש ממנה.
זה מתועד כאן ולא נמחק בשקט, מאותה סיבה כמו החזרה מהטענה שלמטה: נרמול שמשבש בשקט כתב שאינו לטיני הוא בדיוק הכשל שקורא של מבחן רב-לשוני צריך לדעת עליו, והוא אינו נראה באף מספר שפורסם.
מצב נכון ל-15 באוקטובר 2026
המדידה החדשה מכסה 83 שפות ושישה מודלים, גם לתמלול קבצים וגם להכתבה. היא עדיין לא בעמוד הזה כי היא לא הסתיימה: 89 מתוך 996 ריצות הבדיקה שלה נכשלו, כולן במודלים הגדולים ביותר וב-17 שפות, ולא כל הריצות השתמשו באותה כמות זיכרון או באותה גרסה של כלי הבדיקה. עד שתסתיים, הטבלה שלמטה היא עדיין טבלת 29 השפות שתוארה למעלה, ולכן השורות המסומנות ב-† (הינדי, ערבית ועברית, שנקראו בשמן בתיקון) עדיין נושאות שיעורי שגיאות מנופחים, וייתכן שגם כתבים אחרים עם סימנים מצורפים. ההשוואות בשורות בלטינית, בקירילית ובכתבי CJK אינן מושפעות.
התשובה
המודל של 547 MB עומד במבחן
ב-23 מתוך 29 שפות אף מודל בקבוצה אינו טוב באופן מובהק ממודל ברירת המחדל של 547 MB.
- 23 מתוך 29שפות: אף מודל גדול יותר אינו טוב יותר באופן ברור
- 6שפות שבהן מודל גדול יותר מצדיק את גודלו
- 9 מתוך 29שפות שבהן מודל ה-turbo של 1.6 GB מקבל ציון נמוך יותר
“מובהק” פירושו מבחן z לשתי פרופורציות עם z ≤ −2 מול ברירת המחדל. את 23 האחרות קראו כלא מופרדות, לא כשוות מוכחות.
חריגים
איפה מודל גדול יותר מצדיק את גודלו
אם אתם עובדים בתאית, יפנית, פינית, צרפתית, הולנדית או קוריאנית, ההורדה הגדולה יותר משתלמת.
| מה | ברירת מחדל (547 MB) | מודל טוב יותר | שיפור |
|---|---|---|---|
| תאית | 20.8% | v3: 12.6% | −8.2 נק׳ אחוז |
| יפנית | 18.5% | v3-q5: 14.2% | −4.3 נק׳ אחוז |
| פינית | 10.8% | v3-q5: 7.7% | −3.1 נק׳ אחוז |
| צרפתית | 10.0% | v3: 7.5% | −2.5 נק׳ אחוז |
| הולנדית | 10.8% | v3-q5: 8.3% | −2.5 נק׳ אחוז |
| קוריאנית | 11.3% | v3-q5: 9.4% | −1.9 נק׳ אחוז |
v3-q5 (1.0 GB) משיג כמעט את כל השיפור: מודל v3 של 3 GB אף פעם לא משפר אותו ביותר מ-1.2 נקודות אחוז.
לא תמיד גדול יותר
מודלים גדולים יותר לא תמיד מדויקים יותר
מודל ה-turbo של 1.6 GB מקבל ציון נמוך יותר מבחינה מספרית מברירת המחדל של 547 MB ב-9 מתוך 29 שפות.
המודל של 75 MB אינו שמיש מחוץ לאנגלית: הינדי† 100.0%, דנית 87.2%, הונגרית 84.8%, צ׳כית 84.0%, עברית† 81.9%.
אילו שפות, ובכמה
הינדי† (42.1% מול 34.4%), תאית (24.6% מול 20.8%), סינית (מפושטת) (16.8% מול 13.7%), מלאית (9.8% מול 7.1%), וייטנאמית (10.3% מול 9.8%), אינדונזית (7.8% מול 7.4%), טורקית (15.5% מול 15.2%), יוונית (11.3% מול 11.2%), צרפתית (10.1% מול 10.0%). לא כל הפערים הקטנים האלה מובהקים כשלעצמם בגודל המדגם הזה; הנקודה היא הכיוון, שהגודל לבדו לא היה מנבא. לעבור למודל הבא למעלה אינו ברירת מחדל בטוחה.
הקצוות
הקל ביותר והקשה ביותר
התוצאה הטובה ביותר: ספרדית, 2.8%.
שיעור השגיאות הגבוה ביותר שאף מודל לא משפר הוא עברית†, שאינו יורד מתחת ל-48.3% באף הגדרה שנבדקה. התיקון אומר שהקריאה הזו אינה בטוחה לכתבים עם סימנים מצורפים כמו עברית, ולכן התייחסו אליה כבלתי מאושרת עד שהסריקה המתוקנת תופיע בעמוד הזה.
חזרה מטענה
חזרה מטענה, שנשארת במקומה
חזרה מטענה
גרסה קודמת של הסריקה הזו דיווחה ש-large-v3 טוב באופן מובהק מברירת המחדל באוקראינית. זה היה שגוי. זה נמדד עם beam 5, שהוא ברירת המחדל של whisper-cli אבל לא מה שהאפליקציה משתמשת בו. בהרצה חוזרת עם greedy, ההגדרה האמיתית, ברירת המחדל ו-v3 מגיעים לתיקו מוחלט. הפער נבע מהגדרת הפענוח, לא מהמודל. זה מתועד כאן ולא נמחק בשקט, כי הגדרת הפענוח היא בדיוק המשתנה שרוב ההשוואות של Whisper מקומי משאירות בלי ציון.
הנתונים
הטבלה המלאה, השיטה והמגבלות
הטבלה המלאה, השיטה והמגבלות, מכווצות: פתחו כל אחת מהן.
שיעור שגיאות לפי שפה ומודל (29 שפות, 6 מודלים)
שיעור שגיאות לפי שפה ומודל (29 שפות, 6 מודלים)
| שפה | מדד | tiny 75 MB | small 466 MB | turbo-q5 547 MB | turbo 1.6 GB | v3-q5 1.0 GB | v3 3 GB |
|---|---|---|---|---|---|---|---|
| ערבית† ar-SA | WER | 67.0% | 36.9% | 22.9% | 22.4% | 22.3% | 22.2% ● |
| סינית (מפושטת) zh-Hans | CER | 55.0% | 24.8% | 13.7% | 16.8% | 13.1% | 12.6% ● |
| צ׳כית cs | WER | 84.0% | 40.4% | 13.2% | 12.8% | 13.1% | 11.9% ● |
| דנית da | WER | 87.2% | 35.0% | 13.4% | 13.0% | 12.6% ● | 13.3% |
| הולנדית nl-NL | WER | 74.8% | 28.8% | 10.8% | 9.8% | 8.3% ● | 8.4% |
| אנגלית en-US | WER | 31.9% | 10.7% | 9.1% | 8.9% | 7.0% ● | 8.9% |
| פינית fi | WER | 64.4% | 31.8% | 10.8% | 10.1% | 7.7% ● | 7.7% ● |
| צרפתית fr-FR | WER | 50.1% | 26.1% | 10.0% | 10.1% | 7.7% | 7.5% ● |
| גרמנית de-DE | WER | 35.0% | 11.9% | 5.2% | 4.7% ● | 5.2% | 5.2% |
| יוונית el | WER | 74.7% | 32.9% | 11.2% ● | 11.3% | 11.8% | 12.3% |
| עברית† he | WER | 81.9% | 63.2% | 51.0% | 48.4% | 48.3% ● | 48.3% ● |
| הינדי† hi | WER | 100.0% | 68.3% | 34.4% | 42.1% | 33.4% | 32.4% ● |
| הונגרית hu | WER | 84.8% | 48.7% | 17.9% | 17.9% | 17.0% | 16.3% ● |
| אינדונזית id | WER | 59.2% | 21.8% | 7.4% ● | 7.8% | 8.1% | 9.4% |
| איטלקית it | WER | 31.8% | 8.2% | 4.0% | 2.9% ● | 4.6% | 4.5% |
| יפנית ja | CER | 54.3% | 25.4% | 18.5% | 15.6% | 14.2% ● | 17.0% |
| קוריאנית ko | CER | 33.9% | 24.6% | 11.3% | 11.3% | 9.4% ● | 9.5% |
| מלאית ms | WER | 62.5% | 25.1% | 7.1% | 9.8% | 6.0% | 5.9% ● |
| נורווגית no | WER | 64.0% | 24.2% | 10.0% | 9.8% ● | 10.0% | 9.8% ● |
| פולנית pl | WER | 57.0% | 17.7% | 6.7% | 6.4% ● | 7.4% | 7.6% |
| פורטוגזית (ברזיל) pt-BR | WER | 25.4% | 7.9% | 5.2% | 5.1% | 5.0% | 4.9% ● |
| רומנית ro | WER | 79.1% | 33.4% | 10.2% | 9.9% | 9.5% | 9.2% ● |
| רוסית ru | WER | 38.7% | 12.9% | 6.4% | 6.3% ● | 6.8% | 7.3% |
| ספרדית es-ES | WER | 19.3% | 7.0% | 3.5% | 3.5% | 3.0% | 2.8% ● |
| שוודית sv | WER | 57.2% | 21.4% | 8.3% | 8.1% | 7.1% ● | 7.3% |
| תאית th | CER | 62.4% | 27.5% | 20.8% | 24.6% | 13.2% | 12.6% ● |
| טורקית tr | WER | 62.1% | 30.5% | 15.2% | 15.5% | 13.1% ● | 13.5% |
| אוקראינית uk | WER | 68.3% | 39.2% | 23.1% | 21.0% ● | 23.3% | 23.1% |
| וייטנאמית vi | WER | 64.1% | 26.6% | 9.8% ● | 10.3% | 10.2% | 10.2% |
איך נמדד
שש גרסאות של מודל Whisper תמללו את אותו קורפוס של דיבור מוקרא ב-29 שפות, כל השפות שבהן הרישום של Lesskeys ב-App Store זמין, על Apple Silicon, עם אותן הגדרות פענוח שהאפליקציה עצמה משתמשת בהן (greedy, בלי beam search). השיעורים הם שיעור שגיאות מילים, חוץ מיפנית, קוריאנית, תאית וסינית, שבהן מילים אינן מופרדות ברווחים ולכן נעשה שימוש בשיעור שגיאות תווים. ככל שהמספר נמוך יותר, התוצאה טובה יותר.
● מסמן את המודל הטוב ביותר לאותה שפה. העמודה המודגשת היא המודל של 547 MB, ברירת המחדל ב-Lesskeys 3.1.4 ובסיס ההשוואה לכל מה שלמעלה. † מסמן שורה שנמצאת בבדיקה חוזרת. בטלפון גוללים את הטבלה הצידה; השפה נשארת גלויה.
המגבלות של הבדיקה הזו
- קטע אחד לכל שפה (כ-1,000 מילים, או כ-2,000 תווים בשפות של שיעור שגיאות תווים). מספיק כדי להפריד הבדלים גדולים, לא מספיק כדי להכריע בהבדלים קטנים. כשהעמוד הזה אומר שמודל “עומד”, קראו זאת כלא מופרד בגודל המדגם הזה, לא כזהה מוכח.
- whisper-cli עם הגדרות ההקשר והפענוח של האפליקציה, לא כל תהליך העיבוד של Lesskeys, שמוסיף זיהוי פעילות קולית, מסנן הזיות, נרמול עוצמת קול והגבלת שפה. הטבלה הזו אינה מודדת את התהליך הזה.
- דיבור מוקרא, לא פגישות. שמע של שיחה ודיבור חופף קשה בהרבה.
- שיעורי השגיאות המוחלטים מנופחים במקצת בגלל הבדלי עיצוב של מספרים וסימני פיסוק שקורא אנושי לא היה סופר כשגיאות. ההשוואות בין מודלים באותה שפה הן החלק האמין; ההשוואות בין שפות רועשות יותר.
שאלות
שאלות על הדיוק של Whisper לפי שפה
איזה מודל Whisper להריץ ב-Mac?
ב-23 מתוך 29 השפות שנמדדו, מודל Large V3 Turbo המכווץ (547 MB) מדויק כמו כל מודל גדול ממנו, ולכן הוא ברירת המחדל הסבירה. החריגים מפורטים בעמוד הזה; בשפות האלה כדאי להוריד את המודל v3-q5 (1.0 GB).
האם כיווץ מודל Whisper פוגע בדיוק?
בקושי. בכל 29 השפות, המודל המלא של 3 GB אף פעם לא עוקף את המודל המכווץ של 1.0 GB ביותר מ-1.2 נקודות אחוז, וברירת המחדל המכווצת של 547 MB משתווה למודלים גדולים בהרבה ברוב השפות.
האם מודל Whisper גדול יותר תמיד מדויק יותר?
לא. מודל ה-turbo של 1.6 GB מקבל ציון נמוך יותר מבחינה מספרית מברירת המחדל של 547 MB ב-9 מתוך 29 השפות שנמדדו. גודל המודל אינו תחליף אמין לדיוק בשפה נתונה.
האם זה נמדד בענן?
לא. כל מספר הופק מקומית על Apple Silicon, וכך גם Lesskeys מריצה תמלול: השמע לא עוזב את המחשב.
עוד