LesskeysWhispers noggrannhet
Senast granskad
Läs det här först
Rader som mäts om
Rättelse, daterad 28 augusti 2026
Poängsättaren bakom den här tabellen normaliserade text med [^\w\s]\w
Detta blåser upp referensen och, eftersom fragment inte kan justeras, felantalet med den. Så raderna för hindi, arabiska, hebreiska och de andra skrifterna med kombinerande tecken överdriver felfrekvensen i en grad som varierar från språk till språk, och påståendet om ”sämsta språket” längre ned är inte säkert för de raderna. En rättad körning över 83 språk pågår nu och den här sidan kommer att genereras om utifrån den.
Det står här i stället för att tyst raderas, av samma skäl som för tillbakadragandet nedan: en normaliserare som i det tysta förvanskar icke-latinsk skrift är precis det fel som en läsare av en flerspråkig jämförelse bör få veta om, och det syns inte i någon publicerad siffra.
Status, 15 oktober 2026
Den nya mätningen omfattar 83 språk och sex modeller, för både filtranskribering och diktering. Den finns inte på den här sidan än, eftersom den inte är klar: 89 av dess 996 testkörningar misslyckades, alla på de största modellerna och på 17 språk, och körningarna använde inte alla lika mycket datorminne eller samma version av testverktyget. Tills den är klar är tabellen nedan fortfarande tabellen på 29 språk som beskrivs ovan, så raderna märkta † (hindi, arabiska och hebreiska, namngivna i rättelsen) har fortfarande de uppblåsta felfrekvenserna, och det kan andra skrifter med kombinerande tecken också ha. Jämförelserna på rader med latinsk och kyrillisk skrift samt CJK påverkas inte.
Svaret
Modellen på 547 MB håller måttet
- 23 av 29språk: ingen större modell är tydligt bättre
- 6språk där en större modell är värd sin storlek
- 9 av 29
språk där turbomodellen på 1,6 GB får sämre resultat
Undantag
Där en större modell är värd sin storlek
Om du arbetar på thailändska, japanska, finska, franska, nederländska eller koreanska är den större nedladdningen värd det.
| Vad | Bättre modell | Förbättring | |
|---|---|---|---|
| Thailändska | 20,8 % | v3: 12,6 % | |
| Japanska | 18,5 % | v3-q5: 14,2 % | |
| Finska | 10,8 % | v3-q5: 7,7 % | |
| Franska | 10,0 % | v3: 7,5 % | |
| Nederländska | 10,8 % | v3-q5: 8,3 % | |
| Koreanska | 11,3 % | v3-q5: 9,4 % |
v3-q5v3
Inte alltid större
Större modeller är inte alltid mer noggranna
Vilka språk, och med hur mycket
Hindi† (42,1 % mot 34,4 %), thailändska (24,6 % mot 20,8 %), kinesiska (förenklad) (16,8 % mot 13,7 %), malajiska (9,8 % mot 7,1 %), vietnamesiska (10,3 % mot 9,8 %), indonesiska (7,8 % mot 7,4 %), turkiska (15,5 % mot 15,2 %), grekiska (11,3 % mot 11,2 %), franska (10,1 % mot 10,0 %). Så små marginaler är inte alla enskilt signifikanta vid den här urvalsstorleken; poängen är riktningen, som storleken ensam inte skulle förutsäga. Att välja nästa större modell är ingen säker standard.
Ytterligheter
Lättast och svårast
Bästa resultat: spanska, 2,8 %.
Den högsta felfrekvensen som ingen modell förbättrar är hebreiska†, som inte går under 48,3 % i någon testad konfiguration. Rättelsen säger att den läsningen inte är säker för skrifter med kombinerande tecken som hebreiska, så ta den som obekräftad tills den rättade körningen finns på den här sidan.
Tillbakadragande
Ett tillbakadragande, kvar på sin plats
Tillbakadragande
En tidigare version av den här körningen rapporterade large-v3 som signifikant bättre än standardmodellen för ukrainska. Det var fel. Det mättes med beam 5, som är standard i whisper-cli men inte det appen levererar. Körd om med greedy — den verkliga inställningen — hamnar standardmodellen och v3 i ett dött lopp. Skillnaden låg i avkodaren, inte i modellen.
Uppgifterna
Hela tabellen, metoden och begränsningarna
Hela tabellen, metoden och begränsningarna, hopfällda: öppna någon av dem.
Felfrekvens per språk och modell (29 språk, 6 modeller)
Felfrekvens per språk och modell (29 språk, 6 modeller)
| Språk | Mått | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Arabiska† ar-SA | WER | 67,0 % | 36,9 % | 22,9 % | 22,4 % | 22,3 % | 22,2 % ● |
| Kinesiska (förenklad) zh-Hans | CER | 55,0 % | 24,8 % | 13,7 % | 16,8 % | 13,1 % | 12,6 % ● |
| Tjeckiska cs | WER | 84,0 % | 40,4 % | 13,2 % | 12,8 % | 13,1 % | 11,9 % ● |
| Danska da | WER | 87,2 % | 35,0 % | 13,4 % | 13,0 % | 12,6 % ● | 13,3 % |
| Nederländska nl-NL | WER | 74,8 % | 28,8 % | 10,8 % | 9,8 % | 8,3 % ● | 8,4 % |
| Engelska en-US | WER | 31,9 % | 10,7 % | 9,1 % | 8,9 % | 7,0 % ● | 8,9 % |
| Finska fi | WER | 64,4 % | 31,8 % | 10,8 % | 10,1 % | 7,7 % ● | 7,7 % ● |
| Franska fr-FR | WER | 50,1 % | 26,1 % | 10,0 % | 10,1 % | 7,7 % | 7,5 % ● |
| Tyska de-DE | WER | 35,0 % | 11,9 % | 5,2 % | 4,7 % ● | 5,2 % | 5,2 % |
| Grekiska el | WER | 74,7 % | 32,9 % | 11,2 % ● | 11,3 % | 11,8 % | 12,3 % |
| Hebreiska† he | WER | 81,9 % | 63,2 % | 51,0 % | 48,4 % | 48,3 % ● | 48,3 % ● |
| Hindi† hi | WER | 100,0 % | 68,3 % | 34,4 % | 42,1 % | 33,4 % | 32,4 % ● |
| Ungerska hu | WER | 84,8 % | 48,7 % | 17,9 % | 17,9 % | 17,0 % | 16,3 % ● |
| Indonesiska id | WER | 59,2 % | 21,8 % | 7,4 % ● | 7,8 % | 8,1 % | 9,4 % |
| Italienska it | WER | 31,8 % | 8,2 % | 4,0 % | 2,9 % ● | 4,6 % | 4,5 % |
| Japanska ja | CER | 54,3 % | 25,4 % | 18,5 % | 15,6 % | 14,2 % ● | 17,0 % |
| Koreanska ko | CER | 33,9 % | 24,6 % | 11,3 % | 11,3 % | 9,4 % ● | 9,5 % |
| Malajiska ms | WER | 62,5 % | 25,1 % | 7,1 % | 9,8 % | 6,0 % | 5,9 % ● |
| Norska no | WER | 64,0 % | 24,2 % | 10,0 % | 9,8 % ● | 10,0 % | 9,8 % ● |
| Polska pl | WER | 57,0 % | 17,7 % | 6,7 % | 6,4 % ● | 7,4 % | 7,6 % |
| Portugisiska (Brasilien) pt-BR | WER | 25,4 % | 7,9 % | 5,2 % | 5,1 % | 5,0 % | 4,9 % ● |
| Rumänska ro | WER | 79,1 % | 33,4 % | 10,2 % | 9,9 % | 9,5 % | 9,2 % ● |
| Ryska ru | WER | 38,7 % | 12,9 % | 6,4 % | 6,3 % ● | 6,8 % | 7,3 % |
| Spanska es-ES | WER | 19,3 % | 7,0 % | 3,5 % | 3,5 % | 3,0 % | 2,8 % ● |
| Svenska sv | WER | 57,2 % | 21,4 % | 8,3 % | 8,1 % | 7,1 % ● | 7,3 % |
| Thailändska th | CER | 62,4 % | 27,5 % | 20,8 % | 24,6 % | 13,2 % | 12,6 % ● |
| Turkiska tr | WER | 62,1 % | 30,5 % | 15,2 % | 15,5 % | 13,1 % ● | 13,5 % |
| Ukrainska uk | WER | 68,3 % | 39,2 % | 23,1 % | 21,0 % ● | 23,3 % | 23,1 % |
| Vietnamesiska vi | WER | 64,1 % | 26,6 % | 9,8 % ● | 10,3 % | 10,2 % | 10,2 % |
Så mättes det
Testets begränsningar
- Ett textstycke per språk (omkring 1 000 ord, eller omkring 2 000 tecken för språken med teckenfel). Tillräckligt för att skilja stora skillnader, inte för att avgöra små. Där den här sidan säger att en modell ”håller”, läs det som inte åtskild vid den här urvalsstorleken, inte som bevisat identisk.
whisper -cli med appens kontext- och avkodningsinställningar, inte hela Lesskeys-pipelinen , som lägger till röstaktivitetsdetektering, ett hallucinationsfilter, ljudnivåjustering och en språkbegränsning. Den här tabellen mäter inte den pipelinen.- Uppläst tal, inte möten. Samtalsljud och överlappande tal är väsentligt svårare.
- De absoluta felfrekvenserna är något uppblåsta av skillnader i hur tal och skiljetecken formateras som en mänsklig läsare inte skulle räkna som fel. Jämförelser mellan modeller på samma språk är den pålitliga delen; jämförelser mellan språk är brusigare.
Frågor
Frågor om Whispers noggrannhet per språk
Vilken Whisper-modell ska jag köra på en Mac ?
Skadar kvantisering av en Whisper-modell noggrannheten?
Är en större Whisper-modell alltid mer noggrann?
Mättes det i molnet?
Mer