LesskeysWhispers nøjagtighed
Sidst gennemgået
Læs det her først
Rækker, der måles igen
Rettelse, dateret 28. august 2026
Målingen bag tabellen normaliserede tekst med [^\w\s]\w
Det puster referencen op og, fordi fragmenterne ikke kan justeres mod referencen, fejltallet med. Så rækkerne for hindi, arabisk, hebraisk og de andre skriftsystemer med kombinerende tegn overdriver fejlraten i et omfang, der varierer fra sprog til sprog, og påstanden om »det værste sprog« længere nede er ikke sikker for de rækker. En rettet måling på tværs af 83 sprog kører nu, og denne side bliver genereret på ny ud fra den.
Det står her i stedet for stille at blive slettet, af samme grund som tilbagetrækningen nedenfor: en normalisering, der i det skjulte ødelægger ikke-latinsk skrift, er netop den slags fejl, en læser af et flersproget benchmark bør have besked om, og den kan ikke ses i noget offentliggjort tal.
Status, 15. oktober 2026
Den nye måling dækker 83 sprog og seks modeller, både til filtransskribering og diktering. Den er ikke på denne side endnu, fordi den ikke er færdig: 89 af dens 996 testkørsler mislykkedes, alle på de største modeller og på 17 sprog, og kørslerne brugte ikke alle den samme mængde computerhukommelse eller den samme version af testværktøjet. Indtil den er færdig, er tabellen nedenfor stadig tabellen med 29 sprog, som er beskrevet ovenfor, så rækkerne med † (hindi, arabisk og hebraisk, som er nævnt i rettelsen) stadig har de oppustede fejlrater, og det kan andre skriftsystemer med kombinerende tegn også have. Sammenligningerne på rækkerne med latinsk, kyrillisk og CJK-skrift er ikke berørt.
Svaret
Modellen på 547 MB holder
- 23 af 29sprog: ingen større model tydeligt bedre
- 6sprog, hvor en større model er sin størrelse værd
- 9 af 29
sprog, hvor turbomodellen på 1,6 GB klarer sig dårligere
Undtagelser
Hvor en større model er sin størrelse værd
Hvis du arbejder på thai, japansk, finsk, fransk, hollandsk eller koreansk, er den større download umagen værd.
| Hvad | Bedre model | Gevinst | |
|---|---|---|---|
| Thai | 20,8 % | v3: 12,6 % | |
| Japansk | 18,5 % | v3-q5: 14,2 % | |
| Finsk | 10,8 % | v3-q5: 7,7 % | |
| Fransk | 10,0 % | v3: 7,5 % | |
| Hollandsk | 10,8 % | v3-q5: 8,3 % | |
| Koreansk | 11,3 % | v3-q5: 9,4 % |
v3-q5v3
Ikke altid større
Større modeller er ikke altid mere nøjagtige
Hvilke sprog, og med hvor meget
Hindi† (42,1 % mod 34,4 %), thai (24,6 % mod 20,8 %), kinesisk (forenklet) (16,8 % mod 13,7 %), malajisk (9,8 % mod 7,1 %), vietnamesisk (10,3 % mod 9,8 %), indonesisk (7,8 % mod 7,4 %), tyrkisk (15,5 % mod 15,2 %), græsk (11,3 % mod 11,2 %), fransk (10,1 % mod 10,0 %). Så små marginer er ikke alle for sig signifikante ved denne stikprøvestørrelse; pointen er retningen, som størrelsen alene ikke ville forudsige. At vælge den næste model op er ikke et sikkert standardvalg.
Yderpunkter
Lettest og sværest
Bedste resultat: spansk, 2,8 %.
Den højeste fejlrate, som ingen model forbedrer, er hebraisk†, som ikke kommer under 48,3 % i nogen af de testede konfigurationer. Rettelsen siger, at den aflæsning ikke er sikker for skriftsystemer med kombinerende tegn som hebraisk, så tag den som ubekræftet, indtil den rettede måling står på denne side.
Tilbagetrækning
En tilbagetrækning, som bliver stående
Tilbagetrækning
En tidligere version af denne måling rapporterede large-v3 som signifikant bedre end standardmodellen for ukrainsk. Det var forkert. Det blev målt med beam 5, som er whisper-clis standard, men ikke det, programmet leveres med. Kørt igen med greedy, den rigtige indstilling, ender standardmodellen og v3 i et dødt løb. Forskellen skyldtes dekoderen, ikke modellen.
Dataene
Den fulde tabel, metoden og begrænsningerne
Den fulde tabel, metoden og begrænsningerne er foldet sammen: åbn en af dem.
Fejlrate pr. sprog og model (29 sprog, 6 modeller)
Fejlrate pr. sprog og model (29 sprog, 6 modeller)
| Sprog | Mål | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Arabisk† ar-SA | WER | 67,0 % | 36,9 % | 22,9 % | 22,4 % | 22,3 % | 22,2 % ● |
| Kinesisk (forenklet) zh-Hans | CER | 55,0 % | 24,8 % | 13,7 % | 16,8 % | 13,1 % | 12,6 % ● |
| Tjekkisk cs | WER | 84,0 % | 40,4 % | 13,2 % | 12,8 % | 13,1 % | 11,9 % ● |
| Dansk da | WER | 87,2 % | 35,0 % | 13,4 % | 13,0 % | 12,6 % ● | 13,3 % |
| Hollandsk nl-NL | WER | 74,8 % | 28,8 % | 10,8 % | 9,8 % | 8,3 % ● | 8,4 % |
| Engelsk en-US | WER | 31,9 % | 10,7 % | 9,1 % | 8,9 % | 7,0 % ● | 8,9 % |
| Finsk fi | WER | 64,4 % | 31,8 % | 10,8 % | 10,1 % | 7,7 % ● | 7,7 % ● |
| Fransk fr-FR | WER | 50,1 % | 26,1 % | 10,0 % | 10,1 % | 7,7 % | 7,5 % ● |
| Tysk de-DE | WER | 35,0 % | 11,9 % | 5,2 % | 4,7 % ● | 5,2 % | 5,2 % |
| Græsk el | WER | 74,7 % | 32,9 % | 11,2 % ● | 11,3 % | 11,8 % | 12,3 % |
| Hebraisk† he | WER | 81,9 % | 63,2 % | 51,0 % | 48,4 % | 48,3 % ● | 48,3 % ● |
| Hindi† hi | WER | 100,0 % | 68,3 % | 34,4 % | 42,1 % | 33,4 % | 32,4 % ● |
| Ungarsk hu | WER | 84,8 % | 48,7 % | 17,9 % | 17,9 % | 17,0 % | 16,3 % ● |
| Indonesisk id | WER | 59,2 % | 21,8 % | 7,4 % ● | 7,8 % | 8,1 % | 9,4 % |
| Italiensk it | WER | 31,8 % | 8,2 % | 4,0 % | 2,9 % ● | 4,6 % | 4,5 % |
| Japansk ja | CER | 54,3 % | 25,4 % | 18,5 % | 15,6 % | 14,2 % ● | 17,0 % |
| Koreansk ko | CER | 33,9 % | 24,6 % | 11,3 % | 11,3 % | 9,4 % ● | 9,5 % |
| Malajisk ms | WER | 62,5 % | 25,1 % | 7,1 % | 9,8 % | 6,0 % | 5,9 % ● |
| Norsk no | WER | 64,0 % | 24,2 % | 10,0 % | 9,8 % ● | 10,0 % | 9,8 % ● |
| Polsk pl | WER | 57,0 % | 17,7 % | 6,7 % | 6,4 % ● | 7,4 % | 7,6 % |
| Portugisisk (BR) pt-BR | WER | 25,4 % | 7,9 % | 5,2 % | 5,1 % | 5,0 % | 4,9 % ● |
| Rumænsk ro | WER | 79,1 % | 33,4 % | 10,2 % | 9,9 % | 9,5 % | 9,2 % ● |
| Russisk ru | WER | 38,7 % | 12,9 % | 6,4 % | 6,3 % ● | 6,8 % | 7,3 % |
| Spansk es-ES | WER | 19,3 % | 7,0 % | 3,5 % | 3,5 % | 3,0 % | 2,8 % ● |
| Svensk sv | WER | 57,2 % | 21,4 % | 8,3 % | 8,1 % | 7,1 % ● | 7,3 % |
| Thai th | CER | 62,4 % | 27,5 % | 20,8 % | 24,6 % | 13,2 % | 12,6 % ● |
| Tyrkisk tr | WER | 62,1 % | 30,5 % | 15,2 % | 15,5 % | 13,1 % ● | 13,5 % |
| Ukrainsk uk | WER | 68,3 % | 39,2 % | 23,1 % | 21,0 % ● | 23,3 % | 23,1 % |
| Vietnamesisk vi | WER | 64,1 % | 26,6 % | 9,8 % ● | 10,3 % | 10,2 % | 10,2 % |
Sådan blev det målt
Begrænsningerne i denne test
- Ét stykke pr. sprog (omkring 1.000 ord, eller omkring 2.000 tegn for de sprog, der måles på tegnfejl). Nok til at adskille store forskelle, men ikke nok til at afgøre små. Hvor denne side siger, at en model »holder«, skal det læses som ikke adskilt ved denne stikprøvestørrelse, ikke som bevist ens.
whisper -cli med programmets kontekst- og dekoderindstillinger, ikke hele Lesskeys-forløbet , som lægger stemmeregistrering, et hallucinationsfilter, lydstyrkenormalisering og en sproglås oveni. Denne tabel måler ikke det forløb.- Oplæst tale, ikke møder. Samtaler og tale i munden på hinanden er væsentligt sværere.
- De absolutte rater er lidt oppustede af forskelle i formatering af tal og tegnsætning, som en menneskelig læser ikke ville regne som fejl. Sammenligninger mellem modeller på det samme sprog er den pålidelige del; sammenligninger mellem sprog er mere støjfyldte.
Spørgsmål
Spørgsmål om Whispers nøjagtighed pr. sprog
Hvilken Whisper-model skal jeg køre på en Mac ?
Gør kvantisering en Whisper-model mindre nøjagtig?
Er en større Whisper-model altid mere nøjagtig?
Blev det her målt i cloud?
Mere