LesskeysWhisper-nøyaktighet
Sist gjennomgått
Les dette først
Rader som måles på nytt
Rettelse, datert 28. august 2026
Skriptet som beregnet denne tabellen normaliserte tekst med [^\w\s]\w
Dette blåser opp referansen, og fordi fragmenter ikke kan justeres mot hverandre, blåser det opp feiltallet med den. Så radene for hindi, arabisk, hebraisk og de andre skriftsystemene med kombinasjonstegn overdriver feilraten, i en grad som varierer fra språk til språk, og påstanden om «det verste språket» lenger ned er ikke trygg for disse radene. En rettet måling på tvers av 83 språk kjører nå, og denne siden blir laget på nytt fra den.
Feilen er ført opp her i stedet for å bli stille slettet, av samme grunn som tilbaketrekkingen nedenfor: en normalisering som i det stille ødelegger ikke-latinsk skrift er nettopp den typen feil en leser av en flerspråklig benchmark bør få vite om, og den er ikke synlig i noe publisert tall.
Status, 15. oktober 2026
Den nye målingen dekker 83 språk og seks modeller, både for filtranskripsjon og diktering. Den er ikke på denne siden ennå, fordi den ikke er ferdig: 89 av de 996 testkjøringene mislyktes, alle på de største modellene og på 17 språk, og kjøringene brukte ikke alle like mye datamaskinminne eller samme versjon av testverktøyet. Til den er ferdig er tabellen nedenfor fortsatt tabellen med 29 språk som er beskrevet ovenfor, så radene merket † (hindi, arabisk og hebraisk, nevnt i rettelsen) har fortsatt de oppblåste feilratene, og det kan andre skriftsystemer med kombinasjonstegn også ha. Sammenligningene på rader med latinsk og kyrillisk skrift og CJK-rader påvirkes ikke.
Svaret
Modellen på 547 MB holder mål
- 23 av 29språk: ingen større modell er tydelig bedre
- 6språk der en større modell er verdt størrelsen
- 9 av 29
språk der turbo-modellen på 1,6 GB kommer dårligere ut
Unntak
Der en større modell er verdt størrelsen
Hvis du jobber med thai, japansk, finsk, fransk, nederlandsk eller koreansk, er den større nedlastingen verdt det.
| Hva | Bedre modell | Forbedring | |
|---|---|---|---|
| Thai | 20,8 % | v3: 12,6 % | |
| Japansk | 18,5 % | v3-q5: 14,2 % | |
| Finsk | 10,8 % | v3-q5: 7,7 % | |
| Fransk | 10,0 % | v3: 7,5 % | |
| Nederlandsk | 10,8 % | v3-q5: 8,3 % | |
| Koreansk | 11,3 % | v3-q5: 9,4 % |
v3-q5v3
Ikke alltid større
Større modeller er ikke alltid mer nøyaktige
Hvilke språk, og med hvor mye
Hindi† (42,1 % mot 34,4 %), thai (24,6 % mot 20,8 %), kinesisk (forenklet) (16,8 % mot 13,7 %), malayisk (9,8 % mot 7,1 %), vietnamesisk (10,3 % mot 9,8 %), indonesisk (7,8 % mot 7,4 %), tyrkisk (15,5 % mot 15,2 %), gresk (11,3 % mot 11,2 %), fransk (10,1 % mot 10,0 %). Marginer så små er ikke hver for seg signifikante med dette utvalget; poenget er retningen, som størrelse alene ikke ville gitt grunn til å vente. Å velge neste modell opp er ikke et trygt standardvalg.
Ytterpunkter
Enklest og vanskeligst
Beste resultat: spansk, 2,8 %.
Den høyeste feilraten som ingen modell forbedrer, er hebraisk†, som ikke havner under 48,3 % i noen av konfigurasjonene som ble testet. Rettelsen sier at denne avlesningen ikke er trygg for skriftsystemer med kombinasjonstegn som hebraisk, så regn den som ubekreftet til den rettede målingen står på denne siden.
Tilbaketrekking
En tilbaketrekking, som får stå
Tilbaketrekking
En tidligere versjon av denne målingen oppga large-v3 som signifikant bedre enn standardmodellen for ukrainsk. Det var feil. Det ble målt med beam 5, som er whisper-clis standard, men ikke det appen leveres med. Kjørt på nytt med greedy — den virkelige innstillingen — havner standardmodellen og v3 i et dødt løp. Forskjellen lå i dekoderen, ikke i modellen.
Dataene
Hele tabellen, metoden og begrensningene
Hele tabellen, metoden og begrensningene, sammenfoldet: åpne dem hver for seg.
Feilrate etter språk og modell (29 språk, 6 modeller)
Feilrate etter språk og modell (29 språk, 6 modeller)
| Språk | Måltall | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Arabisk† ar-SA | WER | 67,0 % | 36,9 % | 22,9 % | 22,4 % | 22,3 % | 22,2 % ● |
| Kinesisk (forenklet) zh-Hans | CER | 55,0 % | 24,8 % | 13,7 % | 16,8 % | 13,1 % | 12,6 % ● |
| Tsjekkisk cs | WER | 84,0 % | 40,4 % | 13,2 % | 12,8 % | 13,1 % | 11,9 % ● |
| Dansk da | WER | 87,2 % | 35,0 % | 13,4 % | 13,0 % | 12,6 % ● | 13,3 % |
| Nederlandsk nl-NL | WER | 74,8 % | 28,8 % | 10,8 % | 9,8 % | 8,3 % ● | 8,4 % |
| Engelsk en-US | WER | 31,9 % | 10,7 % | 9,1 % | 8,9 % | 7,0 % ● | 8,9 % |
| Finsk fi | WER | 64,4 % | 31,8 % | 10,8 % | 10,1 % | 7,7 % ● | 7,7 % ● |
| Fransk fr-FR | WER | 50,1 % | 26,1 % | 10,0 % | 10,1 % | 7,7 % | 7,5 % ● |
| Tysk de-DE | WER | 35,0 % | 11,9 % | 5,2 % | 4,7 % ● | 5,2 % | 5,2 % |
| Gresk el | WER | 74,7 % | 32,9 % | 11,2 % ● | 11,3 % | 11,8 % | 12,3 % |
| Hebraisk† he | WER | 81,9 % | 63,2 % | 51,0 % | 48,4 % | 48,3 % ● | 48,3 % ● |
| Hindi† hi | WER | 100,0 % | 68,3 % | 34,4 % | 42,1 % | 33,4 % | 32,4 % ● |
| Ungarsk hu | WER | 84,8 % | 48,7 % | 17,9 % | 17,9 % | 17,0 % | 16,3 % ● |
| Indonesisk id | WER | 59,2 % | 21,8 % | 7,4 % ● | 7,8 % | 8,1 % | 9,4 % |
| Italiensk it | WER | 31,8 % | 8,2 % | 4,0 % | 2,9 % ● | 4,6 % | 4,5 % |
| Japansk ja | CER | 54,3 % | 25,4 % | 18,5 % | 15,6 % | 14,2 % ● | 17,0 % |
| Koreansk ko | CER | 33,9 % | 24,6 % | 11,3 % | 11,3 % | 9,4 % ● | 9,5 % |
| Malayisk ms | WER | 62,5 % | 25,1 % | 7,1 % | 9,8 % | 6,0 % | 5,9 % ● |
| Norsk no | WER | 64,0 % | 24,2 % | 10,0 % | 9,8 % ● | 10,0 % | 9,8 % ● |
| Polsk pl | WER | 57,0 % | 17,7 % | 6,7 % | 6,4 % ● | 7,4 % | 7,6 % |
| Portugisisk (BR) pt-BR | WER | 25,4 % | 7,9 % | 5,2 % | 5,1 % | 5,0 % | 4,9 % ● |
| Rumensk ro | WER | 79,1 % | 33,4 % | 10,2 % | 9,9 % | 9,5 % | 9,2 % ● |
| Russisk ru | WER | 38,7 % | 12,9 % | 6,4 % | 6,3 % ● | 6,8 % | 7,3 % |
| Spansk es-ES | WER | 19,3 % | 7,0 % | 3,5 % | 3,5 % | 3,0 % | 2,8 % ● |
| Svensk sv | WER | 57,2 % | 21,4 % | 8,3 % | 8,1 % | 7,1 % ● | 7,3 % |
| Thai th | CER | 62,4 % | 27,5 % | 20,8 % | 24,6 % | 13,2 % | 12,6 % ● |
| Tyrkisk tr | WER | 62,1 % | 30,5 % | 15,2 % | 15,5 % | 13,1 % ● | 13,5 % |
| Ukrainsk uk | WER | 68,3 % | 39,2 % | 23,1 % | 21,0 % ● | 23,3 % | 23,1 % |
| Vietnamesisk vi | WER | 64,1 % | 26,6 % | 9,8 % ● | 10,3 % | 10,2 % | 10,2 % |
Slik ble det målt
Begrensningene i denne testen
- Én bit per språk (omtrent 1 000 ord, eller omtrent 2 000 tegn for språkene som måles i tegnfeil). Nok til å skille store forskjeller, ikke nok til å avgjøre små. Når denne siden sier at en modell «holder», les det som ikke skilt fra hverandre med dette utvalget, ikke som bevist identisk.
whisper -cli med appens kontekst- og dekoderinnstillinger, ikke hele behandlingskjeden i Lesskeys , som legger til stemmeaktivitetsdeteksjon, et hallusinasjonsfilter, lydnivånormalisering og en språkbegrensning. Denne tabellen måler ikke den kjeden.- Opplest tale, ikke møter. Samtaler og overlappende lyd er vesentlig vanskeligere.
- Absolutte rater er noe oppblåst fra forskjeller i formatering av tall og tegnsetting som en menneskelig leser ikke ville regnet som feil. Sammenligninger mellom modeller på samme språk er den pålitelige delen; sammenligninger mellom språk er mer usikre.
Spørsmål
Spørsmål om Whisper-nøyaktighet etter språk
Hvilken Whisper-modell bør jeg kjøre på en Mac ?
Går kvantisering av en Whisper-modell ut over nøyaktigheten?
Er en større Whisper-modell alltid mer nøyaktig?
Ble dette målt i skyen?
Mer