LesskeysWhisper -nauwkeurigheid
Laatst gecontroleerd op
Lees dit eerst
Rijen die opnieuw worden gemeten
Correctie, gedateerd 28 augustus 2026
De scorer achter deze tabel normaliseerde tekst met [^\w\s], en \w
Dit blaast de referentie op en, omdat stukken niet kunnen worden uitgelijnd, ook het aantal fouten. Dus de rijen voor Hindi, Arabisch, Hebreeuws en de andere schriften met combinerende tekens overschatten het foutpercentage met een marge die per taal verschilt, en de bewering over de “slechtste taal” verderop is voor die rijen niet betrouwbaar. Een gecorrigeerde meting over 83 talen wordt nu uitgevoerd en deze pagina wordt daaruit opnieuw gegenereerd.
Het staat hier vermeld in plaats van stilletjes te worden verwijderd, om dezelfde reden als de intrekking hieronder: een normalisator die niet-Latijns schrift ongemerkt verminkt, is precies de fout waarover een lezer van een meertalige benchmark moet worden ingelicht, en in geen enkel gepubliceerd getal is die zichtbaar.
Stand van zaken, 15 oktober 2026
De nieuwe meting omvat 83 talen en zes modellen, voor zowel bestandstranscriptie als dicteren. Ze staat nog niet op deze pagina, omdat ze nog niet klaar is: 89 van de 996 testruns mislukten, allemaal op de grootste modellen en in 17 talen, en de runs gebruikten niet allemaal evenveel geheugen of dezelfde versie van het testprogramma. Tot ze klaar is, is de tabel hieronder nog steeds de tabel met 29 talen die hierboven is beschreven, dus de rijen met † (Hindi, Arabisch en Hebreeuws, genoemd in de correctie) hebben nog steeds de opgeblazen foutpercentages, en andere schriften met combinerende tekens mogelijk ook. De vergelijkingen op rijen in Latijns, Cyrillisch en Chinees-Japans-Koreaans schrift worden hier niet door getroffen.
Het antwoord
Het model van 547 MB houdt stand
- 23 van 29talen: geen groter model duidelijk beter
- 6talen waarin een groter model zijn omvang waard is
- 9 van 29
talen waarin het turbomodel van 1,6 GB slechter scoort
Uitzonderingen
Waar een groter model zijn omvang waard is
Werk je in het Thais, Japans, Fins, Frans, Nederlands of Koreaans, dan is de grotere download het waard.
| Kenmerk | Beter model | Verbetering | |
|---|---|---|---|
| Thais | 20,8% | v3: 12,6% | |
| Japans | 18,5% | v3-q5: 14,2% | |
| Fins | 10,8% | v3-q5: 7,7% | |
| Frans | 10,0% | v3: 7,5% | |
| Nederlands | 10,8% | v3-q5: 8,3% | |
| Koreaans | 11,3% | v3-q5: 9,4% |
v3-q5v3
Niet altijd groter
Grotere modellen zijn niet altijd nauwkeuriger
Welke talen, en met hoeveel
Hindi† (42,1% tegen 34,4%), Thais (24,6% tegen 20,8%), Chinees (vereenvoudigd) (16,8% tegen 13,7%), Maleis (9,8% tegen 7,1%), Vietnamees (10,3% tegen 9,8%), Indonesisch (7,8% tegen 7,4%), Turks (15,5% tegen 15,2%), Grieks (11,3% tegen 11,2%), Frans (10,1% tegen 10,0%). Zulke kleine verschillen zijn bij deze steekproefomvang niet allemaal afzonderlijk significant; het gaat om de richting, die de grootte alleen niet zou voorspellen. Naar het volgende grotere model grijpen is geen veilige standaard.
Uitersten
Het makkelijkst en het moeilijkst
Beste resultaat: Spaans, 2,8%.
Het hoogste foutpercentage waar geen enkel model verbetering in brengt is Hebreeuws†, dat in geen enkele geteste configuratie onder 48,3% komt. De correctie zegt dat deze lezing niet betrouwbaar is voor schriften met combinerende tekens zoals het Hebreeuws, dus beschouw haar als onbevestigd totdat de gecorrigeerde meting op deze pagina staat.
Intrekking
Een intrekking, die blijft staan
Intrekking
Een eerdere versie van deze meting meldde large-v3 als significant beter dan de standaard voor het Oekraïens. Dat klopte niet. Het was gemeten met beam 5, de standaard van whisper-cli maar niet wat de app meelevert. Opnieuw gedraaid met greedy, de echte instelling, eindigen de standaard en v3 in een gelijkspel. Het verschil zat in de decoder, niet in het model.
De gegevens
De volledige tabel, de methode en de grenzen
De volledige tabel, de methode en de grenzen, ingeklapt: open ze één voor één.
Foutpercentage per taal en model (29 talen, 6 modellen)
Foutpercentage per taal en model (29 talen, 6 modellen)
| Taal | Maat | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Arabisch† ar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Chinees (vereenvoudigd) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Tsjechisch cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Deens da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Nederlands nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Engels en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Fins fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Frans fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Duits de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Grieks el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Hebreeuws† he | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Hindi† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Hongaars hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Indonesisch id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Italiaans it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Japans ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Koreaans ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Maleis ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Noors no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Pools pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Portugees (Brazilië) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Roemeens ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Russisch ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Spaans es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Zweeds sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Thais th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Turks tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Oekraïens uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| Vietnamees vi | WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Hoe het is gemeten
De grenzen van deze test
- Eén fragment per taal (ongeveer 1.000 woorden, of ongeveer 2.000 tekens voor de talen met tekenfoutpercentage). Genoeg om grote verschillen te scheiden, niet genoeg om kleine aan te wijzen. Waar deze pagina zegt dat een model “standhoudt”, lees dat dan als bij deze steekproefomvang niet te onderscheiden, niet als bewezen identiek.
whisper -cli met de context- en decoderinstellingen van de app, niet de volledige Lesskeys-pijplijn , die spraakactiviteitsdetectie, een hallucinatiefilter, luidheidsnormalisatie en een taalbeperking toevoegt. Deze tabel meet die pijplijn niet.- Voorgelezen spraak, geen vergaderingen. Gesprekken en door elkaar pratende mensen zijn aanzienlijk moeilijker.
- Absolute foutpercentages zijn licht opgeblazen door verschillen in opmaak van getallen en leestekens die een menselijke lezer niet als fouten zou tellen. Vergelijkingen tussen modellen voor dezelfde taal zijn het betrouwbare deel; vergelijkingen tussen talen zijn ruwer.
Vragen
Vragen over Whisper -nauwkeurigheid per taal
Welk Whisper-model moet ik op een Mac draaien?
Gaat kwantiseren van een Whisper-model ten koste van de nauwkeurigheid?
Is een groter Whisper-model altijd nauwkeuriger?
Is dit in de cloud gemeten?
Meer