LesskeysPřesnost Whisperu ve 29 jazycích
Naposledy zkontrolováno
Přečtěte si nejdřív
Řádky, které se přeměřují
Oprava ze dne 28. srpna 2026
Vyhodnocovací nástroj za touto tabulkou normalizoval text pomocí [^\w\s], jenže \w
Tím se nafukuje počet jednotek v referenci a, protože se úlomky nedají zarovnat, i počet chyb. Takže řádky pro hindštinu, arabštinu, hebrejštinu a další písma s kombinačními znaky nadhodnocují chybovost o hodnotu, která se liší podle jazyka, a tvrzení o „nejhorším jazyce“ níže pro tyto řádky neplatí spolehlivě. Opravené měření v 83 jazycích právě běží a tato stránka se z něj znovu vygeneruje.
Je tu zaznamenáno, ne tiše smazáno, ze stejného důvodu jako odvolání níže: normalizace, která tiše znehodnocuje nelatinské písmo, je přesně ten druh selhání, o kterém má být čtenář vícejazyčného srovnání informován, a v žádném zveřejněném čísle není vidět.
Stav ke dni 15. října 2026
Nové měření zahrnuje 83 jazyků a šest modelů, pro přepis souborů i diktování. Na této stránce zatím není, protože není dokončené: 89 z jeho 996 testovacích běhů selhalo, všechny na největších modelech a v 17 jazycích, a ne všechny běhy používaly stejné množství paměti počítače ani stejnou verzi testovacího nástroje. Dokud není hotové, je tabulka níže pořád 29jazyčná tabulka popsaná výše, takže řádky označené † (hindština, arabština a hebrejština, uvedené v opravě) mají stále nafouknutou chybovost, a stejně tak mohou mít další písma s kombinačními znaky. Srovnání na řádcích s latinkou, cyrilicí a CJK dotčena nejsou.
Odpověď
Model o velikosti 547 MB obstojí
- 23 z 29jazyků: žádný větší model není jasně lepší
- 6jazyků, kde se větší model vyplatí
- 9 z 29
jazyků, kde model turbo o velikosti 1,6 GB dopadne hůř
Výjimky
Kde se větší model vyplatí
Pokud pracujete s thajštinou, japonštinou, finštinou, francouzštinou, nizozemštinou nebo korejštinou, větší stažení se vyplatí.
| Co | Lepší model | Zisk | |
|---|---|---|---|
| Thajština | 20,8 % | v3: 12,6 % | |
| Japonština | 18,5 % | v3-q5: 14,2 % | |
| Finština | 10,8 % | v3-q5: 7,7 % | |
| Francouzština | 10,0 % | v3: 7,5 % | |
| Nizozemština | 10,8 % | v3-q5: 8,3 % | |
| Korejština | 11,3 % | v3-q5: 9,4 % |
v3-q5v3
Ne vždy větší
Větší modely nejsou vždy přesnější
Které jazyky a o kolik
Hindština† (42,1 % oproti 34,4 %), thajština (24,6 % oproti 20,8 %), čínština (zjednodušená) (16,8 % oproti 13,7 %), malajština (9,8 % oproti 7,1 %), vietnamština (10,3 % oproti 9,8 %), indonéština (7,8 % oproti 7,4 %), turečtina (15,5 % oproti 15,2 %), řečtina (11,3 % oproti 11,2 %), francouzština (10,1 % oproti 10,0 %). Takto malé rozdíly nejsou při této velikosti vzorku každý zvlášť významné; podstatný je směr, který by samotná velikost nepředpověděla. Sáhnout po nejbližším větším modelu není bezpečná výchozí volba.
Extrémy
Nejsnazší a nejtěžší
Nejlepší výsledek: španělština, 2,8 %.
Nejvyšší chybovost, kterou žádný model nezlepší, je u hebrejštiny†, která neklesne pod 48,3 % v žádné vyzkoušené konfiguraci. Oprava uvádí, že pro písma s kombinačními znaky, jako je hebrejština, toto čtení není spolehlivé, proto ho berte jako nepotvrzené, dokud se na této stránce neobjeví opravené měření.
Odvolání
Odvolání, ponechané na místě
Odvolání
Dřívější verze tohoto měření uváděla, že large-v3 je pro ukrajinštinu významně lepší než výchozí model. To bylo chybné. Měřilo se s paprskovým prohledáváním (beam search) o šířce 5, což je výchozí nastavení nástroje whisper-cli, ale není to, co aplikace dodává. Po novém spuštění s hladovým dekódováním (greedy) – skutečným nastavením – dopadly výchozí model a v3 zcela nerozhodně. Rozdíl dělal dekodér, ne model.
Data
Celá tabulka, metoda a omezení
Celá tabulka, metoda a omezení, sbalené: otevřete kteroukoli část.
Chybovost podle jazyka a modelu (29 jazyků, 6 modelů)
Chybovost podle jazyka a modelu (29 jazyků, 6 modelů)
| Jazyk | Metrika | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Arabština† ar-SA | WER | 67,0 % | 36,9 % | 22,9 % | 22,4 % | 22,3 % | 22,2 % ● |
| Čínština (zjednodušená) zh-Hans | CER | 55,0 % | 24,8 % | 13,7 % | 16,8 % | 13,1 % | 12,6 % ● |
| Čeština cs | WER | 84,0 % | 40,4 % | 13,2 % | 12,8 % | 13,1 % | 11,9 % ● |
| Dánština da | WER | 87,2 % | 35,0 % | 13,4 % | 13,0 % | 12,6 % ● | 13,3 % |
| Nizozemština nl-NL | WER | 74,8 % | 28,8 % | 10,8 % | 9,8 % | 8,3 % ● | 8,4 % |
| Angličtina en-US | WER | 31,9 % | 10,7 % | 9,1 % | 8,9 % | 7,0 % ● | 8,9 % |
| Finština fi | WER | 64,4 % | 31,8 % | 10,8 % | 10,1 % | 7,7 % ● | 7,7 % ● |
| Francouzština fr-FR | WER | 50,1 % | 26,1 % | 10,0 % | 10,1 % | 7,7 % | 7,5 % ● |
| Němčina de-DE | WER | 35,0 % | 11,9 % | 5,2 % | 4,7 % ● | 5,2 % | 5,2 % |
| Řečtina el | WER | 74,7 % | 32,9 % | 11,2 % ● | 11,3 % | 11,8 % | 12,3 % |
| Hebrejština† he | WER | 81,9 % | 63,2 % | 51,0 % | 48,4 % | 48,3 % ● | 48,3 % ● |
| Hindština† hi | WER | 100,0 % | 68,3 % | 34,4 % | 42,1 % | 33,4 % | 32,4 % ● |
| Maďarština hu | WER | 84,8 % | 48,7 % | 17,9 % | 17,9 % | 17,0 % | 16,3 % ● |
| Indonéština id | WER | 59,2 % | 21,8 % | 7,4 % ● | 7,8 % | 8,1 % | 9,4 % |
| Italština it | WER | 31,8 % | 8,2 % | 4,0 % | 2,9 % ● | 4,6 % | 4,5 % |
| Japonština ja | CER | 54,3 % | 25,4 % | 18,5 % | 15,6 % | 14,2 % ● | 17,0 % |
| Korejština ko | CER | 33,9 % | 24,6 % | 11,3 % | 11,3 % | 9,4 % ● | 9,5 % |
| Malajština ms | WER | 62,5 % | 25,1 % | 7,1 % | 9,8 % | 6,0 % | 5,9 % ● |
| Norština no | WER | 64,0 % | 24,2 % | 10,0 % | 9,8 % ● | 10,0 % | 9,8 % ● |
| Polština pl | WER | 57,0 % | 17,7 % | 6,7 % | 6,4 % ● | 7,4 % | 7,6 % |
| Portugalština (BR) pt-BR | WER | 25,4 % | 7,9 % | 5,2 % | 5,1 % | 5,0 % | 4,9 % ● |
| Rumunština ro | WER | 79,1 % | 33,4 % | 10,2 % | 9,9 % | 9,5 % | 9,2 % ● |
| Ruština ru | WER | 38,7 % | 12,9 % | 6,4 % | 6,3 % ● | 6,8 % | 7,3 % |
| Španělština es-ES | WER | 19,3 % | 7,0 % | 3,5 % | 3,5 % | 3,0 % | 2,8 % ● |
| Švédština sv | WER | 57,2 % | 21,4 % | 8,3 % | 8,1 % | 7,1 % ● | 7,3 % |
| Thajština th | CER | 62,4 % | 27,5 % | 20,8 % | 24,6 % | 13,2 % | 12,6 % ● |
| Turečtina tr | WER | 62,1 % | 30,5 % | 15,2 % | 15,5 % | 13,1 % ● | 13,5 % |
| Ukrajinština uk | WER | 68,3 % | 39,2 % | 23,1 % | 21,0 % ● | 23,3 % | 23,1 % |
| Vietnamština vi | WER | 64,1 % | 26,6 % | 9,8 % ● | 10,3 % | 10,2 % | 10,2 % |
Jak se měřilo
Omezení tohoto testu
- Jeden vzorek na jazyk (asi 1 000 slov, u jazyků s chybovostí znaků asi 2 000 znaků). Stačí k odlišení velkých rozdílů, ne k posouzení malých. Kde tato stránka říká, že model „obstojí“, čtěte to jako při této velikosti vzorku neodlišeno, ne jako prokázaně totožné.
whisper -cli s nastavením kontextu a dekódování z aplikace, ne celý zpracovací řetězec Lesskeys , který přidává detekci řeči, filtr halucinací, normalizaci hlasitosti a omezení jazyka. Tato tabulka tento zpracovací řetězec neměří.- Čtená řeč, ne schůzky. Konverzační a překrývající se zvuk je podstatně těžší.
- Absolutní hodnoty jsou do jisté míry nafouknuté rozdíly ve formátování čísel a interpunkce, které by člověk za chyby nepočítal. Spolehlivou částí jsou srovnání modelů mezi sebou ve stejném jazyce; srovnání mezi jazyky jsou méně přesná.
Dotazy
Otázky k přesnosti Whisperu podle jazyka
Který model Whisper mám na Macu spustit?
Škodí kvantizace modelu Whisper přesnosti?
Je větší model Whisper vždy přesnější?
Měřilo se to v cloudu?
Více