LesskeysA Whisper pontossága 29 nyelven
Utoljára ellenőrizve:
Ezt olvasd el először
Az újramérés alatt álló sorok
Helyesbítés, kelt: 2026. augusztus 28.
A táblázat mögötti pontozó a szöveget a [^\w\s]\w
Ez felfújja a referenciát, és mivel a töredékek nem illeszthetők össze, a hibák számát is. Így a hindi, az arab, a héber és a többi kombináló jeles írásrendszer sora a hibaarányt nyelvenként eltérő mértékben eltúlozza, és az alább szereplő „legrosszabb nyelv” állítás ezekre a sorokra nem megbízható. Egy 83 nyelvre kiterjedő, javított mérés most fut, és ezt az oldalt abból fogjuk újragenerálni.
Itt rögzítjük, ahelyett hogy csendben törölnénk, ugyanabból az okból, amiért az alábbi visszavonást is: a nem latin írást csendben tönkretevő normalizáló pontosan az a hiba, amelyről egy többnyelvű benchmark olvasóját tájékoztatni kell, és egyetlen közzétett számból sem látszik.
Állapot, 2026. október 15.
Az új mérés 83 nyelvet és hat modellt fed le, fájlátírásra és diktálásra is. Még nincs rajta ezen az oldalon, mert nem készült el: a 996 tesztfutásból 89 hibázott, mind a legnagyobb modelleken és 17 nyelven, a futtatások pedig nem mind ugyanannyi memóriával futottak, és nem ugyanazt a tesztelőeszköz-verziót használták. Amíg nem készül el, az alábbi táblázat még mindig a fent leírt 29 nyelves táblázat, így a † jelű sorok (a helyesbítésben megnevezett hindi, arab és héber) még mindig a felfújt hibaarányokat tartalmazzák, és lehet, hogy a többi kombináló jeles írásrendszer is. A latin, cirill és CJK sorokon alapuló összehasonlításokat ez nem érinti.
A válasz
Az 547 MB-os modell megállja a helyét
23 a 29 nyelv: egyetlen nagyobb modell sem egyértelműen jobb-ből - 6nyelv, ahol a nagyobb modell megéri a méretét
9 a 29 -ből nyelv, ahol az 1,6 GB turbo modell rosszabbul teljesít-os
Kivételek
Ahol a nagyobb modell megéri a méretét
Ha thai, japán, finn, francia, holland vagy koreai nyelven dolgozol, megéri a nagyobb letöltés.
| Szempont | Jobb modell | Javulás | |
|---|---|---|---|
| Thai | 20,8% | v3: 12,6% | |
| Japán | 18,5% | v3-q5: 14,2% | |
| Finn | 10,8% | v3-q5: 7,7% | |
| Francia | 10,0% | v3: 7,5% | |
| Holland | 10,8% | v3-q5: 8,3% | |
| Koreai | 11,3% | v3-q5: 9,4% |
A v3-q5v3 soha nem javít rajta 1,2 százalékpontnál többel.
Nem mindig a nagyobb
A nagyobb modellek nem mindig pontosabbak
Mely nyelveken, és mennyivel
Hindi† (42,1% a 34,4% ellenében), thai (24,6% a 20,8% ellenében), kínai (egyszerűsített) (16,8% a 13,7% ellenében), maláj (9,8% a 7,1% ellenében), vietnami (10,3% a 9,8% ellenében), indonéz (7,8% a 7,4% ellenében), török (15,5% a 15,2% ellenében), görög (11,3% a 11,2% ellenében), francia (10,1% a 10,0% ellenében). Ilyen kis különbségek ekkora mintán nem mind külön-külön szignifikánsak; a lényeg az irány, amelyet a méret önmagában nem jósolna meg. A következő nagyobb modellhez nyúlni nem biztonságos alapértelmezés.
Szélsőértékek
A legkönnyebb és a legnehezebb
Legjobb eredmény: spanyol, 2,8%.
A legmagasabb hibaarány, amelyen egyetlen modell sem javít, a héber†, amely a tesztelt egyik konfigurációban sem esik 48,3% alá. A helyesbítés szerint ez az olvasat a kombináló jeles írásrendszerekre, például a hébertre nem biztonságos, ezért tekintsd megerősítetlennek, amíg a javított mérés ki nem kerül erre az oldalra.
Visszavonás
Egy visszavonás, a helyén hagyva
Visszavonás
A mérés egy korábbi változata azt közölte, hogy a large-v3 szignifikánsan jobb az alapértelmezettnél ukránul. Ez tévedés volt. Beam 5 mellett mérték, ami a whisper-cli alapértelmezése, de nem az, amit az alkalmazás szállít. A valódi beállítással, mohó (greedy) dekódolással újrafuttatva az alapértelmezett és a v3 holtversenyben végez. A különbséget a dekódoló okozta, nem a modell.
Az adatok
A teljes táblázat, a módszer és a korlátok
A teljes táblázat, a módszer és a korlátok összecsukva: bármelyiket kinyithatod.
Hibaarány nyelvenként és modellenként (29 nyelv, 6 modell)
Hibaarány nyelvenként és modellenként (29 nyelv, 6 modell)
| Nyelv | Mutató | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Arab† ar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Kínai (egyszerűsített) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Cseh cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Dán da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Holland nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Angol en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Finn fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Francia fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Német de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Görög el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Héber† he | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Hindi† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Magyar hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Indonéz id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Olasz it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Japán ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Koreai ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Maláj ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Norvég no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Lengyel pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Portugál (BR) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Román ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Orosz ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Spanyol es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Svéd sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Thai th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Török tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Ukrán uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| Vietnami vi | WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Hogyan mértük
A teszt korlátai
- Nyelvenként egy szakasz (nagyjából 1 000 szó, a karakterhibás nyelveknél nagyjából 2 000 karakter). Elég a nagy különbségek elkülönítésére, a kicsik eldöntésére nem. Ahol ez az oldal azt mondja, hogy egy modell „megállja a helyét”, azt úgy olvasd, hogy ekkora mintán nem különül el, nem úgy, hogy bizonyítottan azonos.
whisper -cli az alkalmazás kontextus- és dekódolóbeállításaival, nem a teljes Lesskeys-folyamat , amely hozzáteszi a beszédaktivitás-észlelést, a hallucinációszűrőt, a hangerő-normalizálást és a nyelvi korlátozást. Ez a táblázat nem ezt a folyamatot méri.- Felolvasott beszéd, nem megbeszélések. A beszélgetős és egymásra beszélős hanganyag lényegesen nehezebb.
- Az abszolút arányok kissé felfújtak a szám- és írásjelformázás különbségei miatt, amelyeket egy emberi olvasó nem számítana hibának. A modellek közötti összehasonlítás ugyanazon a nyelven a megbízható rész; a nyelvek közötti összehasonlítás zajosabb.
Kérdések
Kérdések a Whisper pontosságáról nyelvenként
Melyik Whisper-modellt futtassam Mac-en ?
Árt a pontosságnak egy Whisper-modell kvantálása?
Mindig pontosabb a nagyobb Whisper-modell ?
A felhőben mérték ezt?
Továbbiak