LesskeysAcuratețea Whisper în 29 de limbi
Ultima verificare:
Citește mai întâi
Rânduri în curs de remăsurare
Corecție, datată 28 august 2026
Scriptul de evaluare din spatele acestui tabel normaliza textul cu [^\w\s], iar \w
Asta umflă referința și, pentru că fragmentele nu se pot alinia, numărul de erori odată cu ea. Deci rândurile pentru hindi, arabă, ebraică și celelalte scrieri cu semne combinate își supraestimează rata de eroare cu o valoare care diferă de la o limbă la alta, iar afirmația despre „limba cu cele mai multe erori” de mai jos nu este sigură pentru acele rânduri. O rulare corectată pe 83 de limbi este în desfășurare acum, iar această pagină va fi regenerată din ea.
Este consemnată aici, nu ștearsă pe tăcute, din același motiv ca retragerea de mai jos: un normalizator care deformează în tăcere scrierile non-latine este exact eșecul despre care un cititor al unui test multilingv trebuie informat, iar el nu se vede în nicio cifră publicată.
Stadiu, 15 octombrie 2026
Noua măsurătoare acoperă 83 de limbi și șase modele, atât pentru transcrierea de fișiere, cât și pentru dictare. Nu este încă pe această pagină, pentru că nu este terminată: 89 din cele 996 de rulări de test au eșuat, toate pe cele mai mari modele și în 17 limbi, iar rulările nu au folosit toate aceeași cantitate de memorie a calculatorului sau aceeași versiune a instrumentului de test. Până se termină, tabelul de mai jos este tot cel pe 29 de limbi descris mai sus, deci rândurile marcate cu † (hindi, arabă și ebraică, numite în corecție) au încă ratele de eroare umflate, iar la fel pot avea și alte scrieri cu semne combinate. Comparațiile pe rândurile latine, chirilice și CJK nu sunt afectate.
Răspunsul
Modelul de 547 MB se menține bine
- 23 din 29de limbi: niciun model mai mare nu e clar mai bun
- 6de limbi în care un model mai mare își merită dimensiunea
- 9 din 29
de limbi în care modelul turbo de 1,6 GB are un scor mai slab
Excepții
Unde un model mai mare își merită dimensiunea
Dacă lucrezi în thailandeză, japoneză, finlandeză, franceză, olandeză sau coreeană, descărcarea mai mare merită.
| Ce | Model mai bun | Câștig | |
|---|---|---|---|
| Thailandeză | 20,8% | v3: 12,6% | |
| Japoneză | 18,5% | v3-q5: 14,2% | |
| Finlandeză | 10,8% | v3-q5: 7,7% | |
| Franceză | 10,0% | v3: 7,5% | |
| Olandeză | 10,8% | v3-q5: 8,3% | |
| Coreeană | 11,3% | v3-q5: 9,4% |
v3-q5v3
Nu întotdeauna mai mare
Modelele mai mari nu sunt întotdeauna mai precise
Care limbi și cu cât
Hindi† (42,1% față de 34,4%), thailandeză (24,6% față de 20,8%), chineză (simplificată) (16,8% față de 13,7%), malaeză (9,8% față de 7,1%), vietnameză (10,3% față de 9,8%), indoneziană (7,8% față de 7,4%), turcă (15,5% față de 15,2%), greacă (11,3% față de 11,2%), franceză (10,1% față de 10,0%). Marjele atât de mici nu sunt toate semnificative individual la această dimensiune a eșantionului; ideea este direcția
Extreme
Cea mai ușoară și cea mai grea
Cel mai bun rezultat: spaniola, 2,8%.
Cea mai mare rată de eroare pe care niciun model nu o îmbunătățește este ebraica†, care nu coboară sub 48,3% în nicio
Retragere
O retragere, păstrată la vedere
Retragere
O versiune anterioară a acestui test a raportat că large-v3 este semnificativ mai bun decât modelul implicit pentru ucraineană. Era greșit. A fost măsurat cu beam 5, care este valoarea implicită din whisper-cli, dar nu ceea ce livrează aplicația. Rulat din nou cu decodare greedy — setarea reală — modelul implicit și v3 ies la egalitate perfectă. Diferența a venit de la decodor, nu de la model.
Datele
Tabelul complet, metoda și limitele
Tabelul complet, metoda și limitele, restrânse: deschide oricare dintre ele.
Rata de eroare pe limbi și modele (29 de limbi, 6 modele)
Rata de eroare pe limbi și modele (29 de limbi, 6 modele)
| Limbă | Măsură | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Arabㆠar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Chineză (simplificată) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Cehă cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Daneză da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Olandeză nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Engleză en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Finlandeză fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Franceză fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Germană de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Greacă el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Ebraicㆠhe | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Hindi† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Maghiară hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Indoneziană id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Italiană it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Japoneză ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Coreeană ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Malaeză ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Norvegiană no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Poloneză pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Portugheză (BR) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Română ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Rusă ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Spaniolă es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Suedeză sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Thailandeză th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Turcă tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Ucraineană uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| Vietnameză vi | WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Cum a fost măsurat
Limitele acestui test
- Un fragment pe limbă (cam 1.000 de cuvinte, sau cam 2.000 de caractere pentru limbile cu rată pe caracter). Suficient pentru a separa diferențele mari, nu pentru a le stabili pe cele mici. Unde această pagină spune că un model „se menține”, citește asta ca neseparat la această dimensiune a eșantionului, nu ca dovedit identic.
whisper -cli cu setările de context și decodare ale aplicației, nu fluxul complet Lesskeys , care adaugă detectarea activității vocale, un filtru de halucinații, normalizarea volumului și o restrângere a limbilor. Acest tabel nu măsoară acel flux.- Vorbire citită, nu ședințe. Sunetul conversațional și cu suprapuneri este mult mai greu.
- Ratele absolute includ o oarecare umflare
din diferențe de formatare a numerelor și a punctuației pe care un cititor uman nu le dintre modele pe aceeași limbă sunt partea de încredere; comparațiile între limbi sunt mai zgomotoase.-ar socoti erori. Comparațiile
Întrebări
Întrebări despre acuratețea Whisper pe limbi
Ce model Whisper să rulez pe un Mac ?
Cuantizarea unui model Whisper strică acuratețea?
Un model Whisper mai mare este întotdeauna mai precis?
A fost măsurat în cloud?
Mai mult