LesskeysWhisperin tarkkuus
Viimeksi tarkistettu
Lue tämä ensin
Rivit, jotka mitataan uudelleen
Korjaus 28. elokuuta 2026
Tämän taulukon takana oleva pisteytin normalisoi tekstin lausekkeella [^\w\s]\w
Tämä paisuttaa viitteen ja, koska palaset eivät kohdistu, myös virheiden määrän. Siksi hindin, arabian, heprean ja muiden yhdistäviä merkkejä käyttävien kirjoitusjärjestelmien rivit liioittelevat virhetasoa määrällä, joka vaihtelee kielittäin, ja alempana oleva väite ”huonoimmasta kielestä” ei ole luotettava näille riveille. Korjattu 83 kielen mittaus on parhaillaan käynnissä, ja tämä sivu luodaan uudelleen sen pohjalta.
Se on kirjattu tähän eikä hiljaa poistettu samasta syystä kuin alla oleva peruutus: normalisoija, joka hiljaa sotkee ei-latinalaista kirjoitusta, on juuri se virhe, josta monikielisen vertailun lukijalle pitää kertoa, eikä se näy missään julkaistussa luvussa.
Tilanne 15. lokakuuta 2026
Uusi mittaus kattaa 83 kieltä ja kuusi mallia sekä tiedostolitteroinnille että sanelulle. Se ei ole vielä tällä sivulla, koska se ei ole valmis: 89 sen 996 testiajosta epäonnistui, kaikki suurimmilla malleilla ja 17 kielellä, eivätkä ajot käyttäneet kaikki yhtä paljon tietokoneen muistia tai samaa testityökalun versiota. Kunnes se on valmis, alla oleva taulukko on yhä edellä kuvattu 29 kielen taulukko, joten rivit, joissa on merkintä † (hindi, arabia ja heprea, jotka korjaus mainitsee), sisältävät yhä paisutetut virhetasot, ja niin voivat sisältää muutkin yhdistäviä merkkejä käyttävät kirjoitusjärjestelmät. Latinalaisten, kyrillisten ja CJK-rivien vertailuihin tämä ei vaikuta.
Vastaus
547 MB :n malli
- 23 / 29kieltä: mikään suurempi malli ei ole selvästi parempi
- 6kieltä, joilla suurempi malli ansaitsee kokonsa
- 9 / 29
kieltä, joilla 1,6 GB :n turbo-malli saa huonomman tuloksen
Poikkeukset
Missä suurempi malli ansaitsee kokonsa
Jos työskentelet thaiksi, japaniksi, suomeksi, ranskaksi, hollanniksi tai koreaksi, suurempi lataus kannattaa.
| Mitä | Parempi malli | Parannus | |
|---|---|---|---|
| Thai | 20,8 % | v3: 12,6 % | |
| Japani | 18,5 % | v3-q5: 14,2 % | |
| Suomi | 10,8 % | v3-q5: 7,7 % | |
| Ranska | 10,0 % | v3: 7,5 % | |
| Hollanti | 10,8 % | v3-q5: 8,3 % | |
| Korea | 11,3 % | v3-q5: 9,4 % |
v3-q5v3 ei paranna sitä koskaan yli 1,2 prosenttiyksikköä.
Ei aina isompi
Isommat mallit eivät aina ole tarkempia
Mitkä kielet ja kuinka paljon
hindi† (42,1 % vs. 34,4 %), thai (24,6 % vs. 20,8 %), kiina (yksinkertaistettu) (16,8 % vs. 13,7 %), malaiji (9,8 % vs. 7,1 %), vietnam (10,3 % vs. 9,8 %), indonesia (7,8 % vs. 7,4 %), turkki (15,5 % vs. 15,2 %), kreikka (11,3 % vs. 11,2 %), ranska (10,1 % vs. 10,0 %). Näin pienet erot eivät kaikki ole yksittäin merkitseviä tällä otoskoolla; olennaista on suunta, jota koko yksin ei ennustaisi. Seuraavan koon mallin valitseminen ei ole turvallinen oletus.
Ääripäät
Helpoin ja vaikein
Paras tulos: espanja, 2,8 %.
Korkein virhetaso, jota mikään malli ei paranna, on heprea†, joka ei laske alle 48,3 %:n missään testatussa kokoonpanossa. Korjauksen mukaan tämä lukema ei ole luotettava yhdistäviä merkkejä käyttäville kirjoitusjärjestelmille, kuten heprealle, joten pidä sitä vahvistamattomana, kunnes korjattu mittaus on tällä sivulla.
Peruutus
Peruutus, jätetty paikalleen
Peruutus
Tämän mittauksen aiempi versio ilmoitti, että large-v3 on merkitsevästi parempi kuin oletus ukrainan kielelle. Se oli väärin. Mittaus tehtiin beam-koolla 5 (beam 5), joka on whisper-cli:n oletus mutta ei se, mitä sovellus toimittaa. Kun ajo toistettiin ahneella dekoodauksella (greedy) – oikealla asetuksella – oletus ja v3 päätyivät tasapeliin. Ero johtui dekooderista, ei mallista.
Tiedot
Koko taulukko, menetelmä ja rajat
Koko taulukko, menetelmä ja rajat on tiivistetty: avaa mikä tahansa niistä.
Virhetaso kielen ja mallin mukaan (29 kieltä, 6 mallia)
Virhetaso kielen ja mallin mukaan (29 kieltä, 6 mallia)
| Kieli | Mittari | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Arabia† ar-SA | WER | 67,0 % | 36,9 % | 22,9 % | 22,4 % | 22,3 % | 22,2 % ● |
| Kiina (yksinkertaistettu) zh-Hans | CER | 55,0 % | 24,8 % | 13,7 % | 16,8 % | 13,1 % | 12,6 % ● |
| Tšekki cs | WER | 84,0 % | 40,4 % | 13,2 % | 12,8 % | 13,1 % | 11,9 % ● |
| Tanska da | WER | 87,2 % | 35,0 % | 13,4 % | 13,0 % | 12,6 % ● | 13,3 % |
| Hollanti nl-NL | WER | 74,8 % | 28,8 % | 10,8 % | 9,8 % | 8,3 % ● | 8,4 % |
| Englanti en-US | WER | 31,9 % | 10,7 % | 9,1 % | 8,9 % | 7,0 % ● | 8,9 % |
| Suomi fi | WER | 64,4 % | 31,8 % | 10,8 % | 10,1 % | 7,7 % ● | 7,7 % ● |
| Ranska fr-FR | WER | 50,1 % | 26,1 % | 10,0 % | 10,1 % | 7,7 % | 7,5 % ● |
| Saksa de-DE | WER | 35,0 % | 11,9 % | 5,2 % | 4,7 % ● | 5,2 % | 5,2 % |
| Kreikka el | WER | 74,7 % | 32,9 % | 11,2 % ● | 11,3 % | 11,8 % | 12,3 % |
| Heprea† he | WER | 81,9 % | 63,2 % | 51,0 % | 48,4 % | 48,3 % ● | 48,3 % ● |
| Hindi† hi | WER | 100,0 % | 68,3 % | 34,4 % | 42,1 % | 33,4 % | 32,4 % ● |
| Unkari hu | WER | 84,8 % | 48,7 % | 17,9 % | 17,9 % | 17,0 % | 16,3 % ● |
| Indonesia id | WER | 59,2 % | 21,8 % | 7,4 % ● | 7,8 % | 8,1 % | 9,4 % |
| Italia it | WER | 31,8 % | 8,2 % | 4,0 % | 2,9 % ● | 4,6 % | 4,5 % |
| Japani ja | CER | 54,3 % | 25,4 % | 18,5 % | 15,6 % | 14,2 % ● | 17,0 % |
| Korea ko | CER | 33,9 % | 24,6 % | 11,3 % | 11,3 % | 9,4 % ● | 9,5 % |
| Malaiji ms | WER | 62,5 % | 25,1 % | 7,1 % | 9,8 % | 6,0 % | 5,9 % ● |
| Norja no | WER | 64,0 % | 24,2 % | 10,0 % | 9,8 % ● | 10,0 % | 9,8 % ● |
| Puola pl | WER | 57,0 % | 17,7 % | 6,7 % | 6,4 % ● | 7,4 % | 7,6 % |
| Portugali (BR) pt-BR | WER | 25,4 % | 7,9 % | 5,2 % | 5,1 % | 5,0 % | 4,9 % ● |
| Romania ro | WER | 79,1 % | 33,4 % | 10,2 % | 9,9 % | 9,5 % | 9,2 % ● |
| Venäjä ru | WER | 38,7 % | 12,9 % | 6,4 % | 6,3 % ● | 6,8 % | 7,3 % |
| Espanja es-ES | WER | 19,3 % | 7,0 % | 3,5 % | 3,5 % | 3,0 % | 2,8 % ● |
| Ruotsi sv | WER | 57,2 % | 21,4 % | 8,3 % | 8,1 % | 7,1 % ● | 7,3 % |
| Thai th | CER | 62,4 % | 27,5 % | 20,8 % | 24,6 % | 13,2 % | 12,6 % ● |
| Turkki tr | WER | 62,1 % | 30,5 % | 15,2 % | 15,5 % | 13,1 % ● | 13,5 % |
| Ukraina uk | WER | 68,3 % | 39,2 % | 23,1 % | 21,0 % ● | 23,3 % | 23,1 % |
| Vietnam vi | WER | 64,1 % | 26,6 % | 9,8 % ● | 10,3 % | 10,2 % | 10,2 % |
Miten mittaus tehtiin
Tämän testin rajat
- Yksi otos kieltä kohti (noin 1 000 sanaa tai noin 2 000 merkkiä merkkivirhekielillä). Riittää suurten erojen erottamiseen, ei pienten ratkaisemiseen. Kun tämä sivu sanoo mallin ”pitävän pintansa”, lue se muodossa ei erotettavissa tällä otoskoolla, ei todistetusti identtinen.
whisper -cli sovelluksen konteksti- ja dekoodausasetuksilla, ei koko Lesskeysin putkea, joka lisää puheaktiivisuuden tunnistuksen, hallusinaatiosuodattimen, äänenvoimakkuuden normalisoinnin ja kielirajoituksen. Tämä taulukko ei mittaa sitä putkea.- Luettua puhetta, ei kokouksia. Keskustelu ja päällekkäinen puhe ovat selvästi vaikeampia.
- Absoluuttiset luvut ovat hieman koholla luku- ja välimerkkimuotoilun eroista, joita ihmislukija ei laskisi virheiksi. Samalla kielellä mallien väliset vertailut ovat luotettava osa; kielten väliset vertailut ovat epävarmempia.
Kysymykset
Kysymyksiä Whisperin tarkkuudesta kielittäin
Mitä Whisper-mallia kannattaa ajaa Macilla?
Heikentääkö Whisper-mallin kvantisointi tarkkuutta?
Onko isompi Whisper-malli aina tarkempi?
Mitattiinko tämä pilvessä?
Lisää