LesskeysDokładność Whisper w 29 językach
Ostatni przegląd:
Przeczytaj to najpierw
Wiersze w ponownym pomiarze
Korekta z dnia 28 sierpnia 2026
Skrypt oceniający stojący za tą tabelą normalizował tekst za pomocą [^\w\s], a \w
To zawyża tekst wzorcowy, a ponieważ fragmenty nie mogą się wyrównać, także liczbę błędów. Dlatego wiersze dla hindi, arabskiego, hebrajskiego i innych pism ze znakami łączącymi zawyżają współczynnik błędów o wartość, która zależy od języka, a twierdzenie o „najgorszym języku” niżej nie jest dla tych wierszy bezpieczne. Poprawiony przebieg dla 83 języków właśnie trwa i ta strona zostanie z niego wygenerowana ponownie.
Zapisujemy to tutaj, zamiast po cichu usunąć, z tego samego powodu co poniższe wycofanie: normalizator, który po cichu psuje pismo nielacińskie, to dokładnie ta wada, o której powinien się dowiedzieć czytelnik wielojęzycznego testu porównawczego, a nie widać jej w żadnej opublikowanej liczbie.
Stan na 15 października 2026
Nowy pomiar obejmuje 83 języki i sześć modeli, zarówno dla transkrypcji plików, jak i dyktowania. Nie ma go jeszcze na tej stronie, bo nie jest ukończony: 89 z jego 996 przebiegów testowych zakończyło się niepowodzeniem, wszystkie na największych modelach i w 17 językach, a przebiegi nie używały tej samej ilości pamięci komputera ani tej samej wersji narzędzia testowego. Dopóki nie zostanie ukończony, tabela poniżej jest nadal tabelą 29 języków opisaną wyżej, więc wiersze oznaczone † (hindi, arabski i hebrajski, wymienione w korekcie) nadal mają zawyżone współczynniki błędów, a mogą je mieć także inne pisma ze znakami łączącymi. Porównania w wierszach łacińskich, cyrylickich i CJK nie są dotknięte.
Odpowiedź
Model 547 MB się sprawdza
- 23 z 29języków: żaden większy model nie jest wyraźnie lepszy
- 6języków, w których większy model jest wart swojego rozmiaru
- 9 z 29
języków, w których model turbo 1,6 GB wypada gorzej
Wyjątki
Gdzie większy model jest wart swojego rozmiaru
Jeśli pracujesz po tajsku, japońsku, fińsku, francusku, niderlandzku czy koreańsku, większe pobranie jest tego warte.
| Co | Lepszy model | Zysk | |
|---|---|---|---|
| tajski | 20,8% | v3: 12,6% | |
| japoński | 18,5% | v3-q5: 14,2% | |
| fiński | 10,8% | v3-q5: 7,7% | |
| francuski | 10,0% | v3: 7,5% | |
| niderlandzki | 10,8% | v3-q5: 8,3% | |
| koreański | 11,3% | v3-q5: 9,4% |
v3-q5v3 nigdy nie poprawia go o więcej niż 1,2 punktu procentowego.
Nie zawsze większy
Większe modele nie zawsze są dokładniejsze
Które języki i o ile
Hindi† (42,1% wobec 34,4%), tajski (24,6% wobec 20,8%), chiński (uproszczony) (16,8% wobec 13,7%), malajski (9,8% wobec 7,1%), wietnamski (10,3% wobec 9,8%), indonezyjski (7,8% wobec 7,4%), turecki (15,5% wobec 15,2%), grecki (11,3% wobec 11,2%), francuski (10,1% wobec 10,0%). Nie wszystkie tak małe różnice są pojedynczo istotne przy tej wielkości próby; liczy się kierunek, którego sam rozmiar by nie przewidział. Sięganie po kolejny, większy model nie jest bezpiecznym wyborem domyślnym.
Skrajności
Najłatwiejsze i najtrudniejsze
Najlepszy wynik: hiszpański, 2,8%.
Najwyższy współczynnik błędów, którego żaden model nie poprawia, ma hebrajski†, który nie spada poniżej 48,3% w żadnej przetestowanej konfiguracji. Korekta mówi, że tego odczytu nie można uznać za bezpieczny dla pism ze znakami łączącymi, takich jak hebrajskie, więc traktuj go jako niepotwierdzony, dopóki poprawiony przebieg nie trafi na tę stronę.
Wycofanie
Wycofanie, zostawione na miejscu
Wycofanie
Wcześniejsza wersja tego przebiegu podawała, że large-v3 jest istotnie lepszy od domyślnego dla języka ukraińskiego. To był błąd. Zmierzono go przy beam 5, który jest domyślny w whisper-cli, ale nie jest ustawieniem, z którym działa aplikacja. Po ponownym uruchomieniu z dekodowaniem zachłannym — czyli w prawdziwym ustawieniu — model domyślny i v3 kończą w martwym remisie. Różnicę dawał dekoder, nie model.
Dane
Pełna tabela, metoda i ograniczenia
Pełna tabela, metoda i ograniczenia, zwinięte: otwórz dowolne z nich.
Współczynnik błędów według języka i modelu (29 języków, 6 modeli)
Współczynnik błędów według języka i modelu (29 języków, 6 modeli)
| Język | Miara | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Arabski† ar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Chiński (uproszczony) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Czeski cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Duński da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Niderlandzki nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Angielski en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Fiński fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Francuski fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Niemiecki de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Grecki el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Hebrajski† he | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Hindi† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Węgierski hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Indonezyjski id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Włoski it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Japoński ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Koreański ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Malajski ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Norweski no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Polski pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Portugalski (BR) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Rumuński ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Rosyjski ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Hiszpański es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Szwedzki sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Tajski th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Turecki tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Ukraiński uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| Wietnamski vi | WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Jak to zmierzono
Ograniczenia tego testu
- Jeden fragment na język (około 1 000 słów albo około 2 000 znaków w językach mierzonych błędem znaków). Wystarcza do rozdzielenia dużych różnic, nie do rozstrzygania małych. Gdy ta strona mówi, że model „się sprawdza”, czytaj to jako nierozdzielone przy tej wielkości próby, a nie jako udowodnione, że są identyczne.
whisper -cli z ustawieniami kontekstu i dekodowania aplikacji, a nie pełny proces przetwarzania Lesskeys , który dodaje wykrywanie aktywności głosowej, filtr halucynacji, normalizację głośności i ograniczenie języka. Ta tabela nie mierzy tego procesu.- Mowa czytana, nie spotkania. Dźwięk rozmowy i nakładających się głosów jest zauważalnie trudniejszy.
- Wartości bezwzględne są nieco zawyżone przez różnice w formatowaniu liczb i interpunkcji, których człowiek nie policzyłby jako błędów. Wiarygodne są porównania między modelami w tym samym języku; porównania między językami są bardziej zaszumione.
Pytania
Pytania o dokładność Whisper według języka
Jaki model Whisper uruchomić na Macu?
Czy kwantyzacja modelu Whisper pogarsza dokładność?
Czy większy model Whisper jest zawsze dokładniejszy?
Czy pomiar wykonano w chmurze?
Więcej