LesskeysТочность Whisper в 29 языках
Проверено
Прочитайте сначала
Строки, которые измеряются заново
Поправка от 28 августа 2026
Программа оценки, по которой построена эта таблица, нормализовала текст выражением [^\w\s], а \w
Это раздувает эталон и вместе с ним число ошибок, потому что фрагменты невозможно сопоставить. Поэтому строки хинди, арабского, иврита и других письменностей с комбинируемыми знаками завышают долю ошибок на величину, разную для каждого языка, а утверждение о «худшем языке» ниже для этих строк ненадёжно. Сейчас идёт исправленный прогон по 83 языкам, и эта страница будет пересобрана по его результатам.
Поправка записана здесь, а не тихо удалена, по той же причине, что и опровержение ниже: нормализатор, который молча искажает нелатинскую письменность, — именно тот сбой, о котором нужно сообщать читателю многоязычного теста, а ни в одной опубликованной цифре он не виден.
Статус на 15 октября 2026
Новое измерение охватывает 83 языка и шесть моделей, для расшифровки файлов и для диктовки. Его на этой странице пока нет, потому что оно не закончено: 89 из его 996 тестовых прогонов завершились сбоем, все — на самых крупных моделях и в 17 языках, а прогоны не все использовали одинаковый объём памяти компьютера и одну и ту же версию тестовой программы. Пока оно не закончено, таблица ниже остаётся описанной выше таблицей по 29 языкам, поэтому строки с пометкой † (хинди, арабский и иврит, названные в поправке) по-прежнему содержат завышенную долю ошибок, как, возможно, и другие письменности с комбинируемыми знаками. Сравнения по строкам с латиницей, кириллицей и китайскими, японскими и корейскими знаками не затронуты.
Ответ
Модель на 547 МБ выдерживает проверку
В 23 из 29 языков ни одна модель из набора не оказалась значимо лучше модели по умолчанию на 547 МБ.
- 23 из 29языков, где ни одна более крупная модель явно не лучше
- 6языков, где более крупная модель оправдывает свой размер
- 9 из 29языков, где модель turbo на 1,6 ГБ показывает результат хуже
Исключения
Где крупная модель оправдывает свой размер
Если вы работаете на тайском, японском, финском, французском, нидерландском или корейском, большая загрузка того стоит.
| Что | По умолчанию (547 МБ) | Лучшая модель | Выигрыш |
|---|---|---|---|
| Тайский | 20,8% | v3: 12,6% | |
| Японский | 18,5% | v3-q5: 14,2% | |
| Финский | 10,8% | v3-q5: 7,7% | |
| Французский | 10,0% | v3: 7,5% | |
| Нидерландский | 10,8% | v3-q5: 8,3% | |
| Корейский | 11,3% | v3-q5: 9,4% |
v3-q5 (1,0 ГБ) даёт почти весь выигрыш: модель v3 на 3 ГБ нигде не улучшает его больше чем на 1,2 процентного пункта.
Не всегда крупнее
Крупные модели не всегда точнее
Модель turbo на 1,6 ГБ по цифрам хуже модели по умолчанию на 547 МБ в 9 из 29 языков.
Модель на 75 МБ непригодна вне английского: хинди† 100,0%, датский 87,2%, венгерский 84,8%, чешский 84,0%, иврит† 81,9%.
Какие языки и на сколько
Хинди† (42,1% против 34,4%), тайский (24,6% против 20,8%), китайский (упрощённый) (16,8% против 13,7%), малайский (9,8% против 7,1%), вьетнамский (10,3% против 9,8%), индонезийский (7,8% против 7,4%), турецкий (15,5% против 15,2%), греческий (11,3% против 11,2%), французский (10,1% против 10,0%). Такие небольшие разрывы по отдельности не все значимы при таком размере выборки; важно направление, которое одним размером не предсказать. Брать модель покрупнее — небезопасный выбор по умолчанию.
Крайности
Самые простые и самые трудные
Лучший результат: испанский, 2,8%.
Самая высокая доля ошибок, которую не улучшает ни одна модель, — у языка иврит†: она не опускается ниже 48,3% ни в одной проверенной конфигурации. Поправка говорит, что для письменностей с комбинируемыми знаками, таких как иврит, этот вывод ненадёжен, поэтому считайте его неподтверждённым, пока исправленный прогон не появится на этой странице.
Опровержение
Опровержение, оставленное на месте
Опровержение
В более ранней версии этого прогона large-v3 была названа значимо лучше модели по умолчанию для украинского языка. Это было неверно. Измерение шло с шириной луча 5, это значение по умолчанию у whisper-cli, но не то, с которым поставляется приложение. При повторном прогоне в жадном режиме, то есть в реальной настройке, модель по умолчанию и v3 сыграли вничью. Разницу давал декодер, а не модель.
Данные
Полная таблица, метод и ограничения
Полная таблица, метод и ограничения свёрнуты: откройте любой раздел.
Доля ошибок по языкам и моделям (29 языков, 6 моделей)
Доля ошибок по языкам и моделям (29 языков, 6 моделей)
| Язык | Показатель | tiny 75 МБ | small 466 МБ | turbo-q5 547 МБ | turbo 1,6 ГБ | v3-q5 1,0 ГБ | v3 3 ГБ |
|---|---|---|---|---|---|---|---|
| Арабский† ar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Китайский (упрощённый) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Чешский cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Датский da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Нидерландский nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Английский en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Финский fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Французский fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Немецкий de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Греческий el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Иврит† he | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Хинди† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Венгерский hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Индонезийский id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Итальянский it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Японский ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Корейский ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Малайский ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Норвежский no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Польский pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Португальский (Бразилия) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Румынский ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Русский ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Испанский es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Шведский sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Тайский th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Турецкий tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Украинский uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| Вьетнамский vi | WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Как проводилось измерение
Ограничения этого теста
- Один фрагмент на язык (около 1 000 слов или около 2 000 символов для языков с долей ошибочных символов). Достаточно, чтобы выявить большие различия, но не малые. Когда эта страница пишет, что модель «выдерживает», читайте это как не разделены при таком размере выборки, а не как доказанное равенство.
whisper -cli с настройками контекста и декодирования приложения, а не весь конвейер Lesskeys , в который входят определение речи, фильтр галлюцинаций, нормализация громкости и ограничение языков. Эта таблица такой конвейер не измеряет.- Читаемая речь, а не встречи. Разговорное аудио с перебиваниями заметно сложнее.
- Абсолютные значения несколько завышены из-за различий в записи чисел и пунктуации, которые человек не счёл бы ошибками. Надёжны сравнения моделей между собой на одном языке; сравнения между языками менее точны.
Вопросы
Вопросы о точности Whisper по языкам
Какую модель Whisper выбрать для Mac ?
Квантование модели Whisper снижает точность?
Едва заметно. Во всех 29 языках полноточная модель на 3 ГБ нигде не обходит квантованную на 1,0 ГБ больше чем на 1,2 процентного пункта, а квантованная модель по умолчанию на 547 МБ в большинстве языков не уступает куда более крупным.
Большая модель Whisper всегда точнее?
Нет. Модель turbo на 1,6 ГБ по цифрам хуже модели по умолчанию на 547 МБ в 9 из 29 измеренных языков. Размер модели не служит надёжным показателем точности для конкретного языка.
Это измеряли в облаке?
Ещё