LesskeysТочність Whisper у 29 мовах
Востаннє перевірено:
Прочитайте спершу
Рядки, що вимірюються повторно
Виправлення від 28 серпня 2026
Скрипт оцінювання, що стоїть за цією таблицею, нормалізував текст за допомогою [^\w\s], а \w
Це завищує еталон і, оскільки фрагменти не вдається вирівняти, кількість помилок разом із ним. Тож рядки для гінді, арабської, івриту й інших писемностей із комбінувальними знаками завищують частку помилок на величину, яка різниться залежно від мови, а твердження про «найгіршу мову» нижче для цих рядків ненадійне. Зараз іде виправлений прогін на 83 мовах, і цю сторінку буде згенеровано заново за його результатами.
Це записано тут, а не тихо видалено, з тієї самої причини, що й відкликання нижче: нормалізатор, який непомітно калічить нелатинські писемності, — саме та вада, про яку слід повідомити читачеві багатомовного тесту, і її не видно в жодній опублікованій цифрі.
Стан на 15 жовтня 2026
Відповідь
Модель на 547 МБ тримається добре
У 23 із 29 мов жодна модель із набору не є значно кращою за типову на 547 МБ.
- 23 із 29мов: жодна більша модель явно не краща
- 6мов, де більша модель виправдовує розмір
- 9 із 29мов, де модель turbo на 1,6 ГБ дає гірший результат
Винятки
Де більша модель виправдовує розмір
Якщо ви працюєте тайською, японською, фінською, французькою, нідерландською чи корейською, варто завантажити більшу модель.
| Що | Типова (547 МБ) | Краща модель | Приріст |
|---|---|---|---|
| Тайська | 20,8% | v3: 12,6% | |
| Японська | 18,5% | v3-q5: 14,2% | |
| Фінська | 10,8% | v3-q5: 7,7% | |
| Французька | 10,0% | v3: 7,5% | |
| Нідерландська | 10,8% | v3-q5: 8,3% | |
| Корейська | 11,3% | v3-q5: 9,4% |
v3-q5 (1,0 ГБ) дає майже весь приріст: модель v3 на 3 ГБ ніколи не покращує його більш ніж на 1,2 відсоткового пункту.
Не завжди більша
Більші моделі не завжди точніші
Модель turbo на 1,6 ГБ у 9 із 29 мов має числово гірший результат, ніж типова на 547 МБ.
Модель на 75 МБ непридатна поза англійською: гінді† 100,0%, данська 87,2%, угорська 84,8%, чеська 84,0%, іврит† 81,9%.
Які мови й наскільки
Гінді† (42,1% проти 34,4%), тайська (24,6% проти 20,8%), китайська (спрощена) (16,8% проти 13,7%), малайська (9,8% проти 7,1%),
Крайнощі
Найлегша й найважча
Найкращий результат: іспанська, 2,8%.
Найвища частка помилок, яку жодна модель не покращує, — іврит†: вона не опускається нижче 48,3% в жодній
Відкликання
Відкликання, залишене на місці
Відкликання
Попередня версія цього прогону повідомляла, що large-v3 значно кращий за типову модель для української. Це було хибно. Вимірювання проводили з beam 5 — це типове значення whisper-cli, але не те, з яким постачається застосунок. Після повторного прогону з greedy — справжнім налаштуванням — типова модель і v3 опинилися в повній нічиїй. Різниця була в декодері, а не в моделі.
Дані
Повна таблиця, метод і обмеження
Повна таблиця, метод і обмеження згорнуті: відкрийте будь-який із них.
Частка помилок за мовою та моделлю (29 мов, 6 моделей)
Частка помилок за мовою та моделлю (29 мов, 6 моделей)
| Мова | Показник | tiny 75 МБ | small 466 МБ | turbo-q5 547 МБ | turbo 1,6 ГБ | v3-q5 1,0 ГБ | v3 3 ГБ |
|---|---|---|---|---|---|---|---|
| Арабська† ar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Китайська (спрощена) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Чеська cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Данська da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Нідерландська nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Англійська en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Фінська fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Французька fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Німецька de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Грецька el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Іврит† he | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Гінді† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Угорська hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Індонезійська id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Італійська it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Японська ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Корейська ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Малайська ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Норвезька no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Польська pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Португальська (BR) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Румунська ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Російська ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Іспанська es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Шведська sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Тайська th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Турецька tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Українська uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Як це вимірювали
Обмеження цього тесту
- Один фрагмент на мову (приблизно 1 000 слів, а для мов із символьною оцінкою — близько 2 000 символів). Цього досить, щоб розрізнити великі відмінності, але не щоб робити висновки про малі. Де ця сторінка каже, що модель «тримається», читайте це як не розрізнено на цьому обсязі вибірки, а не як доведено однакову.
whisper -cli з налаштуваннями контексту й декодування застосунку, а не повний конвеєр Lesskeys , який додає виявлення голосової активності, фільтр галюцинацій, нормалізацію гучності та обмеження мови. Ця таблиця цей конвеєр не вимірює.- Начитане мовлення, а не наради. Розмовне аудіо та аудіо з перебиванням помітно складніші.
- Абсолютні частки помилок дещо завищені через відмінності у форматуванні чисел і розділових знаків, які людина не вважала б помилками. Надійна частина — порівняння між моделями в одній мові; порівняння між мовами менш точні.
Запитання
Запитання про точність Whisper за мовами
Яку модель Whisper запускати на Mac ?
Чи квантування шкодить точності моделі Whisper ?
Майже ні. У всіх 29 мовах модель повної точності на 3 ГБ ніде не випереджає квантовану на 1,0 ГБ більш ніж на 1,2 відсоткового пункту, а типова квантована модель на 547 МБ у більшості мов не поступається значно більшим.
Чи більша модель Whisper завжди точніша?
Ні. Модель turbo на 1,6 ГБ у 9 із 29 виміряних мов має числово гірший результат, ніж типова на 547 МБ. Розмір моделі не є надійним показником точності в конкретній мові.
Чи вимірювали це в хмарі?
Ще