LesskeysКоли Whisper зупиняється завчасно й каже, що закінчив
Востаннє перевірено:
Що це
Що таке тихе обривання
Текст, який модель видала, був правильним. Просто вона зупинилася, а конвеєр сказав, що все готово.
Модель мовлення може повернути хибні слова, а може зупинитися посеред запису й віддати правильний транскрипт першої частини так, ніби він повний. У нашому найгіршому запуску, норвезькою, вона повернула 113 із 521 еталонного слова після 30 хвилин обчислень і зупинилася після 9 сегментів. Наш власний конвеєр записав цей запуск як ЗАВЕРШЕНО: без помилки, без попередження, без позначки про частковий результат.
- 10 із 143запусків зупинилися завчасно
- 22%аудіо в найгіршому запуску
- 9 із 10на двох файлах large-v3
Які запуски
Які мови зупинилися завчасно
9 із 10 припадають на два файли large-v3.
Покриття — це довжина транскрипту, поділена на довжину еталона: 1,00 означає повний транскрипт. Кожна смуга — один обірваний запуск; пунктирна лінія — поріг 0,80.
- Норвезька0,22
- Малайська0,32
В’єтнамська - Корейська0,40
- Нідерландська0,74
- Чеська0,22
- Португальська (Бразилія)0,35
В’єтнамська - Малайська0,75
- Гінді†0,72
Гінді: застереження щодо оцінювання
† Це запуск типової моделі: 886 одиниць проти еталона в 1 237 — той самий завищений підрахунок, який названо у виправленні на сторінці
Завжди коротше, ніколи не довше
Кожна крайня клітинка в цій матриці — коротша, ніколи не довша
Як це виявити
Виявляйте без еталона
Порівняйте, скільки транскрипту повернулося, із тривалістю аудіо.
Для частки помилок у словах потрібен еталонний транскрипт, якого на практиці немає. Покриттю він не потрібен. У цій матриці дві групи розділяються чітко:
| Що | Запуски | Середнє покриття | Середня частка помилок |
|---|---|---|---|
| Обірвані | 10 | 0,44 | 65,90% |
| Справні | 133 | 1,01 | 12,10% |
Поріг 0,80 не підганяли під дані: найвище покриття серед обірваних запусків — 0,75, а найнижче серед справних — 0,82
Частка помилок
Обривання завищує частку помилок
Приблизно 9,4 пункту її частки помилок — це не те, що модель щось неправильно почула. Це частина запису, яку модель так і не обробила.
Навіть без обривань Large V3 не наздоганяє меншу модель turbo
Що це означає для моделей, які пропонує Lesskeys
У цій версії перевірки покриття немає. Описана вище перевірка — це пропозиція для неї, а не наявна функція.
Стан на 15 жовтня 2026 для версії App Store , що зараз у продажу (3.1.4 )
Кажемо прямо, бо саме тому цю сторінку варто публікувати, а не ховати в архів:
- Обидва артефакти large-v3
пропонуються у виборі моделей і дають 9 із 10 обірваних запусків. Користувач, який міркує «більше завантаження — кращий результат», обирає найменш надійний варіант у списку.Lesskeys - Квантування на 834 МБ, що показало найнижчу середню частку помилок (розрив із іншими запусками turbo — здебільшого один рядок гінді) і нуль обривань, відсутнє у виборі тієї версії. У цьому тесті воно було доступне лише тому, що каталог моделей сканується під час запуску.
Типова модель (547 МБ) обірвалася один раз у 29 мовах — на гінді (найімовірніше, справжнє обривання; див. примітку під списком покриття). Цей запуск і запуск Large V3 Q5 для чеської обидва виконувалися в частині матриці з 12 ГБ, з невеликим запасомпам’яті (див. обмеження).- У цій версії немає перевірки покриття
. Описана вище перевірка — це пропозиція для неї, а не наявна функція. Коли вона з’явиться , цей розділ буде переписано, а не тихо видалено.
Що це означає у Windows
Дані
Метод, таблиця й обмеження
Як проводили запуски й про що вони не можуть сказати — згорнуто.
Як вимірювали обривання
Кожен запуск проходив через готовий застосунокwhisper-cli. Це важливо: виявлення голосової активності, фільтр галюцинацій, нормалізація гучності та обмеження мови були на шляху, точно як у користувача. Мову було жорстко задано для кожного запуску й дотримано в усіх 143 клітинках; фактично завантажена модель збіглася зі запитаною в усіх 143. Двох клітинок не вистачає: це гінді на обох артефактах large-v3, які не завершилися взагалі.
П’ять моделей: розмір, середня помилка, обірвані запуски
| Модель | Розмір | Мови | Середня помилка | Медіана | Обірвані запуски |
|---|---|---|---|---|---|
| 834 МБ | 29 | 9,16% | 6,80% | немає | |
| 1,6 ГБ | 29 | 9,52% | 7,23% | немає | |
| 547 МБ | 29 | 9,99% | 7,81% | 1 із 29 | |
| 3 ГБ | 28 | 24,64% | 15,80% | 5 із 28 | |
| 1,0 ГБ | 28 | 26,66% | 18,66% | 4 із 28 |
Обмеження цього тесту
- Начитане мовлення, а не наради. FLEURS — це чиста записана проза. Розмовне аудіо та аудіо з перебиванням помітно складніші, і ці показники не слід сприймати як те, що ви отримаєте на реальному дзвінку.
- Один прогін на клітинку. 143 клітинки, по одному запуску. Обривання відтворювалося на двох артефактах large-v3 і в двох окремих розслідуваннях, але ця матриця не встановлює частоти; вона встановлює, що це трапляється.
Один комп’ютер , два обсягипам’яті .Клітинки виконувалися на одній віртуальній машині з Apple Silicon ,пам’ять якої становила 12 ГБ для перших 33 клітинок і 24 ГБ для решти; усі 29 клітинок типової моделі та перші чотири клітинкиLarge V3 Q5 (арабська, чеська, данська, німецька) виконувалися в частині з 12 ГБ. На неї припадають два обірвані запуски: гінді на типовій моделі (241 МБ доступноїпам’яті в найнижчій точці) і чеська наLarge V3 Q5 (60 МБ). Кожен інший обірваний запуск мав понад 6 000 МБ доступноїпам’яті . Бракпам’яті міг вплинути на ці два, а ця матриця не може відокремити це від самої моделі. Декодування лишили зі стандартними для застосунку налаштуваннями шляху файлу, а не з налаштуваннями інструмента командного рядка.- Абсолютні показники дещо завищені через вибір нормалізації розділових знаків і регістру. Надійна частина — порівняння моделей, а не абсолютні відсотки.
Цього разу транскрипти збережено. У попередньому прогоні їх перезаписував конфігураційний крок наступного запуску, і обривання доводилося виводити з кількості слів — саме тому його так довго не помічали. «Гірша частка помилок» і «зупинився завчасно» у таблиці результатів виглядають однаково.
Запитання
Запитання про зупинку Whisper завчасно
Що таке тихе обривання в розпізнаванні мовлення?
Модель повертає транскрипт, що охоплює лише частину аудіо, а конвеєр навколо неї повідомляє про успіх. Наявний текст зазвичай правильний, тому нічого не виглядає помилковим, доки хтось не порівняє транскрипт зі записом. У цій матриці це торкнулося 10 із 143 запусків, 9 із них — на двох артефактах large-v3.
Як виявити обірваний транскрипт без еталона?
Порівняйте те, що повернулося, із тим, що подано на вхід: кінцеву позначку часу останнього сегмента з тривалістю аудіофайлу або довжину транскрипту з очікуваною довжиною. Жодне з цього не потребує еталонного транскрипту, і саме тому перевірку можна застосовувати на практиці. У цих даних обірвані запуски мали в середньому покриття 0,44 проти 1,01 у справних.
Чи більша модель Whisper дає кращі результати?
У цій матриці — ні. Два найбільші артефакти показали найвищу середню частку помилок і дали 9 із 10 обірваних запусків, тоді як квантування моделі turbo на 834 МБ показало найнижче середнє (9,16%, у межах 0,2 пункту від інших запусків turbo, якщо не враховувати гінді) і жодного разу не обривалося. Розмір завантаження не передбачив ні точності, ні надійності.
Це вада Whisper чи застосунку?
Ще