Какую модель Whisper выбрать для Mac?

Шесть моделей Whisper, которые предлагает Lesskeys, прогнали на одних и тех же 300 фразах (37 минут аудио) из LibriSpeech test-clean — стандартного публичного набора, который поставляется со своими расшифровками, сделанными людьми. Мы считали долю ошибочных слов относительно этих расшифровок, замеряли время каждого прогона и записывали размер загрузки. Чем меньше ошибок, тем лучше; длина столбца пропорциональна наибольшему значению в его колонке.

Шесть моделей Whisper на 6 086 словах LibriSpeech test-clean (Apple M1 Max)

Измерено на Apple M1 Max с whisper.cpp, графическим процессором Metal и включённым flash attention, параметры whisper.cpp по умолчанию (ширина луча 5), язык принудительно en, 8 потоков. ● отмечает модели, которые мы считаем равными по лучшему результату. «89-кратная скорость реального времени» означает, что час аудио расшифровывается примерно за 1 минуту. Размеры в этой таблице — измеренные размеры файлов в десятичных единицах, поэтому они отличаются от подписей в приложении и на других страницах: файл Large V3 Turbo Q5 в 574 МБ там указан как 547 МБ, Small — 466 МБ (здесь 488 МБ), Tiny — 75 МБ (здесь 78 МБ), Large V3 Q5 — 1,0 ГБ, а Large V3 — 3 ГБ.

Large V3 Q5, Large V3, Large V3 Turbo и Large V3 Turbo Q5 уложились в 13 слов друг от друга на 6 086 словах эталонного текста. Это уровень шума измерения, а не разница. Равной лучшей мы считаем любую модель в пределах 0,5 процентного пункта от неё, потому что шум в ранжировании сделал бы эту страницу более категоричной и менее правдивой.

Набор данных публичный (OpenSLR), модели — стандартные сборки Whisper в формате ggml, а тестовая программа — один файл на Python. Выборка выбирается детерминированно (отсортированные идентификаторы фраз, равномерный шаг, без начального значения генератора случайных чисел), поэтому независимый запуск возьмёт те же фразы.

Проверять стоит нормализатор оценки, потому что доля ошибочных слов без него ничего не значит. Наш игнорирует различия, которые относятся к оформлению, а не к распознаванию (регистр, пунктуация, дефисы, 23 против twenty three, Mr. против mister), и по-прежнему считает каждую настоящую замену, пропуск и вставку. Он закреплён одиннадцатью тестами, включая те, что проверяют, что настоящие ошибки не нормализуются. Без этого шага модели штрафуются за стиль пунктуации, а не за точность.

Цифры скорости получены на одной машине; другой чип Apple Silicon даст другие значения: порядок должен сохраниться, абсолютные числа — нет. Измеряются только модели расшифровки, а не разметка говорящих: это отдельный этап со своей долей ошибок.