Яку модель Whisper запускати на Mac?

Шість моделей Whisper із тих, що пропонує Lesskeys, обробили ті самі 300 висловлювань (37 хвилин аудіо) із LibriSpeech test-clean — стандартного публічного набору для тестування, що постачається з людськими транскриптами. Ми порахували частку помилок у словах відносно цих транскриптів, засікли час кожного запуску й записали розмір завантаження. Чим менше помилок, тим краще; смуга пропорційна найбільшому значенню в своєму стовпці.

Шість моделей Whisper на 6 086 слів із LibriSpeech test-clean (Apple M1 Max)

Виміряно на Apple M1 Max за допомогою whisper.cpp, з Metal GPU і flash attention, зі стандартними налаштуваннями whisper.cpp (beam size 5), мова примусово en, 8 потоків. Знак ● позначає моделі, які ми вважаємо рівними за найкращою точністю. «89-кратна швидкість реального часу» означає, що година аудіо транскрибується приблизно за 1 хвилину. Розміри в цій таблиці — виміряні розміри файлів у десяткових одиницях, тому вони відрізняються від позначок у застосунку й на інших сторінках: файл Large V3 Turbo Q5 на 574 МБ там має 547 МБ, Small — 466 МБ (тут 488 МБ), Tiny — 75 МБ (тут 78 МБ), Large V3 Q5 — 1,0 ГБ, а Large V3 — 3 ГБ.

Large V3 Q5, Large V3, Large V3 Turbo і Large V3 Turbo Q5 розійшлися не більш як на 13 слів із 6 086 слів еталонного тексту. Це рівень шуму вимірювання, а не різниця. Ми вважаємо рівною найкращій будь-яку модель, що відстає від неї не більш як на 0,5 відсоткового пункту, бо шум у ранжуванні зробив би цю сторінку переконливішою, але менш правдивою.

Набір даних публічний (OpenSLR), моделі — стандартні збірки Whisper у форматі ggml, а тестовий скрипт — один файл Python. Вибірка добирається детерміновано (відсортовані ідентифікатори висловлювань, рівномірний крок, без випадкового зерна), тож незалежний запуск вибере ті самі висловлювання.

Варто перевірити нормалізатор оцінювання, бо без нього частка помилок у словах нічого не означає. Наш ігнорує відмінності, що є питанням оформлення, а не розпізнавання (регістр, розділові знаки, дефіси, 23 проти twenty three, Mr. проти mister), і при цьому рахує кожну справжню заміну, пропуск і вставку. Його закріплено одинадцятьма тестами, зокрема такими, що перевіряють, чи справжні помилки не нормалізуються. Без цього кроку моделі штрафувалися б за стиль пунктуації, а не за точність.

Показники швидкості отримано на одному комп’ютері; інший чип Apple Silicon дасть інші значення: порядок має зберегтися, а абсолютні цифри — ні. Тут вимірюються лише моделі транскрибації, а не позначки мовців — це окремий етап із власною часткою помилок.