Mac では​どの Whisper モデルを​使うべきか

Lesskeys が​提供する Whisper モデルの​うち 6 種類を、​標準の​公開​ベンチマークセットLibriSpeech test-clean の​同じ 300 発話​（音声 37 分）で​動かしました。​この​データセット​には​人手に​よる​書き​起こしが​付属しています。​その​書き​起こしに​対する​単語誤り率で​採点し、​各実行の​時間と​ダウンロードサイズ​を​記録しました。​誤りは​少ない​ほど​良く、​棒は​列の​最大値に​比例して​描いています。

LibriSpeech test-clean の 6,086 語で 6 種類の Whisper モデルを​比較​（Apple M1 Max）

Apple M1 Max で whisper.cpp を​使い、​Metal GPU と Flash Attention を​オン、​whisper.cpp の​既定値​（ビームサイズ 5）、​言語は en に​固定、​8 スレッド​で​測定しました。​● は​最良と​同率と​みな​した​モデルです。​「リアルタイム比 ×89」は、​1 時間の​音声を​約 1 分で​文字起こしできる​ことを​意味します。​この​表の​サイズは 10 進単位で​測った​ファイルサイズ​の​実測値の​ため、​アプリや​他の​ページの​表記とは​異なります。​Large V3 Turbo Q5 の 574 MB の​ファイルは​アプリでは 547 MB、​Small は 466 MB​（ここでは 488 MB）、​Tiny は 75 MB​（ここでは 78 MB）、​Large V3 Q5 は 1.0 GB、​Large V3 は 3 GB です。

Large V3 Q5、​Large V3、​Large V3 Turbo、​Large V3 Turbo Q5 は、​参照​テキスト 6,086 語の​うち互いに 13 語以内に​収まりました。​これは​差ではなく、​測定の​ノイズの​範囲です。​最良の​モデルから 0.5 ポイント​以内に​ある​ものは​同率と​して​扱います。​順位の​ノイズを​拾うと、​この​ページは​実際より​決定的に​見えてしまい、​真実から​遠ざかるからです。

データセット​は​公開されており​（OpenSLR⁠）、​モデルは Whisper の​標準的な ggml 版で、​ハーネスは Python ファイル 1 つです。​サンプルは​決定的に​選びます​（発話 ID を​並べ替え、​等間隔で​抽出し、​乱数シードは​使いません）。​その​ため、​別の​環境で​実行しても​同じ​発話が​選ばれます。

採点の​正規化処理は、​確認する​価値の​ある​部分です。​これが​なければ​単語誤り率は​意味を​持たないからです。​私たちの​正規化は、​認識ではなく​表記の​違い​（大文字小文字、​句読点、​ハイフン、​23 と twenty three⁠、​Mr. と mister⁠）を​無視し、​実際の​置換・脱落・挿入は​すべて​数えます。​11 件の​テストケース​で​固定しており、​本当の​誤りが​正規化で​消されない​ことを​確かめる​ものも​含まれます。​この​処理が​なければ、​モデルは​精度ではなく​句読点の​スタイルで​減点されて​しまいます。

速度の​数値は​1 台の​マシンでの​測定です。​別の Apple Silicon チップでは​結果が​変わります。​順位は​保たれるはずで​すが、​絶対値は​同じに​なりません。​ここで​測っているのは​文字起こしモデルだけで、​話者​ラベル付けは​含みません。​話者​ラベル付けは、​独自の​誤り率を​持つ別の​工程です。