Whisper が​途中で​止まるのに、​完了と​報告する​とき

途中打ち切りを​除いても、​Large V3 は 834 MB の turbo 量子化版に​及びません。​この​量子化版は 29 言語すべてでの​平均が 9.16% で、​一度も​途中で​止まりませんで​した。​3 つの turbo の​実行すべてが​ある 28 言語​（ヒンディー語を​除く）では、​平均は Q8 が 8.59%、​既定が 8.71%、​1.6 GB の turbo が 8.80% で、​互いに 0.2 ポイント​以内です。​見出しの​差の​大半は、​ヒンディー語の 1 行に​よる​ものです。​サイズは、​ここでは​信頼性も​精度も​予測しませんで​した。

large-v3 系の Whisper の 5 種類を、​29 言語⁠、​145 セルの​うち 143 セルで​実行しました。​音声は​音量を​正規化した FLEURS で、​テキストに​数字を​含みません​（参照の​文字起こしが​公開されている​朗読音声）。​1 言語あたりおよそ 460〜2,520 単位で​す。

すべての​実行は、​macOS Sequoia が​動く​仮想​マシン上の​出荷版​アプリケーション​を​通して​行い、​whisper-cli は​使っていません。​これは​重要です。​音声区間検出、​ハルシネーション​フィルタ、​音量の​正規化、​言語の​絞り込みが​すべて​経路に​入っており、​ユーザーが​使うのと​まったく​同じ​条件だからです。​言語は​実行ごとに​強制的に​固定され、​143 セルすべてで​守られました。​実際に​読み込まれた​モデルも、​143 セルすべてで​要求した​モデルと​一致しました。​存在しない 2 つの​セルは、​2 つの large-v3 ファイル​での​ヒンディー語で、​そも​そも​完了しませんで​した。

29 言語での large-v3 系 Whisper 5 種類​（途中で​止まった​実行の​ない​行を​強調表示）

• 朗読音声であり、​会議では​ありません。​FLEURS は​きれいに​録音された​文章です。​会話や​重なり合う​音声は、​かなり​難しくなります。​ここでの​誤り率を、​実際の​通話で​得られる​値と​受け取らないで​ください。
• 1 セルに​つき 1 回の​実行。​143 セルを 1 回ずつ​実行しました。​途中打ち​切りは 2 つの large-v3 ファイル​で、​また 2 回の​別々の​調査で​再現しましたが、​この​測定は​発生率を​確定する​ものではなく、​起こりうる​ことを​示すものです。
• 1 台の​マシン、​2 通りの​メモリ量。​セルは 1 台の Apple Silicon 仮想​マシンで​実行しました。​メモリは​最初の 33 セルが 12 GB、​残りが 24 GB です。​既定モデルの 29 セルすべてと、​Large V3 Q5 の​最初の 4 セル​（アラビア語、​チェコ語、​デンマーク語、​ドイツ語）は 12 GB の​部分で​実行されました。​途中で​止まった​実行の​うち 2 回が​ここに​含まれます。​既定モデルの​ヒンディー語​（最も​少ない​ときに​利用可能な​メモリが 241 MB）と、​Large V3 Q5 の​チェコ語​（60 MB）です。​それ以外の​途中で​止まった​実行は、​利用可能な​メモリが 6,000 MB を​超えていました。​メモリ不足が​その 2 回に​影響した​可能性が​あり、​この​測定では​モデルの​せいか​どうかを​切り分けられません。​デコードの​設定は、​コマンド​ライン​ツール​の​既定ではなく、​アプリの​ファイルパス​の​既定のままに​しました。
• 絶対値の​誤り率は​やや​水増しされて​います。​句読点や​大文字小文字の​正規化の​選び方に​よる​ものです。​重視すべきは​絶対値の​パーセント​ではなく、​モデル間の​比較です。

今回は​文字起こしを​保存しました。​以前の​測定では、​次の​実行の​設定​ステップ​で​上書きされ、​途中打ち切りを​単語数から​推測する​しかなく、​だから​こ​そ​これほど​長く​気づかれませんで​した。​「誤り率が​悪い」と​「途中で​止まった」は、​結果の​表では​見分けが​つきません。