Lesskeys29 言語での Whisper の精度
547 MB の Large V3 Turbo Q5 モデルを使ってください。29 言語のうち 23 言語では、それより大きなモデルに有意な優位はありませんでした。ヒンディー語、アラビア語、ヘブライ語の行は誤り率が過大に出ており、再測定中です。冒頭の訂正とあわせて読んでください。
macOS 13+（Apple Silicon） · サブスクリプションなし
最終確認日
このガイドは Mac 向けです。Windows についてはWindows で Whisper を動かすをご覧ください。
最初にお読みください
再測定中の行
訂正（2026年8月28日付）
この表の元になった採点処理は、[^\w\s] でテキストを正規化していましたが、Python の \w は Unicode の結合文字にマッチしません。そのため、デーヴァナーガリーの母音記号、ベンガル語のヌクタ、アラビア語の発音記号がすべてスペースに置き換えられ、1 つの単語が複数に分割されていました。このページで使った同じ参照テキストで測ると、タミル語は実際の 437 語に対して 1,520 単位、ヒンディー語は 683 に対して 1,237、アッサム語は 498 に対して 1,220 でした。ラテン文字、キリル文字、CJK の行は影響を受けません。これらの文字体系には結合文字がなく、それらに基づく結論も同様です。
これは参照テキストを水増しし、断片同士は照合できないため誤り数も水増しします。そのため、ヒンディー語、アラビア語、ヘブライ語、そのほかの結合文字を使う文字体系の行は、言語ごとに異なる幅で誤り率を過大に示しています。さらに下にある「最も難しい言語」の主張も、これらの行には当てはまりません。83 言語での修正済みの測定を現在実行中で、このページはその結果から再生成されます。
下の撤回と同じ理由で、静かに削除せず、ここに記録しています。ラテン文字以外の文字を黙って壊してしまう正規化処理は、多言語ベンチマークの読者が必ず知らされるべき不具合であり、公表されたどの数値にも表れないからです。
状況、2026年10月15日
新しい測定は 83 言語・6 モデルを対象に、ファイルの文字起こしと音声入力の両方で行っています。まだ終わっていないため、このページにはまだ載せていません。996 回のテスト実行のうち 89 回が失敗しており、すべて最大級のモデルで、17 言語に集中しています。また、すべての実行で使ったコンピュータのメモリ量や、テストツールのバージョンが同じだったわけではありません。完了するまで、下の表は上で説明した 29 言語の表のままです。そのため、† を付けた行（訂正で挙げたヒンディー語、アラビア語、ヘブライ語）には誤り率が過大な値が残っており、結合文字を使うほかの文字体系も同様かもしれません。ラテン文字、キリル文字、CJK の行での比較は影響を受けません。
答え
547 MB のモデルは十分に通用する
29 言語のうち 23 言語では、このセットのどのモデルも、547 MB の既定モデルより有意に優れてはいません。
- 29 言語中 23 言語言語（大きなモデルが明らかに良いわけではない）
- 6言語（大きなモデルが大きさに見合う）
- 29 言語中 9 言語1.6 GB の turbo モデルのほうが悪い結果になった言語
有意とは、既定モデルに対する二標本の比率の z 検定で z ≤ −2 を指します。それ以外の 23 言語は、差が確認できなかったという意味で、同等と証明されたという意味ではありません。
例外
大きなモデルがサイズに見合う言語
タイ語、日本語、フィンランド語、フランス語、オランダ語、韓国語で使うなら、大きいほうのダウンロードに価値があります。
| 項目 | 既定（547 MB） | より良いモデル | 改善幅 |
|---|---|---|---|
| タイ語 | 20.8% | v3: 12.6% | −8.2 ポイント |
| 日本語 | 18.5% | v3-q5: 14.2% | −4.3 ポイント |
| フィンランド語 | 10.8% | v3-q5: 7.7% | −3.1 ポイント |
| フランス語 | 10.0% | v3: 7.5% | −2.5 ポイント |
| オランダ語 | 10.8% | v3-q5: 8.3% | −2.5 ポイント |
| 韓国語 | 11.3% | v3-q5: 9.4% | −1.9 ポイント |
v3-q5（1.0 GB）で改善のほとんどが得られます。3 GB の v3 でも、それを上回る幅は 1.2 ポイントを超えません。
大きければよいとは限らない
大きなモデルがいつも正確とは限らない
1.6 GB の turbo モデルは、29 言語のうち 9 言語で、547 MB の既定モデルより数値上は悪い結果です。
75 MB のモデルは英語以外では使えません。ヒンディー語† 100.0%、デンマーク語 87.2%、ハンガリー語 84.8%、チェコ語 84.0%、ヘブライ語† 81.9%。
どの言語で、どのくらいの差か
ヒンディー語†（42.1% 対 34.4%）、タイ語（24.6% 対 20.8%）、中国語（簡体字）（16.8% 対 13.7%）、マレー語（9.8% 対 7.1%）、ベトナム語（10.3% 対 9.8%）、インドネシア語（7.8% 対 7.4%）、トルコ語（15.5% 対 15.2%）、ギリシャ語（11.3% 対 11.2%）、フランス語（10.1% 対 10.0%）。差がこれほど小さいと、このサンプル数では個々に有意とは限りません。ここで重要なのは向きであり、サイズだけでは予測できません。ひとつ上のモデルを選ぶのは、安全な既定ではありません。
両極端
最も易しい言語と最も難しい言語
最良の結果：スペイン語、2.8%。
どのモデルでも改善しない最も高い誤り率はヘブライ語†で、テストしたどの構成でも 48.3% を下回りません。訂正にあるとおり、この読み方はヘブライ語のような結合文字を使う文字体系には当てはまらないため、修正済みの測定がこのページに載るまでは未確認として扱ってください。
撤回
撤回をそのまま残す
撤回
この測定の以前の版では、large-v3 がウクライナ語で既定より有意に優れていると報告していました。これは誤りでした。ビーム幅 5 で測定していたためで、これは whisper-cli の既定値ですが、アプリが出荷している設定とは異なります。実際の設定である greedy で再実行すると、既定モデルと v3 は完全な引き分けでした。差を生んでいたのはモデルではなくデコーダでした。静かに削除せずここに記録しているのは、デコーダの設定こそ、ローカル Whisper の比較の多くが明記しない変数だからです。
データ
全体の表、測定方法、限界
全体の表、測定方法、限界は折りたたまれています。いずれも開けます。
言語とモデルごとの誤り率（29 言語、6 モデル）
言語とモデルごとの誤り率（29 言語、6 モデル）
| 言語 | 指標 | tiny 75 MB | small 466 MB | turbo-q5 547 MB | turbo 1.6 GB | v3-q5 1.0 GB | v3 3 GB |
|---|---|---|---|---|---|---|---|
| アラビア語† ar-SA | WER | 67.0% | 36.9% | 22.9% | 22.4% | 22.3% | 22.2% ● |
| 中国語（簡体字） zh-Hans | CER | 55.0% | 24.8% | 13.7% | 16.8% | 13.1% | 12.6% ● |
| チェコ語 cs | WER | 84.0% | 40.4% | 13.2% | 12.8% | 13.1% | 11.9% ● |
| デンマーク語 da | WER | 87.2% | 35.0% | 13.4% | 13.0% | 12.6% ● | 13.3% |
| オランダ語 nl-NL | WER | 74.8% | 28.8% | 10.8% | 9.8% | 8.3% ● | 8.4% |
| 英語 en-US | WER | 31.9% | 10.7% | 9.1% | 8.9% | 7.0% ● | 8.9% |
| フィンランド語 fi | WER | 64.4% | 31.8% | 10.8% | 10.1% | 7.7% ● | 7.7% ● |
| フランス語 fr-FR | WER | 50.1% | 26.1% | 10.0% | 10.1% | 7.7% | 7.5% ● |
| ドイツ語 de-DE | WER | 35.0% | 11.9% | 5.2% | 4.7% ● | 5.2% | 5.2% |
| ギリシャ語 el | WER | 74.7% | 32.9% | 11.2% ● | 11.3% | 11.8% | 12.3% |
| ヘブライ語† he | WER | 81.9% | 63.2% | 51.0% | 48.4% | 48.3% ● | 48.3% ● |
| ヒンディー語† hi | WER | 100.0% | 68.3% | 34.4% | 42.1% | 33.4% | 32.4% ● |
| ハンガリー語 hu | WER | 84.8% | 48.7% | 17.9% | 17.9% | 17.0% | 16.3% ● |
| インドネシア語 id | WER | 59.2% | 21.8% | 7.4% ● | 7.8% | 8.1% | 9.4% |
| イタリア語 it | WER | 31.8% | 8.2% | 4.0% | 2.9% ● | 4.6% | 4.5% |
| 日本語 ja | CER | 54.3% | 25.4% | 18.5% | 15.6% | 14.2% ● | 17.0% |
| 韓国語 ko | CER | 33.9% | 24.6% | 11.3% | 11.3% | 9.4% ● | 9.5% |
| マレー語 ms | WER | 62.5% | 25.1% | 7.1% | 9.8% | 6.0% | 5.9% ● |
| ノルウェー語 no | WER | 64.0% | 24.2% | 10.0% | 9.8% ● | 10.0% | 9.8% ● |
| ポーランド語 pl | WER | 57.0% | 17.7% | 6.7% | 6.4% ● | 7.4% | 7.6% |
| ポルトガル語（ブラジル） pt-BR | WER | 25.4% | 7.9% | 5.2% | 5.1% | 5.0% | 4.9% ● |
| ルーマニア語 ro | WER | 79.1% | 33.4% | 10.2% | 9.9% | 9.5% | 9.2% ● |
| ロシア語 ru | WER | 38.7% | 12.9% | 6.4% | 6.3% ● | 6.8% | 7.3% |
| スペイン語 es-ES | WER | 19.3% | 7.0% | 3.5% | 3.5% | 3.0% | 2.8% ● |
| スウェーデン語 sv | WER | 57.2% | 21.4% | 8.3% | 8.1% | 7.1% ● | 7.3% |
| タイ語 th | CER | 62.4% | 27.5% | 20.8% | 24.6% | 13.2% | 12.6% ● |
| トルコ語 tr | WER | 62.1% | 30.5% | 15.2% | 15.5% | 13.1% ● | 13.5% |
| ウクライナ語 uk | WER | 68.3% | 39.2% | 23.1% | 21.0% ● | 23.3% | 23.1% |
| ベトナム語 vi | WER | 64.1% | 26.6% | 9.8% ● | 10.3% | 10.2% | 10.2% |
測定方法
6 種類の Whisper モデルが、同じ朗読音声コーパスを 29 言語（App Store の Lesskeys の掲載ページが対応するすべての言語）で、Apple Silicon 上で、アプリ自体が使うのと同じデコーダ設定（greedy、ビームサーチなし）を使って文字起こししました。誤り率は単語誤り率ですが、日本語、韓国語、タイ語、中国語は単語がスペースで区切られないため、文字誤り率を使っています。低いほど良い結果です。
● はその言語で最良のモデルを示します。強調された列は 547 MB のモデルで、Lesskeys 3.1.4 の既定であり、上記すべての基準です。† は再測定中の行を示します。スマートフォンでは表を横にスクロールしてください。言語名は表示されたままになります。
このテストの限界
- 1 言語あたり 1 チャンク（約 1,000 語、文字誤り率を使う言語では約 2,000 文字）。大きな差を見分けるには十分ですが、小さな差を判断するには足りません。このページでモデルが「通用する」と書いているときは、証明された同一性ではなく、このサンプル数では差が確認できなかったという意味で読んでください。
- whisper-cli にアプリと同じコンテキストとデコード設定を指定して測定しました。Lesskeys のパイプライン全体ではありません。パイプラインには、音声区間検出、ハルシネーションフィルタ、音量の正規化、言語の絞り込みが加わります。この表はそのパイプラインを測定していません。
- 朗読音声であり、会議ではありません。会話や重なり合う音声は、かなり難しくなります。
- 絶対値の誤り率はやや水増しされています。数字や句読点の表記の違いを含むためで、人が読めば誤りと数えないものです。信頼できるのは、同じ言語でのモデル間の比較で、言語間の比較はよりノイズが大きくなります。
質問
言語別の Whisper の精度に関するよくある質問
Mac ではどの Whisper モデルを使えばよいですか？
測定した 29 言語のうち 23 言語では、547 MB の量子化 Large V3 Turbo モデルが、それより大きなどのモデルとも同等の精度で、無難な既定です。例外はこのページに挙げています。それらの言語では、1.0 GB の v3-q5 モデルを追加でダウンロードする価値があります。
量子化すると Whisper モデルの精度は落ちますか？
ほとんど落ちません。29 言語のすべてで、3 GB のフル精度モデルが 1.0 GB の量子化モデルを上回る幅は 1.2 ポイントを超えず、547 MB の量子化された既定モデルも、ほとんどの言語ではるかに大きいモデルと同等です。
大きな Whisper モデルほど、いつも正確ですか？
いいえ。1.6 GB の turbo モデルは、測定した 29 言語のうち 9 言語で、547 MB の既定モデルより数値上は悪い結果でした。モデルのサイズは、ある言語での精度を示す確かな目安にはなりません。
これはクラウドで測定したものですか？
いいえ。数値はすべて Apple Silicon 上でローカルに得たもので、Lesskeys が文字起こしを動かす方法と同じです。音声がマシンの外に出ることはありません。
もっと見る