Lesskeys29 种语言的 Whisper 准确率
请运行 547 MB 的 Large V3 Turbo Q5 模型：在 29 种语言中，有 23 种语言里没有更大的模型显著更好。印地语、阿拉伯语和希伯来语的行高估了错误率，正在重新测量，请结合顶部的更正说明来读。
macOS 13+（Apple Silicon）· 无订阅
最后审阅：
本指南针对 Mac。Windows 请见在 Windows 上运行 Whisper。
请先读这里
正在重新测量的行
更正说明，日期 2026年8月28日
这张表背后的评分程序用 [^\w\s] 规范化文本，而 Python 的 \w 不匹配 Unicode 组合标记。因此每个天城体元音符号、孟加拉语 nukta 和阿拉伯语变音符号都被替换成了空格，一个词被拆成了几个。以本页所用的同一批参考文本测量：泰米尔语被算成 1,520 个单位，而真实的词只有 437 个，印地语是 1,237 对 683，阿萨姆语是 1,220 对 498。拉丁文、西里尔文和中日韩文字的行不受影响——这些文字没有组合标记——依赖它们的结论也不受影响。
这会让参考文本变长，又因为碎片无法对齐，错误数也随之变大。所以印地语、阿拉伯语、希伯来语以及其他带组合标记的文字的行都高估了错误率，高估多少因语言而异，下文“最差语言”的说法对这些行也不可靠。覆盖 83 种语言的修正后扫描正在运行，本页将据此重新生成。
我们把它记录在这里，而不是悄悄删掉，理由与下面的撤回说明相同：一个会悄悄弄坏非拉丁文字的规范化程序，恰恰是多语言基准的读者应当被告知的故障，而且它在任何公布的数字里都看不出来。
状态，2026年10月15日
新的测量覆盖 83 种语言和六个模型，包括文件转写和语音输入。它还不在本页上，因为还没做完：996 次测试运行中有 89 次失败，全部出在最大的模型和 17 种语言上，而且各次运行使用的电脑内存和测试工具版本并不都一样。在做完之前，下面的表仍是上文所说的 29 种语言的表，所以标有 † 的行（更正说明里点名的印地语、阿拉伯语和希伯来语）仍带有偏高的错误率，其他带组合标记的文字也可能如此。拉丁文、西里尔文和中日韩文字的行的比较不受影响。
答案
547 MB 的模型靠得住
在 29 种语言中的 23 种里，这组模型中没有哪个显著优于 547 MB 的默认模型。
- 23/29种语言：没有更大的模型明显更好
- 6种语言：更大的模型物有所值
- 9/29种语言：1.6 GB 的 turbo 模型分数更差
“显著”指相对默认模型做双比例 z 检验，z ≤ −2。其余 23 种请理解为未能区分，而不是证明相等。
例外
更大的模型物有所值的地方
如果你使用泰语、日语、芬兰语、法语、荷兰语、韩语，多下载一个更大的模型是值得的。
| 项目 | 默认（547 MB） | 更好的模型 | 提升 |
|---|---|---|---|
| 泰语 | 20.8% | v3: 12.6% | −8.2 个百分点 |
| 日语 | 18.5% | v3-q5: 14.2% | −4.3 个百分点 |
| 芬兰语 | 10.8% | v3-q5: 7.7% | −3.1 个百分点 |
| 法语 | 10.0% | v3: 7.5% | −2.5 个百分点 |
| 荷兰语 | 10.8% | v3-q5: 8.3% | −2.5 个百分点 |
| 韩语 | 11.3% | v3-q5: 9.4% | −1.9 个百分点 |
v3-q5（1.0 GB）已经拿到几乎全部提升：3 GB 的 v3 比它最多只好 1.2 个百分点。
并非总是更大
更大的模型不一定更准
在 29 种语言中的 9 种里，1.6 GB 的 turbo 模型分数在数值上比 547 MB 的默认模型更差。
75 MB 的模型在英语之外无法使用：印地语† 100.0%，丹麦语 87.2%，匈牙利语 84.8%，捷克语 84.0%，希伯来语† 81.9%。
哪些语言，差多少
印地语†（42.1% 对 34.4%）、泰语（24.6% 对 20.8%）、简体中文（16.8% 对 13.7%）、马来语（9.8% 对 7.1%）、越南语（10.3% 对 9.8%）、印度尼西亚语（7.8% 对 7.4%）、土耳其语（15.5% 对 15.2%）、希腊语（11.3% 对 11.2%）、法语（10.1% 对 10.0%）。在这个样本量下，这么小的差距并不都单独显著；要看的是方向，而这是光看大小预测不出来的。直接换更大的一档模型，并不是安全的默认做法。
两端
最容易的和最难的
最好的结果：西班牙语，2.8%。
没有任何模型能改善的最高错误率出现在希伯来语†，在测试的任何配置下都没有低于 48.3%。更正说明指出，这种解读对希伯来语这类带组合标记的文字并不可靠，所以在修正后的扫描结果上线本页之前，请视为未经证实。
撤回
一则保留原处的撤回说明
撤回
这次扫描的早期版本曾报告说，对乌克兰语，large-v3 明显优于默认模型。那是错的。当时用的是束搜索宽度 5，这是 whisper-cli 的默认值，但不是应用实际发布时使用的设置。改用真正的设置——贪心解码——重新运行后，默认模型和 v3 打成了平手。差距来自解码器，而不是模型。我们把它记录在这里，而不是悄悄删掉，因为解码器设置恰恰是大多数本地 Whisper 对比里不会说明的变量。
数据
完整的表、方法和局限
完整的表、方法和局限已折叠：点开任意一项即可查看。
按语言和模型列出的错误率（29 种语言，6 个模型）
按语言和模型列出的错误率（29 种语言，6 个模型）
| 语言 | 指标 | tiny 75 MB | small 466 MB | turbo-q5 547 MB | turbo 1.6 GB | v3-q5 1.0 GB | v3 3 GB |
|---|---|---|---|---|---|---|---|
| 阿拉伯语† ar-SA | WER | 67.0% | 36.9% | 22.9% | 22.4% | 22.3% | 22.2% ● |
| 简体中文 zh-Hans | CER | 55.0% | 24.8% | 13.7% | 16.8% | 13.1% | 12.6% ● |
| 捷克语 cs | WER | 84.0% | 40.4% | 13.2% | 12.8% | 13.1% | 11.9% ● |
| 丹麦语 da | WER | 87.2% | 35.0% | 13.4% | 13.0% | 12.6% ● | 13.3% |
| 荷兰语 nl-NL | WER | 74.8% | 28.8% | 10.8% | 9.8% | 8.3% ● | 8.4% |
| 英语 en-US | WER | 31.9% | 10.7% | 9.1% | 8.9% | 7.0% ● | 8.9% |
| 芬兰语 fi | WER | 64.4% | 31.8% | 10.8% | 10.1% | 7.7% ● | 7.7% ● |
| 法语 fr-FR | WER | 50.1% | 26.1% | 10.0% | 10.1% | 7.7% | 7.5% ● |
| 德语 de-DE | WER | 35.0% | 11.9% | 5.2% | 4.7% ● | 5.2% | 5.2% |
| 希腊语 el | WER | 74.7% | 32.9% | 11.2% ● | 11.3% | 11.8% | 12.3% |
| 希伯来语† he | WER | 81.9% | 63.2% | 51.0% | 48.4% | 48.3% ● | 48.3% ● |
| 印地语† hi | WER | 100.0% | 68.3% | 34.4% | 42.1% | 33.4% | 32.4% ● |
| 匈牙利语 hu | WER | 84.8% | 48.7% | 17.9% | 17.9% | 17.0% | 16.3% ● |
| 印度尼西亚语 id | WER | 59.2% | 21.8% | 7.4% ● | 7.8% | 8.1% | 9.4% |
| 意大利语 it | WER | 31.8% | 8.2% | 4.0% | 2.9% ● | 4.6% | 4.5% |
| 日语 ja | CER | 54.3% | 25.4% | 18.5% | 15.6% | 14.2% ● | 17.0% |
| 韩语 ko | CER | 33.9% | 24.6% | 11.3% | 11.3% | 9.4% ● | 9.5% |
| 马来语 ms | WER | 62.5% | 25.1% | 7.1% | 9.8% | 6.0% | 5.9% ● |
| 挪威语 no | WER | 64.0% | 24.2% | 10.0% | 9.8% ● | 10.0% | 9.8% ● |
| 波兰语 pl | WER | 57.0% | 17.7% | 6.7% | 6.4% ● | 7.4% | 7.6% |
| 葡萄牙语（巴西） pt-BR | WER | 25.4% | 7.9% | 5.2% | 5.1% | 5.0% | 4.9% ● |
| 罗马尼亚语 ro | WER | 79.1% | 33.4% | 10.2% | 9.9% | 9.5% | 9.2% ● |
| 俄语 ru | WER | 38.7% | 12.9% | 6.4% | 6.3% ● | 6.8% | 7.3% |
| 西班牙语 es-ES | WER | 19.3% | 7.0% | 3.5% | 3.5% | 3.0% | 2.8% ● |
| 瑞典语 sv | WER | 57.2% | 21.4% | 8.3% | 8.1% | 7.1% ● | 7.3% |
| 泰语 th | CER | 62.4% | 27.5% | 20.8% | 24.6% | 13.2% | 12.6% ● |
| 土耳其语 tr | WER | 62.1% | 30.5% | 15.2% | 15.5% | 13.1% ● | 13.5% |
| 乌克兰语 uk | WER | 68.3% | 39.2% | 23.1% | 21.0% ● | 23.3% | 23.1% |
| 越南语 vi | WER | 64.1% | 26.6% | 9.8% ● | 10.3% | 10.2% | 10.2% |
测量方法
六个 Whisper 模型变体转写了同一份朗读语音语料，覆盖 29 种语言，也就是 Lesskeys 的 App Store 页面所支持的每一种语言，在 Apple Silicon 上运行，使用应用自身相同的解码器设置（贪心，不用束搜索）。给出的是词错误率，但日语、韩语、泰语和中文的词之间没有空格，改用字符错误率。数值越低越好。
● 标出该语言中最好的模型。高亮的一列是 547 MB 的模型，它是 Lesskeys 3.1.4 的默认模型，也是上面所有比较的基准。† 标出正在重新测量的行。在手机上可以左右滑动表格；语言一列始终可见。
本测试的局限
- 每种语言一段文本（约 1,000 个词，字符错误率的语言约 2,000 个字符）。足以区分大的差异，不足以判定小的差异。本页说某个模型“靠得住”时，请理解为在这个样本量下未能区分，而不是证明完全相同。
- 使用应用的上下文和解码设置运行 whisper-cli，而不是完整的 Lesskeys 流程；完整流程还包括语音活动检测、幻觉过滤、响度归一化和语言限定。这张表没有测量那条流程。
- 朗读语音，而非会议。对话和重叠的音频要难得多。
- 绝对错误率有一定的虚高，原因是数字和标点的格式差异，人工读者不会把它们算作错误。同一语言里模型之间的比较才是可信的部分；语言之间的比较噪声更大。
问题
关于各语言 Whisper 准确率的问题
Mac 上该跑哪个 Whisper 模型？
在测量的 29 种语言中，有 23 种语言里 547 MB 的量化 Large V3 Turbo 模型与任何更大的模型一样准确，所以它是合理的默认选择。例外已列在本页；在那些语言里，多下载 1.0 GB 的 v3-q5 模型是值得的。
量化会降低 Whisper 模型的准确率吗？
几乎不会。在全部 29 种语言中，3 GB 的全精度模型比 1.0 GB 的量化模型最多只好 1.2 个百分点，而 547 MB 的量化默认模型在大多数语言里与大得多的模型相当。
更大的 Whisper 模型一定更准吗？
不一定。在测量的 29 种语言中，有 9 种语言里 1.6 GB 的 turbo 模型的分数在数值上比 547 MB 的默认模型更差。模型大小并不是某种语言准确率的可靠指标。
这是在云端测的吗？
不是。所有数字都是在 Apple Silicon 上本地得出的，这也是 Lesskeys 运行转写的方式：音频不会离开这台机器。
更多