Whisper 提前​停下⁠，​却说已完成

即使​排除​截断，​Large V3 也追不​上 834 MB 的 turbo 量化​模型，​后者​在全部 29 种语言​上的平均​错误率​是 9.16%⁠，​且​从未被截断。​在​三个 turbo 运行​共有的 28 种语言​上（排除​印地语），​平均值​分别​是 Q8 8.59%、​默认 8.71% 和 1.6 GB 的 turbo 8.80%，​彼此​相差​在 0.2 个百分点​以内，​所以​表面​上的大部分​差距来自​印地语​这一行。​在​这里，​大小既​预测​不了可靠性，​也​预测​不了准确率。

large-v3 系列的 5 个 Whisper 文件，​覆盖 29 种语言⁠，​145 个格子​中的 143 个。​音频​是经过​电平​归一化的 FLEURS，​文本​中不含数字​（有​公开​参考​逐字稿的​朗读​语音），​每种语言约 460 到 2,520 个单位。

每次运行​都是通过​正式​发布的​应用⁠，​在​运行 macOS Sequoia 的​虚拟机​上进行​的，​而​不是通过 whisper-cli⁠。​这​很重要：​语音​活动​检测、​幻觉​过滤、​响度​归一化​和语言​限定​都在流程​中，​与​用户​实际​使用​时完全​一样。​每次运行​都硬性​限定了​语言，​143 个格子​全部​遵守；​实际​加载的​模型​在 143 个格子​中全部​与请求的​模型​一致。​缺失的​两个格子​是两个 large-v3 文件​上的印地语，​它们​根本​没有​完成。

large-v3 系列的​五个 Whisper 文件​在 29 种语言​中的表现​（没有​被截断的​运行的​行已高亮）

• 朗读​语音，​而​非会议。​FLEURS 是干净的​录制​文章。​对话​和重叠的​音频​要难得​多，​这些​错误率​不应被当作​你在真实​通话​上会得到的​结果。
• 每个格子​只跑一遍。​143 个格子，​各​运行​一次。​截断​在两个 large-v3 文件​上，​以及​在两次独立的​调查​中都能重现，​但​这个​矩阵​并不能确定​一个发生率⁠；​它​只能确定​这种情况​会发生。
• 一台机器，​两种内存​大小。​这些​格子​在同一台 Apple Silicon 虚拟机​上运行，​前 33 个格子的​内存​是 12 GB，​其余​是 24 GB；​全部 29 个默认模型的​格子​和前四个 Large V3 Q5 的​格子​（阿拉伯语、​捷克语、​丹麦语、​德语）​都在 12 GB 的​那一部分​里运行。​其中​有两次截断：​默认模型的​印地语（最低​时可用内存 241 MB）​和 Large V3 Q5 的​捷克语​（60 MB）。​其他​每次截断的​运行，​可用​内存​都超过 6,000 MB。​低内存​可能​对这两次​有影响，​而​这个​矩阵​无法​把它与模型​区分开。​解码​保持​使用​应用的​文件​路径默认设置，​而​不是命令​行工具的​设置。
• 绝对错误率​有一定的​虚高⁠，​原因​是标点​和大小写​规范化的​选择。​起​决定​作用的​是模型​之间的​比较，​而​不是绝对的​百分比。

这​一次保留了​逐字稿。​在​更早的​一次扫描​中，​它们​被下一次​运行的​配置​步骤覆盖​了，​只能靠词​数来​推断​截断，​这​恰恰是它​被忽视了​这么​久的原因。​在​结果​表里，​“错误率​更差”​和“提前​停下”​看起来​一模一样。