在 Mac 上该跑哪个 Whisper 模型⁠？

Lesskeys 提供的 Whisper 模型​中，​有​六个跑​了同样的 300 条语句​（37 分钟​音频）。​语句​来自 LibriSpeech test-clean⁠，​这​是一个标准的​公开​基准集，​自带人工​逐字稿。​我们​对照​这些​逐字稿计算词​错误率，​为​每次运行计时，​并​记录​下载​大小。​错误​越少​越好；​横​条按其所在列​的最大值​成比例​绘制。

六个 Whisper 模型​在 LibriSpeech test-clean 的 6,086 个词上的表现​（Apple M1 Max）

在 Apple M1 Max 上用 whisper.cpp 测得，​启用 Metal GPU 和 flash attention，​使用 whisper.cpp 默认设置​（束宽 5），​语言​强制​为 en，​8 个线程。​● 标出​我们​视为​并列​最好的模型。​“89 倍实时​速度”​表示​一小时的​音频​大约 1 分钟​就能转写完。​此表​中的大小​是实测的​文件​大小，​按十进制​单位计，​所以​与应用​里和其他​页面​上的标注​不同：​Large V3 Turbo Q5 的 574 MB 文件​在那里​是 547 MB，​Small 是 466 MB​（这里​是 488 MB），​Tiny 是 75 MB​（这里​是 78 MB），​Large V3 Q5 是 1.0 GB，​Large V3 是 3 GB。

Large V3 Q5、​Large V3、​Large V3 Turbo 和 Large V3 Turbo Q5 在 6,086 个参考词​上彼此​相差​不超过 13 个词⁠。​这​是测量的​噪声​底线，​而​不是差别。​我们​把与最好者​相差​不超过 0.5 个百分点的​模型​都视为​并列，​因为​排名​上的噪声​会让本页​看起来​更有定论，​却​更不真实。

数据集是​公开的​（OpenSLR⁠），​模型​是标准的 ggml 版 Whisper，​测试​脚本​是一个单独的 Python 文件。​样本​是确定性​选取的​（按​语句 ID 排序、​等​间隔取样、​没有​随机​种子），​所以​独立​运行​时会​选中同样的​语句。

值得​检查的​是评分用的​规范化​程序，​因为​没有​它，​词​错误率​就毫无意义。​我们的​程序​会忽略属于​格式​而非识别的​差异​（大小写、​标点、​连字符、​23 对 twenty three⁠、​Mr. 对 mister⁠），​同时​仍会统计​每一个真正的​替换、​删除​和插入。​它​由十一个​测试用例锁定，​其中​包括​断言​真正的​错误​不会被规范化​抹掉的​用例。​没有​这一步，​模型​就会因为​标点​风格而​不是准确率​受罚。

速度​数字来自​同一台机器⁠；​换​一款 Apple Silicon 芯片​结果​会不同：​先后​顺序应当​不变，​绝对数值​则不会。​这里​只测量​转写​模型，​不含​说话人标注，​那​是另一个​有自己​错误率的​独立​环节。