LesskeysĐộ chính xác của Whisper ở 29 ngôn ngữ
Hãy chạy mô hình Large V3 Turbo Q5 547 MB: trên 29 ngôn ngữ, không mô hình nào lớn hơn tốt hơn đáng kể ở 23 ngôn ngữ trong số đó. Các hàng tiếng Hindi, tiếng Ả Rập và tiếng Do Thái có tỷ lệ lỗi bị phóng đại và đang được đo lại, nên hãy đọc chúng cùng phần đính chính ở đầu trang.
macOS 13+ trên Apple Silicon · Không có gói đăng ký
Xem lại lần cuối
Hướng dẫn này dành cho Mac. Với Windows, xem Chạy Whisper trên Windows.
Đọc phần này trước
Các hàng đang được đo lại
Đính chính, ngày 28 tháng 8, 2026
Bộ chấm điểm đằng sau bảng này chuẩn hoá văn bản bằng [^\w\s], và \w của Python không khớp với các dấu kết hợp Unicode. Vì vậy mọi dấu nguyên âm Devanagari, nukta Bengal và dấu phụ tiếng Ả Rập đều bị thay bằng khoảng trắng, làm một từ bị tách thành nhiều từ. Đo trên cùng các văn bản tham chiếu mà trang này đã dùng: tiếng Tamil được tính 1.520 đơn vị so với 437 từ thật, tiếng Hindi 1.237 so với 683, tiếng Assam 1.220 so với 498. Các hàng chữ Latin, Kirin và CJK không bị ảnh hưởng — những hệ chữ đó không có dấu kết hợp — và các kết luận dựa trên chúng cũng vậy.
Điều này làm phình văn bản tham chiếu và, vì các mảnh vỡ không thể khớp nhau, làm phình cả số lỗi. Cho nên các hàng của tiếng Hindi, tiếng Ả Rập, tiếng Do Thái và các hệ chữ có dấu kết hợp khác đang phóng đại tỷ lệ lỗi, với mức khác nhau tuỳ ngôn ngữ, và nhận định “ngôn ngữ tệ nhất” ở phần dưới không an toàn với các hàng ấy. Một đợt đo đã sửa trên 83 ngôn ngữ đang chạy và trang này sẽ được tạo lại từ đó.
Điều này được ghi lại ở đây chứ không lặng lẽ xoá đi, vì cùng lý do như phần rút lại bên dưới: một bộ chuẩn hoá lặng lẽ làm hỏng các hệ chữ không phải Latin chính là loại lỗi mà người đọc một bài đo đa ngôn ngữ cần được báo, và nó không hiện ra ở bất kỳ con số nào đã công bố.
Tình trạng, 15 tháng 10 năm 2026
Phép đo mới bao gồm 83 ngôn ngữ và sáu mô hình, cho cả gỡ băng file lẫn gõ chữ bằng giọng nói. Nó chưa có trên trang này vì chưa hoàn tất: 89 trong 996 lượt chạy thử đã thất bại, tất cả đều ở các mô hình lớn nhất và trong 17 ngôn ngữ, và các lượt chạy không dùng cùng dung lượng bộ nhớ máy tính hay cùng phiên bản công cụ thử. Cho đến khi hoàn tất, bảng bên dưới vẫn là bảng 29 ngôn ngữ đã nêu ở trên, nên các hàng đánh dấu † (Hindi, Ả Rập và Do Thái, được nêu tên trong phần đính chính) vẫn mang tỷ lệ lỗi bị thổi phồng, và các hệ chữ có dấu kết hợp khác cũng có thể như vậy. Các so sánh ở các hàng chữ Latin, Kirin và CJK không bị ảnh hưởng.
Câu trả lời
Mô hình 547 MB vẫn đứng vững
Ở 23 trong 29 ngôn ngữ, không mô hình nào trong bộ tốt hơn mô hình mặc định 547 MB một cách đáng kể.
- 23 trên 29ngôn ngữ: không mô hình lớn hơn nào rõ ràng tốt hơn
- 6ngôn ngữ mà một mô hình lớn hơn xứng đáng với kích thước của nó
- 9 trên 29ngôn ngữ mà mô hình turbo 1,6 GB cho điểm thấp hơn
Đáng kể nghĩa là kiểm định z hai tỷ lệ với z ≤ −2 so với mô hình mặc định. Hãy đọc 23 ngôn ngữ còn lại là chưa phân biệt được, chứ không phải đã được chứng minh là ngang nhau.
Ngoại lệ
Nơi một mô hình lớn hơn xứng đáng với kích thước của nó
Nếu bạn làm việc bằng tiếng Thái, tiếng Nhật, tiếng Phần Lan, tiếng Pháp, tiếng Hà Lan hay tiếng Hàn, bản tải lớn hơn là đáng giá.
| Nội dung | Mặc định (547 MB) | Mô hình tốt hơn | Mức cải thiện |
|---|---|---|---|
| Thái | 20,8% | v3: 12,6% | −8,2 điểm % |
| Nhật | 18,5% | v3-q5: 14,2% | −4,3 điểm % |
| Phần Lan | 10,8% | v3-q5: 7,7% | −3,1 điểm % |
| Pháp | 10,0% | v3: 7,5% | −2,5 điểm % |
| Hà Lan | 10,8% | v3-q5: 8,3% | −2,5 điểm % |
| Hàn | 11,3% | v3-q5: 9,4% | −1,9 điểm % |
v3-q5 (1,0 GB) đạt gần hết phần cải thiện: mô hình v3 3 GB không bao giờ hơn nó quá 1,2 điểm phần trăm.
Không phải lúc nào lớn hơn cũng tốt hơn
Mô hình lớn hơn không phải lúc nào cũng chính xác hơn
Mô hình turbo 1,6 GB cho điểm số thấp hơn mô hình mặc định 547 MB ở 9 trong 29 ngôn ngữ.
Mô hình 75 MB không dùng được ngoài tiếng Anh: tiếng Hindi† 100,0%, tiếng Đan Mạch 87,2%, tiếng Hungary 84,8%, tiếng Séc 84,0%, tiếng Do Thái† 81,9%.
Những ngôn ngữ nào, và chênh bao nhiêu
Hindi† (42,1% so với 34,4%), Thái (24,6% so với 20,8%), Trung (giản thể) (16,8% so với 13,7%), Mã Lai (9,8% so với 7,1%), Việt (10,3% so với 9,8%), Indonesia (7,8% so với 7,4%), Thổ Nhĩ Kỳ (15,5% so với 15,2%), Hy Lạp (11,3% so với 11,2%), Pháp (10,1% so với 10,0%). Với cỡ mẫu này, những chênh lệch nhỏ như vậy không phải cái nào cũng có ý nghĩa riêng lẻ; điều quan trọng là chiều hướng, thứ mà kích thước một mình sẽ không dự đoán được. Chọn mô hình lớn hơn kế tiếp không phải là mặc định an toàn.
Hai cực
Dễ nhất và khó nhất
Kết quả tốt nhất: tiếng Tây Ban Nha, 2,8%.
Tỷ lệ lỗi cao nhất mà không mô hình nào cải thiện được là tiếng Do Thái†, không xuống dưới 48,3% ở bất kỳ cấu hình nào được thử. Phần đính chính nói rằng cách đọc này không an toàn với các hệ chữ có dấu kết hợp như tiếng Do Thái, nên hãy coi nó là chưa được xác nhận cho đến khi bảng đo đã sửa có mặt trên trang này.
Rút lại
Một lời rút lại, được giữ nguyên tại chỗ
Rút lại
Một phiên bản trước của đợt đo này đã báo large-v3 tốt hơn mô hình mặc định một cách đáng kể ở tiếng Ukraina. Điều đó sai. Nó được đo với beam 5, là mặc định của whisper-cli nhưng không phải cài đặt mà ứng dụng đang dùng. Chạy lại bằng greedy — cài đặt thật — thì mô hình mặc định và v3 hoà nhau. Khoảng cách đến từ bộ giải mã, không phải từ mô hình. Điều này được ghi lại ở đây chứ không lặng lẽ xoá đi, vì cài đặt bộ giải mã chính là biến số mà hầu hết các so sánh Whisper chạy trên máy đều không nêu rõ.
Dữ liệu
Bảng đầy đủ, phương pháp và các giới hạn
Bảng đầy đủ, phương pháp và các giới hạn, đang thu gọn: hãy mở bất kỳ phần nào.
Tỷ lệ lỗi theo ngôn ngữ và mô hình (29 ngôn ngữ, 6 mô hình)
Tỷ lệ lỗi theo ngôn ngữ và mô hình (29 ngôn ngữ, 6 mô hình)
| Ngôn ngữ | Chỉ số | tiny 75 MB | small 466 MB | turbo-q5 547 MB | turbo 1,6 GB | v3-q5 1,0 GB | v3 3 GB |
|---|---|---|---|---|---|---|---|
| Ả Rập† ar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Trung (giản thể) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Séc cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Đan Mạch da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Hà Lan nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Anh en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Phần Lan fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Pháp fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Đức de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Hy Lạp el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Do Thái† he | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Hindi† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Hungary hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Indonesia id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Ý it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Nhật ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Hàn ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Mã Lai ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Na Uy no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Ba Lan pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Bồ Đào Nha (BR) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Romania ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Nga ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Tây Ban Nha es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Thụy Điển sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Thái th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Thổ Nhĩ Kỳ tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Ukraina uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| Việt vi | WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Phép đo được thực hiện thế nào
Sáu biến thể mô hình Whisper đã gỡ băng cùng một kho giọng đọc ở 29 ngôn ngữ, là mọi ngôn ngữ mà trang App Store của Lesskeys có bản địa hoá, trên Apple Silicon, với đúng cài đặt giải mã mà chính ứng dụng dùng (greedy, không dùng beam search). Tỷ lệ là tỷ lệ lỗi từ, trừ tiếng Nhật, tiếng Hàn, tiếng Thái và tiếng Trung, nơi các từ không được ngăn cách bằng khoảng trắng nên dùng tỷ lệ lỗi ký tự. Càng thấp càng tốt.
● đánh dấu mô hình tốt nhất cho ngôn ngữ đó. Cột được tô sáng là mô hình 547 MB, mặc định trong Lesskeys 3.1.4 và là mốc cho mọi điều ở trên. † đánh dấu một hàng đang được đo lại. Trên điện thoại, hãy cuộn bảng sang ngang; tên ngôn ngữ vẫn nằm trong tầm nhìn.
Giới hạn của phép thử này
- Một đoạn cho mỗi ngôn ngữ (khoảng 1.000 từ, hoặc khoảng 2.000 ký tự với các ngôn ngữ tính lỗi theo ký tự). Đủ để phân biệt các khác biệt lớn, không đủ để kết luận về các khác biệt nhỏ. Khi trang này nói một mô hình “đứng vững”, hãy hiểu là chưa phân biệt được ở cỡ mẫu này, chứ không phải đã được chứng minh là giống hệt.
- whisper-cli với cài đặt ngữ cảnh và giải mã của ứng dụng, không phải toàn bộ quy trình của Lesskeys, vốn có thêm phát hiện giọng nói, bộ lọc ảo giác, chuẩn hoá âm lượng và ràng buộc ngôn ngữ. Bảng này không đo quy trình đó.
- Giọng đọc, không phải cuộc họp. Âm thanh hội thoại và chồng lên nhau khó hơn đáng kể.
- Các tỷ lệ tuyệt đối có phần bị thổi phồng do khác biệt trong cách định dạng số và dấu câu mà một người đọc sẽ không tính là lỗi. So sánh giữa các mô hình trên cùng một ngôn ngữ mới là phần đáng tin; so sánh giữa các ngôn ngữ thì nhiễu hơn.
Câu hỏi
Câu hỏi về độ chính xác của Whisper theo ngôn ngữ
Tôi nên chạy mô hình Whisper nào trên Mac?
Ở 23 trong 29 ngôn ngữ được đo, mô hình Large V3 Turbo lượng tử hoá 547 MB chính xác ngang bất kỳ mô hình lớn hơn nào, nên đó là lựa chọn mặc định hợp lý. Các ngoại lệ được liệt kê trên trang này; ở những ngôn ngữ đó, mô hình v3-q5 1,0 GB đáng để tải thêm.
Lượng tử hoá mô hình Whisper có làm giảm độ chính xác không?
Hầu như không. Ở cả 29 ngôn ngữ, mô hình 3 GB độ chính xác đầy đủ không bao giờ hơn mô hình lượng tử hoá 1,0 GB quá 1,2 điểm phần trăm, và mô hình mặc định lượng tử hoá 547 MB sánh ngang các mô hình lớn hơn nhiều ở hầu hết ngôn ngữ.
Mô hình Whisper càng lớn thì có luôn chính xác hơn không?
Không. Mô hình turbo 1,6 GB cho điểm số thấp hơn mô hình mặc định 547 MB ở 9 trong 29 ngôn ngữ được đo. Kích thước mô hình không phải thước đo đáng tin cho độ chính xác ở một ngôn ngữ cụ thể.
Phép đo này có được thực hiện trên đám mây không?
Không. Mọi con số đều được tạo ngay trên máy với Apple Silicon, và Lesskeys cũng gỡ băng theo cách đó: âm thanh không rời khỏi máy.
Thêm