LesskeysKhi Whisper dừng sớm mà vẫn báo đã xong
Một mô hình Whisper có thể dừng giữa chừng một bản ghi mà vẫn báo thành công: 10 trong 143 lượt chạy trong phép thử của chúng tôi như vậy. So sánh lượng bản gỡ băng trả về với độ dài âm thanh sẽ bắt được điều đó, không cần bản gỡ băng tham chiếu.
macOS 13+ trên Apple Silicon · Không có gói đăng kýWindows 10 và 11 · Không có gói đăng ký
Xem lại lần cuối
Nó là gì
Cắt cụt âm thầm là gì
Phần văn bản nó viết ra là đúng. Nó chỉ dừng lại, và quy trình báo rằng đã xong.
Một mô hình giọng nói có thể trả về sai từ, hoặc có thể dừng giữa chừng và đưa ra bản gỡ băng đúng của phần đầu như thể đã hoàn tất. Trong lượt chạy tệ nhất của chúng tôi, tiếng Na Uy, nó trả về 113 trên 521 từ tham chiếu sau 30 phút tính toán, và dừng sau 9 đoạn. Quy trình của chúng tôi ghi lượt chạy đó là COMPLETED: không lỗi, không cảnh báo, không cờ kết quả dở dang.
- 10 trên 143lượt chạy dừng sớm
- 22%của âm thanh trong lượt chạy tệ nhất
- 9 trên 10thuộc hai file large-v3
Lượt chạy nào
Những ngôn ngữ nào đã dừng sớm
9 trong 10 lượt thuộc hai file large-v3.
Độ phủ là độ dài bản gỡ băng chia cho độ dài văn bản tham chiếu: 1,00 là một bản gỡ băng đầy đủ. Mỗi thanh là một lượt chạy bị cắt cụt; đường đứt nét là ngưỡng 0,80.
Large V3: 5 trên 28 lượt chạy
- Na Uy0,22
- Mã Lai0,32
- Việt0,34
- Hàn0,40
- Hà Lan0,74
Large V3 Q5: 4 trên 28 lượt chạy
- Séc0,22
- Bồ Đào Nha (Brazil)0,35
- Việt0,37
- Mã Lai0,75
Large V3 Turbo Q5: 1 trên 29 lượt chạy
- Hindi†0,72
Hindi: một lưu ý về cách chấm điểm
† Đây là lượt chạy của mô hình mặc định: 886 đơn vị so với văn bản tham chiếu 1.237, cùng con số bị phình mà phần đính chính trong Độ chính xác của Whisper ở 29 ngôn ngữ đã nêu (Hindi: 1.237 đơn vị so với 683 từ thật, do bộ chấm điểm tách từ tại các dấu kết hợp), nên con số tuyệt đối 0,72 không đáng tin. Nhưng hai bản turbo cùng họ được 1.288 và 1.242 đơn vị so với cùng văn bản tham chiếu (độ phủ 1,04 và 1,00), nên lượt chạy của mô hình mặc định ngắn hơn của chúng 29 đến 31 phần trăm. Cách đọc hợp lý nhất là một lần cắt cụt thật, và đó cũng là cách ghi chú kết quả của chính đợt chạy ấy ghi lại. Nó chạy ở phần 12 GB của ma trận (xem các giới hạn bên dưới).
Luôn ngắn, không bao giờ dài
Mọi ô cực trị trong ma trận này đều ngắn, không bao giờ dài. Không có lượt nào trong 143 lượt vượt văn bản tham chiếu quá một nửa. Đó là dấu ngược lại với lỗi vòng lặp lặp lại, khi một mô hình bị kẹt và phát ra cùng một cụm trong nhiều phút, cho độ phủ gấp năm lần văn bản tham chiếu hoặc hơn. Cả hai đều nghiêm trọng và cả hai đều không lộ ra khi kiểm tra ngẫu nhiên, nhưng chúng phân biệt được bằng dấu của cùng một con số, và đó là điều cho phép một phép kiểm tra duy nhất bắt được cả hai.
Cách bắt lỗi
Bắt lỗi mà không cần văn bản tham chiếu
So sánh lượng bản gỡ băng trả về với độ dài của âm thanh.
Tỷ lệ lỗi từ cần một bản gỡ băng tham chiếu, thứ mà trong thực tế bạn không bao giờ có. Độ phủ thì không cần. Trong ma trận này, hai nhóm tách bạch rõ ràng:
| Nội dung | Lượt chạy | Độ phủ trung bình | Tỷ lệ lỗi trung bình |
|---|---|---|---|
| Bị cắt cụt | 10 | 0,44 | 65,90% |
| Bình thường | 133 | 1,01 | 12,10% |
Ngưỡng 0,80 không được tinh chỉnh theo dữ liệu: độ phủ cao nhất trong các lượt bị cắt cụt là 0,75 và thấp nhất trong các lượt bình thường là 0,82, nên mọi ngưỡng nằm trong khoảng trống đó đều cho cùng một đáp án. Trong thực tế: so sánh mốc thời gian của đoạn cuối được trả về với độ dài file, ngay trên máy của người dùng, mà không cần gì để đối chiếu.
Tỷ lệ lỗi
Cắt cụt làm phình tỷ lệ lỗi
Large V3 trung bình 24,64% trên 28 ngôn ngữ; bỏ 5 lượt bị cắt cụt thì còn 15,25%.
Khoảng 9,4 điểm trong tỷ lệ lỗi của nó không phải do mô hình nghe sai thứ gì. Đó là do mô hình không có mặt.
Ngay cả khi bỏ phần cắt cụt, Large V3 vẫn không đuổi kịp mô hình turbo nhỏ hơn
Ngay cả khi loại trừ các lượt cắt cụt, Large V3 vẫn không đuổi kịp bản lượng tử hoá turbo 834 MB, vốn trung bình 9,16% trên cả 29 ngôn ngữ và chưa bao giờ bị cắt cụt. Trên 28 ngôn ngữ mà cả ba lượt turbo cùng có (gác tiếng Hindi sang một bên), các giá trị trung bình là Q8 8,59%, mặc định 8,71% và turbo 1,6 GB 8,80%, cách nhau không quá 0,2 điểm, nên phần lớn khoảng cách nổi bật chỉ là một hàng Hindi. Dung lượng không dự đoán được độ tin cậy ở đây, và cũng không dự đoán được độ chính xác.
Trên Mac
Điều này có nghĩa gì với các mô hình Lesskeys cung cấp
Cả hai file large-v3 đều có trong bộ chọn mô hình của phiên bản App Store đang bán (3.1.4), và chúng chiếm 9 trong 10 lượt chạy bị cắt cụt.
Phiên bản đó không có bước kiểm tra độ phủ nào. Bước kiểm tra nêu ở trên là một đề xuất cho nó, không phải một tính năng đã phát hành.
Tình trạng ngày 15 tháng 10 năm 2026, cho phiên bản App Store đang bán (3.1.4)
Nói thẳng ra, vì đó là lý do trang này đáng được đăng thay vì cất vào hồ sơ:
- Cả hai file large-v3 đều được cung cấp trong bộ chọn mô hình của Lesskeys, và chúng chiếm 9 trong 10 lượt chạy bị cắt cụt. Người dùng nghĩ “bản tải lớn hơn thì kết quả tốt hơn” đang chọn phương án kém tin cậy nhất trong danh sách.
- Bản lượng tử hoá 834 MB đạt tỷ lệ lỗi trung bình thấp nhất (khoảng cách với các lượt turbo khác chủ yếu là một hàng Hindi) và không bị cắt cụt lần nào, nhưng không có trong bộ chọn của phiên bản đó. Nó chỉ dùng được trong phép thử này vì thư mục mô hình được quét khi khởi động.
- Mô hình mặc định (547 MB) bị cắt cụt một lần trong 29 ngôn ngữ, ở tiếng Hindi (nhiều khả năng là một lần cắt cụt thật; xem ghi chú dưới danh sách độ phủ). Lượt chạy đó và lượt Large V3 Q5 tiếng Séc đều chạy ở phần 12 GB của ma trận, với rất ít bộ nhớ dư (xem các giới hạn).
- Phiên bản đó không có bước kiểm tra độ phủ. Bước kiểm tra nêu ở trên là một đề xuất cho nó, không phải một tính năng đã phát hành. Khi nó được phát hành, phần này sẽ được viết lại chứ không lặng lẽ xoá đi.
Trên Windows
Điều này có nghĩa gì trên Windows
Phép thử được chạy trong ứng dụng Mac. Ứng dụng Windows không nằm trong đó.
Khi bật nhãn người nói, Lesskeys trên Windows có một lưới an toàn cho trường hợp bản gỡ băng trả về rỗng từ một file có lời nói: nó giải mã lại file mà không có mốc thời gian. Nó không có bước kiểm tra nào cho bản gỡ băng dừng giữa chừng, chính là trường hợp của trang này. Với một file dài, hãy đọc các dòng cuối của bản gỡ băng đối chiếu với âm thanh, và kiểm tra xem phần cuối bản gỡ băng có khớp với phần cuối bản ghi không.
Dữ liệu
Phương pháp, bảng số liệu và các giới hạn
Cách thực hiện các lượt chạy và những gì chúng không cho bạn biết, đang thu gọn.
Việc cắt cụt được đo thế nào
5 file Whisper thuộc họ large-v3, ở 29 ngôn ngữ, 143 trên 145 ô. Âm thanh là FLEURS đã chuẩn hoá mức âm lượng, không có chữ số trong văn bản (giọng đọc kèm bản gỡ băng tham chiếu đã công bố) với khoảng 460 đến 2.520 đơn vị mỗi ngôn ngữ.
Mọi lượt chạy đều đi qua ứng dụng đang phát hành trên một máy ảo chạy macOS Sequoia, không qua whisper-cli. Điều đó quan trọng: phát hiện giọng nói, bộ lọc ảo giác, chuẩn hoá âm lượng và ràng buộc ngôn ngữ đều nằm trong đường đi, đúng như người dùng sẽ có. Ngôn ngữ được đặt cố định cho mỗi lượt chạy và được tuân thủ ở cả 143 ô; mô hình thực sự được nạp khớp với mô hình được yêu cầu ở cả 143. Hai ô vắng mặt là tiếng Hindi trên cả hai file large-v3, vốn hoàn toàn không chạy xong.
Năm mô hình: dung lượng, lỗi trung bình, lượt bị cắt cụt
Năm file Whisper thuộc họ large-v3 ở 29 ngôn ngữ (các hàng không có lượt chạy nào bị cắt cụt được tô sáng)
| Mô hình | Dung lượng | Ngôn ngữ | Lỗi trung bình | Trung vị | Lượt bị cắt cụt |
|---|---|---|---|---|---|
| Large V3 Turbo Q8 ● không có trong bộ chọn | 834 MB | 29 | 9,16% | 6,80% | không có |
| Large V3 Turbo | 1,6 GB | 29 | 9,52% | 7,23% | không có |
| Large V3 Turbo Q5 ● mặc định khi phát hành | 547 MB | 29 | 9,99% | 7,81% | 1 trên 29 |
| Large V3 | 3 GB | 28 | 24,64% | 15,80% | 5 trên 28 |
| Large V3 Q5 | 1,0 GB | 28 | 26,66% | 18,66% | 4 trên 28 |
Giới hạn của phép thử này
- Giọng đọc, không phải cuộc họp. FLEURS là văn xuôi thu âm sạch. Âm thanh hội thoại và chồng lên nhau khó hơn đáng kể, và các tỷ lệ này không nên được hiểu là những gì bạn sẽ nhận được trong một cuộc gọi thật.
- Một lượt cho mỗi ô. 143 ô, mỗi ô một lượt chạy. Việc cắt cụt tái hiện được trên hai file large-v3 và qua hai đợt điều tra riêng biệt, nhưng ma trận này không xác lập được một tỷ lệ; nó chỉ xác lập rằng điều đó có xảy ra.
- Một máy, hai mức bộ nhớ. Các ô chạy trên một máy ảo Apple Silicon có bộ nhớ 12 GB cho 33 ô đầu và 24 GB cho phần còn lại; cả 29 ô của mô hình mặc định và bốn ô Large V3 Q5 đầu tiên (Ả Rập, Séc, Đan Mạch, Đức) chạy ở phần 12 GB. Hai lượt bị cắt cụt nằm trong đó: Hindi trên mô hình mặc định (còn 241 MB bộ nhớ trống ở thời điểm thấp nhất) và Séc trên Large V3 Q5 (60 MB). Mọi lượt bị cắt cụt khác đều còn trên 6.000 MB trống. Bộ nhớ thấp có thể đã góp phần vào hai lượt đó, và ma trận này không tách được điều đó khỏi mô hình. Phần giải mã được để ở giá trị mặc định theo đường dẫn file của ứng dụng, chứ không phải của công cụ dòng lệnh.
- Các tỷ lệ tuyệt đối có phần bị thổi phồng do các lựa chọn chuẩn hoá dấu câu và chữ hoa. Phần đáng tin là so sánh giữa các mô hình, không phải các tỷ lệ phần trăm tuyệt đối.
Lần này các bản gỡ băng được giữ lại. Trong một đợt đo trước, chúng bị ghi đè bởi bước cấu hình của lượt chạy kế tiếp, và việc cắt cụt phải suy ra từ số từ, đó chính là lý do nó không bị phát hiện lâu đến vậy. “Tỷ lệ lỗi tệ hơn” và “dừng sớm” trông giống hệt nhau trong bảng kết quả.
Câu hỏi
Câu hỏi về việc Whisper dừng sớm
Cắt cụt âm thầm trong nhận dạng giọng nói là gì?
Một mô hình trả về bản gỡ băng chỉ phủ một phần âm thanh, và quy trình bao quanh vẫn báo thành công. Phần văn bản có mặt thường đúng, nên không có gì trông sai cho đến khi ai đó đối chiếu bản gỡ băng với bản ghi. Trong ma trận này, nó ảnh hưởng 10 trong 143 lượt chạy, trong đó 9 lượt thuộc hai file large-v3.
Làm sao phát hiện một bản gỡ băng bị cắt cụt mà không có văn bản tham chiếu?
Hãy so sánh những gì trả về với những gì đưa vào: mốc thời gian kết thúc của đoạn cuối so với độ dài file âm thanh, hoặc độ dài bản gỡ băng so với độ dài dự kiến. Cả hai đều không cần bản gỡ băng đáp án chuẩn, nên cách kiểm tra này dùng được trong thực tế. Trong dữ liệu này, các lượt bị cắt cụt có độ phủ trung bình 0,44 so với 1,01 ở các lượt bình thường.
Mô hình Whisper lớn hơn có cho kết quả tốt hơn không?
Không, trong ma trận này. Hai file lớn nhất có tỷ lệ lỗi trung bình cao nhất và chiếm 9 trong 10 lượt chạy bị cắt cụt, trong khi bản lượng tử hoá 834 MB của mô hình turbo có mức trung bình thấp nhất (9,16%, chênh không quá 0,2 điểm so với các lượt turbo khác khi gác tiếng Hindi sang một bên) và chưa bao giờ bị cắt cụt. Dung lượng tải về không dự đoán được độ chính xác lẫn độ tin cậy ở đây.
Đây là lỗi của Whisper hay của ứng dụng?
Chưa xác định, và trang này không tuyên bố là biết. Điều được đo là tình trạng này có xảy ra và quy trình bao quanh đã không nhận ra. Bước kiểm tra độ phủ được đề xuất là biện pháp giảm thiểu ở tầng ứng dụng, tầng chúng tôi kiểm soát; nó không chẩn đoán nguyên nhân gốc.
Thêm