LesskeysNên chạy mô hình Whisper nào trên Mac?
Hãy chạy Large V3 Turbo Q5. Trong phép đo của chúng tôi, nó đồng hạng nhất về độ chính xác trong sáu mô hình Whisper (cách mô hình tốt nhất không quá 13 từ trên 6.086 từ), và là bản tải nhỏ nhất của nhóm đó với 574 MB, chạy ở tốc độ 12 lần thời gian thực trên Apple M1 Max.
macOS 13+ trên Apple Silicon · Không có gói đăng ký
Xem lại lần cuối
Hướng dẫn này dành cho Mac. Với Windows, xem Chạy Whisper trên Windows.
Câu trả lời
Hãy dùng Large V3 Turbo Q5
Nó đồng hạng nhất về độ chính xác trong sáu mô hình Whisper, và là bản tải nhỏ nhất trong nhóm đồng hạng.
- 4 đồng hạngmô hình, ngang nhau về độ chính xác
- 574 MBbản tải về (547 MB trong ứng dụng)
- 12lần thời gian thực
Cách mô hình tốt nhất không quá 13 từ trên 6.086. Một giờ âm thanh mất khoảng năm phút trên Apple M1 Max. Dung lượng ở đây là kích thước file đo được theo đơn vị thập phân; ứng dụng ghi cùng file đó là 547 MB. Ngoài tiếng Anh, một vài ngôn ngữ khác nhau: độ chính xác của Whisper ở 29 ngôn ngữ.
Đồng hạng
Lớn hơn thì tốn hơn mà chẳng được thêm gì
Cùng độ chính xác trong khoảng 13 từ nhưng tốn gấp 5,4 lần dung lượng tải và chạy chậm hơn 1,6 lần.
Mô hình lớn nhất trong nhóm đồng hạng là Large V3 với 3,1 GB. Đi nhỏ hơn thì mất độ chính xác thật sự: Small sai nhiều hơn mô hình tốt nhất 75 lỗi, còn Tiny sai nhiều gấp 3 lần.
Khác biệt thật
Chỗ khác biệt là thật
Tiny sai nhiều gấp 3 lần mô hình tốt nhất: 418 lỗi so với 141.
Đó là một loại bản gỡ băng khác, chứ không chỉ kém hơn một chút. Nó vẫn phù hợp cho một bản ghi sơ lược, tìm kiếm được, làm vội từ một bản tải nhỏ, và là lựa chọn sai khi chính bản gỡ băng là hồ sơ.
Các mô hình dưới nhóm đồng hạng
- Small: 3,55%, sai nhiều hơn mô hình tốt nhất 75 lỗi; tốc độ 35 lần thời gian thực so với 12 của Large V3 Turbo Q5, nặng 488 MB
- Tiny: 6,87%, sai nhiều hơn mô hình tốt nhất 277 lỗi; tốc độ 89 lần thời gian thực so với 12 của Large V3 Turbo Q5, nặng 78 MB
File nhỏ hơn
File nhỏ hơn có làm giảm độ chính xác không?
Không theo cách chúng tôi đo được.
- Large V3 Turbo Q5 so với Large V3 Turbo: 574 MB so với 1,6 GB (nhỏ hơn 2,8×), và nhiều hơn 4 lỗi trên 6.086 từ (154 so với 150)
- Large V3 Q5 so với Large V3: 1,1 GB so với 3,1 GB (nhỏ hơn 2,9×), và ít hơn 2 lỗi trên 6.086 từ (141 so với 143)
Đó là lý do để thử lượng tử hoá trên chính âm thanh của bạn, không phải một quy luật chung.
Chưa thử
Điều phép đo này không cho bạn biết
LibriSpeech test-clean là trường hợp dễ: giọng đọc sách nói.
- Không có cuộc họp hay cuộc gọi điện thoại
- Không có người nói chồng lên nhau hay tiếng ồn
- Không có máy Mac nào khác: chỉ Apple M1 Max
- Không có nhãn người nói
Các cuộc họp thật khó hơn, và mọi con số sẽ tệ hơn ở đó: đây là mức nền, không phải lời hứa cho buổi họp stand-up tiếp theo của bạn. Một mô hình cũng có thể dừng sớm trên một file dài ở một số ngôn ngữ mà vẫn báo thành công: khi Whisper dừng sớm.
Dữ liệu
Bảng đầy đủ và cách chạy lại
Lỗi, tốc độ và dung lượng tải của mọi mô hình, cùng phương pháp, chỉ cách một cú bấm.
Bảng kết quả đầy đủ
Sáu trong các mô hình Whisper mà Lesskeys cung cấp đã chạy trên cùng 300 câu nói (37 phút âm thanh) từ LibriSpeech test-clean, bộ đo chuẩn công khai thông dụng, vốn có sẵn bản gỡ băng do con người viết. Chúng tôi chấm tỷ lệ lỗi từ so với các bản gỡ băng đó, bấm giờ từng lần chạy và ghi lại dung lượng tải về. Lỗi càng thấp càng tốt; thanh được vẽ theo tỷ lệ với giá trị lớn nhất trong cột của nó.
Sáu mô hình Whisper trên 6.086 từ của LibriSpeech test-clean (Apple M1 Max)
| Mô hình | Tỷ lệ lỗi từ | Lỗi | Tốc độ | Tải về |
|---|---|---|---|---|
| Large V3 Q5 ● | 2,32% | 141 / 6.086 từ | gấp 7 lần thời gian thực | 1,1 GB |
| Large V3 ● | 2,35% | 143 / 6.086 từ | gấp 7 lần thời gian thực | 3,1 GB |
| Large V3 Turbo ● | 2,46% | 150 / 6.086 từ | gấp 12 lần thời gian thực | 1,6 GB |
| Large V3 Turbo Q5 ● | 2,53% | 154 / 6.086 từ | gấp 12 lần thời gian thực | 574 MB |
| Small | 3,55% | 216 / 6.086 từ | gấp 35 lần thời gian thực | 488 MB |
| Tiny | 6,87% | 418 / 6.086 từ | gấp 89 lần thời gian thực | 78 MB |
Đo trên Apple M1 Max với whisper.cpp, GPU Metal và flash attention bật, giá trị mặc định của whisper.cpp (beam size 5), ngôn ngữ buộc cố định là en, 8 luồng. ● đánh dấu các mô hình chúng tôi coi là đồng hạng nhất. “Gấp 89 lần thời gian thực” nghĩa là một giờ âm thanh được gỡ băng trong khoảng 1 phút. Dung lượng trong bảng này là kích thước file đo được theo đơn vị thập phân, nên khác với nhãn trong ứng dụng và ở các trang khác: file 574 MB của Large V3 Turbo Q5 ở đó là 547 MB, Small là 466 MB (ở đây 488 MB), Tiny là 75 MB (ở đây 78 MB), Large V3 Q5 là 1,0 GB và Large V3 là 3 GB.
4 mô hình đứng đầu có thật sự ngang nhau không?
Large V3 Q5, Large V3, Large V3 Turbo, Large V3 Turbo Q5 cách nhau không quá 13 từ trên 6.086 từ văn bản tham chiếu. Đó là mức nhiễu nền của phép đo, không phải một sự khác biệt. Chúng tôi coi mọi mô hình cách mô hình tốt nhất trong vòng 0,5 điểm phần trăm là ngang nhau, vì nhiễu khi xếp hạng sẽ khiến trang này trông dứt khoát hơn và kém đúng sự thật hơn.
Cách chạy lại phép đo này
Bộ dữ liệu là công khai (OpenSLR), các mô hình là bản ggml chuẩn của Whisper, và bộ chạy thử chỉ là một file Python. Mẫu được chọn một cách tất định (id câu nói được sắp xếp, lấy cách đều, không có hạt giống ngẫu nhiên), nên một lần chạy độc lập sẽ chọn đúng những câu nói đó.
Bộ chuẩn hoá khi chấm điểm là phần đáng kiểm tra, vì tỷ lệ lỗi từ chẳng có nghĩa gì nếu thiếu nó. Bộ của chúng tôi bỏ qua những khác biệt chỉ thuộc về định dạng chứ không phải nhận dạng (chữ hoa, dấu câu, gạch nối, 23 so với hai mươi ba, Mr. so với mister) và vẫn đếm mọi lần thay thế, bỏ sót và chèn thừa thật sự. Nó được khoá bằng mười một ca kiểm thử, gồm cả những ca khẳng định rằng lỗi thật không bị chuẩn hoá cho biến mất. Thiếu bước đó, các mô hình bị phạt vì kiểu dấu câu thay vì độ chính xác.
Các số liệu về tốc độ đến từ một máy; một chip Apple Silicon khác sẽ cho kết quả khác: thứ tự có thể vẫn giữ, nhưng con số tuyệt đối thì không. Phép đo này chỉ tính các mô hình gỡ băng, không tính việc gắn nhãn người nói, vốn là một công đoạn riêng với tỷ lệ lỗi riêng.
Câu hỏi
Câu hỏi về việc chọn mô hình Whisper
Tôi nên dùng mô hình Whisper nào trên Mac?
Large V3 Turbo Q5. Trong phép đo này, 4 biến thể large cách nhau không quá 13 từ trên 6.086 từ, nên ngang nhau về độ chính xác, và trong số đó Large V3 Turbo Q5 có bản tải về nhỏ nhất với 574 MB và chạy ở tốc độ 12 lần thời gian thực.
Mô hình Whisper lớn nhất có chính xác nhất không?
Không đo được sự khác biệt. Large V3 nặng 3,1 GB, gấp 5,4 lần bản tải của Large V3 Turbo Q5, và chỉ chênh lệch trong khoảng 13 từ so với nó trên 6.086 từ, trong khi chạy chậm hơn 1,6 lần.
Mô hình Whisper lượng tử hoá có kém hơn không?
Ở đây thì không đo được sự khác biệt. Large V3 Turbo Q5 nhỏ hơn Large V3 Turbo 2,8 lần và sai thêm 4 lỗi trên 6.086 từ. Con số đó nằm trong mức nhiễu của phép đo, nên đó là lý do để bạn thử lượng tử hoá trên chính âm thanh của mình chứ không phải lời đảm bảo rằng nó không bao giờ làm giảm độ chính xác.
Ứng dụng gỡ băng dùng Whisper nào là tốt nhất?
Không phép đo nào có thể chọn ra một ứng dụng thắng cuộc. 4 mô hình dẫn đầu cách nhau không quá 13 từ trên 6.086 từ, nên mô hình bên dưới gần như không quyết định được điều đó. Điều phân biệt các ứng dụng là chúng có chạy trên máy hay không, có gỡ băng các bản ghi sẵn có không, và có gắn nhãn ai đã nói không.
Thêm