LesskeysModel Whisper mana yang sebaiknya dijalankan di Mac?
Jalankan Large V3 Turbo Q5. Dalam pengujian kami, model ini setara dalam akurasi terbaik di antara enam model Whisper (selisih paling banyak 13 patah kata dari yang terbaik, dari 6.086 patah kata), dan merupakan unduhan terkecil di kelompok itu, 574 MB, berjalan 12 kali waktu nyata di Apple M1 Max.
macOS 13+ di Apple Silicon · Tanpa langganan
Terakhir ditinjau
Panduan ini untuk Mac. Untuk Windows, lihat Menjalankan Whisper di Windows.
Jawabannya
Pilih Large V3 Turbo Q5
Model ini setara dalam akurasi terbaik di antara enam model Whisper, dan unduhannya yang terkecil di kelompok yang setara.
- 4 setaramodel, akurasi sama
- 574 MBunduhan (547 MB di aplikasi)
- 12kali waktu nyata
Selisih paling banyak 13 patah kata dari yang terbaik, dari 6.086. Satu jam audio memerlukan sekitar lima menit di Apple M1 Max. Ukuran di sini adalah ukuran berkas yang diukur dalam satuan desimal; aplikasi memberi label 547 MB untuk berkas yang sama. Di luar bahasa Inggris beberapa bahasa berbeda: Akurasi Whisper di 29 bahasa.
Setara
Lebih besar lebih mahal dan tidak memberi hasil lebih
Akurasi yang sama hingga selisih 13 patah kata memerlukan unduhan 5,4 kali lebih besar dan berjalan 1,6 kali lebih lambat.
Model setara terbesar adalah Large V3 sebesar 3,1 GB. Beralih ke yang lebih kecil mengorbankan akurasi yang nyata: Small membuat 75 kesalahan lebih banyak dari yang terbaik, dan Tiny membuat 3 kali lipatnya.
Perbedaan nyata
Perbedaan mana yang nyata
Tiny membuat kesalahan 3 kali lebih banyak dari yang terbaik: 418 dibanding 141.
Itu jenis transkrip yang berbeda, bukan sekadar sedikit lebih buruk. Hasil itu masih cocok untuk catatan kasar yang bisa dicari, dibuat cepat dari unduhan kecil, tetapi tidak cocok ketika transkripnya sendiri yang menjadi catatan utamanya.
Model di bawah kelompok yang setara
- Small: 3,55%, 75 kesalahan lebih banyak dari yang terbaik; 35 kali waktu nyata dibanding 12 untuk Large V3 Turbo Q5, pada 488 MB
- Tiny: 6,87%, 277 kesalahan lebih banyak dari yang terbaik; 89 kali waktu nyata dibanding 12 untuk Large V3 Turbo Q5, pada 78 MB
Berkas lebih kecil
Apakah berkas yang lebih kecil mengorbankan akurasi?
Tidak sejauh yang bisa kami ukur.
- Large V3 Turbo Q5 dibanding Large V3 Turbo: 574 MB dibanding 1,6 GB (2,8× lebih kecil), dan 4 kesalahan lebih banyak dari 6.086 patah kata (154 dibanding 150)
- Large V3 Q5 dibanding Large V3: 1,1 GB dibanding 3,1 GB (2,9× lebih kecil), dan 2 kesalahan lebih sedikit dari 6.086 patah kata (141 dibanding 143)
Ini alasan untuk menguji kuantisasi pada audio Anda sendiri, bukan hukum umum.
Tidak diuji
Yang tidak ditunjukkan pengujian ini
LibriSpeech test-clean adalah kasus yang mudah: ucapan buku audio yang dibacakan.
- Tanpa rapat atau panggilan telepon
- Tanpa suara bertumpuk atau derau
- Tanpa Mac lain: hanya Apple M1 Max
- Tanpa label pembicara
Rapat sungguhan lebih sulit, dan setiap angka akan lebih buruk di sana: ini batas bawah, bukan janji untuk rapat harian Anda berikutnya. Pada berkas yang panjang, model juga bisa berhenti lebih awal di sejumlah bahasa dan tetap melaporkan berhasil: saat Whisper berhenti lebih awal.
Datanya
Tabel lengkap dan cara mereproduksinya
Kesalahan, kecepatan, dan unduhan untuk setiap model, beserta metodenya, hanya satu klik.
Tabel hasil lengkap
Enam model Whisper yang ditawarkan Lesskeys dijalankan pada 300 ucapan yang sama (37 menit audio) dari LibriSpeech test-clean, set data tolok ukur publik standar yang menyertakan transkrip manusianya sendiri. Kami menilai tingkat kesalahan kata terhadap transkrip itu, mengukur waktu setiap proses, dan mencatat ukuran unduhan. Kesalahan yang lebih rendah lebih baik; batang digambar sebanding dengan nilai terbesar di kolomnya.
Enam model Whisper pada 6.086 patah kata LibriSpeech test-clean (Apple M1 Max)
| Model | Tingkat kesalahan kata | Kesalahan | Kecepatan | Unduh |
|---|---|---|---|---|
| Large V3 Q5 ● | 2,32% | 141 / 6.086 patah kata | 7 kali waktu nyata | 1,1 GB |
| Large V3 ● | 2,35% | 143 / 6.086 patah kata | 7 kali waktu nyata | 3,1 GB |
| Large V3 Turbo ● | 2,46% | 150 / 6.086 patah kata | 12 kali waktu nyata | 1,6 GB |
| Model Large V3 Turbo Q5 ● | 2,53% | 154 / 6.086 patah kata | 12 kali waktu nyata | 574 MB |
| Small | 3,55% | 216 / 6.086 patah kata | 35 kali waktu nyata | 488 MB |
| Tiny | 6,87% | 418 / 6.086 patah kata | 89 kali waktu nyata | 78 MB |
Diukur di Apple M1 Max dengan whisper.cpp, GPU Metal dan flash attention aktif, bawaan whisper.cpp (ukuran beam 5), bahasa dipaksa ke en, 8 thread. ● menandai model yang kami anggap setara sebagai yang terbaik. “89 kali waktu nyata” berarti satu jam audio ditranskripsi dalam sekitar 1 menit. Ukuran dalam tabel ini adalah ukuran berkas yang diukur dalam satuan desimal, sehingga berbeda dari label di aplikasi dan di halaman lain: berkas Large V3 Turbo Q5 sebesar 574 MB tertulis 547 MB di sana, Small 466 MB (di sini 488 MB), Tiny 75 MB (di sini 78 MB), Large V3 Q5 1,0 GB, dan Large V3 3 GB.
Apakah 4 model teratas benar-benar setara?
Large V3 Q5, Large V3, Large V3 Turbo, dan Large V3 Turbo Q5 selesai dengan selisih paling banyak 13 patah kata dari 6.086 patah kata teks acuan. Itu batas derau pengukuran, bukan perbedaan. Kami menganggap model mana pun dalam 0,5 poin persentase dari yang terbaik sebagai setara, karena derau peringkat akan membuat halaman ini tampak lebih tegas dan kurang benar.
Cara mereproduksi tolok ukur ini
Dataset-nya bersifat publik (OpenSLR), modelnya adalah build ggml standar Whisper, dan alat ujinya satu berkas Python. Sampel dipilih secara deterministik (id ucapan diurutkan, jaraknya rata, tanpa seed acak), sehingga proses independen memilih ucapan yang sama.
Normalisasi penilaian adalah bagian yang perlu diperiksa, karena tingkat kesalahan kata tidak berarti tanpanya. Normalisasi kami mengabaikan perbedaan yang hanya soal format, bukan pengenalan (huruf besar, tanda baca, tanda hubung, 23 dibanding twenty three, Mr. dibanding mister) dan tetap menghitung setiap substitusi, penghapusan, dan penyisipan yang nyata. Normalisasi ini dikunci oleh sebelas kasus uji, termasuk yang memastikan kesalahan nyata tidak ikut dinormalkan. Tanpa langkah itu, model dihukum karena gaya tanda baca, bukan akurasi.
Angka kecepatan berasal dari satu mesin; chip Apple Silicon yang lain akan menghasilkan angka lain: urutannya semestinya bertahan, angka mutlaknya tidak. Ini hanya mengukur model transkripsi, bukan pelabelan pembicara, yang merupakan tahap terpisah dengan tingkat kesalahannya sendiri.
Pertanyaan
Pertanyaan tentang memilih model Whisper
Model Whisper mana yang sebaiknya saya pakai di Mac?
Large V3 Turbo Q5. Dalam tolok ukur ini, 4 varian large selesai dengan selisih paling banyak 13 patah kata dari 6.086 patah kata, sehingga akurasinya setara, dan di antara semuanya Large V3 Turbo Q5 memiliki unduhan terkecil, 574 MB, serta berjalan 12 kali waktu nyata.
Apakah model Whisper terbesar yang paling akurat?
Tidak ada selisih yang terukur. Large V3 berukuran 3,1 GB, 5,4 kali unduhan Large V3 Turbo Q5, dan skornya hanya berselisih 13 patah kata dari 6.086 patah kata, sementara berjalan 1,6 kali lebih lambat.
Apakah model Whisper terkuantisasi lebih buruk?
Tidak ada selisih yang terukur di sini. Large V3 Turbo Q5 berukuran 2,8 kali lebih kecil daripada Large V3 Turbo dan membuat 4 kesalahan lebih banyak dari 6.086 patah kata. Selisih itu masih dalam kisaran derau pengukuran ini, jadi ini alasan untuk menguji kuantisasi pada audio Anda sendiri, bukan jaminan bahwa kuantisasi tidak pernah mengurangi akurasi.
Aplikasi transkripsi Whisper mana yang terbaik?
Tidak ada tolok ukur yang bisa menobatkan satu pun. 4 model teratas selesai dengan selisih paling banyak 13 patah kata dari 6.086 patah kata, jadi model di bawahnya nyaris tidak menentukan. Yang membedakan aplikasi adalah apakah aplikasinya berjalan di perangkat, mentranskripsi rekaman yang sudah ada, dan memberi label siapa yang berbicara.
Lainnya