LesskeysModel Whisper mana yang perlu dijalankan pada Mac?
Jalankan Large V3 Turbo Q5. Dalam ujian kami ia seri untuk ketepatan terbaik antara enam model Whisper (dalam lingkungan 13 perkataan daripada yang terbaik, daripada 6,086), dan ia ialah muat turun terkecil dalam kumpulan itu pada 574 MB, berjalan pada 12 kali masa nyata pada Apple M1 Max.
macOS 13+ pada Apple Silicon · Tiada langganan
Terakhir disemak
Panduan ini untuk Mac. Untuk Windows, lihat Menjalankan Whisper pada Windows.
Jawapannya
Dapatkan Large V3 Turbo Q5
Ia seri untuk ketepatan terbaik antara enam model Whisper, dan ia ialah muat turun terkecil dalam kumpulan seri itu.
- 4 serimodel, sama dari segi ketepatan
- 574 MBmuat turun (547 MB dalam aplikasi)
- 12kali masa nyata
Dalam lingkungan 13 perkataan daripada yang terbaik, daripada 6,086. Satu jam audio mengambil masa kira-kira lima minit pada Apple M1 Max. Saiz di sini ialah saiz fail yang diukur dalam unit perpuluhan; aplikasi melabel fail yang sama 547 MB. Di luar bahasa Inggeris beberapa bahasa berbeza: Ketepatan Whisper dalam 29 bahasa.
Seri
Lebih besar lebih mahal dan tidak memberi apa-apa
Ketepatan yang sama dalam lingkungan 13 perkataan memerlukan muat turun 5.4 kali ganda lebih besar dan berjalan 1.6 kali lebih perlahan.
Model seri terbesar ialah Large V3 pada 3.1 GB. Memilih yang lebih kecil menjejaskan ketepatan dengan nyata: Small membuat 75 ralat lebih banyak daripada yang terbaik, dan Tiny membuat 3 kali ganda lebih banyak ralat.
Perbezaan sebenar
Di mana perbezaannya nyata
Tiny membuat 3 kali ganda ralat berbanding yang terbaik: 418 berbanding 141.
Itu jenis transkrip yang berbeza, bukan yang sedikit lebih teruk. Ia masih sesuai untuk rekod kasar yang boleh dicari yang dibuat dengan tergesa-gesa daripada muat turun kecil, dan ia pilihan yang salah apabila transkrip itulah rekodnya.
Model di bawah kumpulan seri
- Small: 3.55%, 75 ralat lebih banyak daripada yang terbaik; 35 kali masa nyata berbanding 12 bagi Large V3 Turbo Q5, pada 488 MB
- Tiny: 6.87%, 277 ralat lebih banyak daripada yang terbaik; 89 kali masa nyata berbanding 12 bagi Large V3 Turbo Q5, pada 78 MB
Fail lebih kecil
Adakah fail lebih kecil menjejaskan ketepatan?
Tidak seperti yang dapat kami ukur.
- Large V3 Turbo Q5 berbanding Large V3 Turbo: 574 MB berbanding 1.6 GB (2.8× lebih kecil), dan 4 ralat lebih banyak daripada 6,086 perkataan (154 berbanding 150)
- Large V3 Q5 berbanding Large V3: 1.1 GB berbanding 3.1 GB (2.9× lebih kecil), dan 2 ralat lebih sedikit daripada 6,086 perkataan (141 berbanding 143)
Ia alasan untuk menguji pengkuantisasian pada audio anda sendiri, bukan hukum umum.
Tidak diuji
Apa yang tidak ditunjukkan oleh ujian ini
LibriSpeech test-clean ialah kes mudah: pertuturan buku audio yang dibaca.
- Tiada mesyuarat atau panggilan telefon
- Tiada perbualan bertindih atau bunyi bising
- Tiada Mac lain: hanya Apple M1 Max
- Tiada label penutur
Mesyuarat sebenar lebih sukar, dan setiap nombor akan lebih teruk padanya: ia paras bawah, bukan janji tentang mesyuarat harian anda yang seterusnya. Model juga boleh berhenti awal pada fail panjang dalam sesetengah bahasa dan masih melaporkan kejayaan: apabila Whisper berhenti awal.
Data
Jadual penuh dan cara menghasilkannya semula
Ralat, kelajuan dan muat turun bagi setiap model, serta kaedahnya, boleh dibuka dengan satu klik.
Jadual keputusan penuh
Enam model Whisper yang ditawarkan Lesskeys dijalankan pada 300 ujaran yang sama (37 minit audio) daripada LibriSpeech test-clean, set penanda aras awam piawai, yang disertakan transkrip manusianya sendiri. Kami menilai kadar ralat perkataan berbanding transkrip tersebut, menentukan masa setiap larian dan merekodkan saiz muat turun. Ralat lebih rendah lebih baik; bar dilukis berkadar dengan nilai terbesar dalam lajurnya.
Enam model Whisper pada 6,086 perkataan LibriSpeech test-clean (Apple M1 Max)
| Model | Kadar ralat perkataan | Ralat | Kelajuan | Muat turun |
|---|---|---|---|---|
| Large V3 Q5 ● | 2.32% | 141 / 6,086 perkataan | 7 kali masa nyata | 1.1 GB |
| Large V3 ● | 2.35% | 143 / 6,086 perkataan | 7 kali masa nyata | 3.1 GB |
| Large V3 Turbo ● | 2.46% | 150 / 6,086 perkataan | 12 kali masa nyata | 1.6 GB |
| Large V3 Turbo Q5 ● | 2.53% | 154 / 6,086 perkataan | 12 kali masa nyata | 574 MB |
| Small | 3.55% | 216 / 6,086 perkataan | 35 kali masa nyata | 488 MB |
| Tiny | 6.87% | 418 / 6,086 perkataan | 89 kali masa nyata | 78 MB |
Diukur pada Apple M1 Max dengan whisper.cpp, GPU Metal dan flash attention dihidupkan, lalai whisper.cpp (saiz beam 5), bahasa dipaksa kepada en, 8 thread. ● menandakan model yang kami anggap seri terbaik. “89 kali masa nyata” bermaksud satu jam audio ditranskripsi dalam kira-kira 1 minit. Saiz dalam jadual ini ialah saiz fail yang diukur dalam unit perpuluhan, jadi ia berbeza daripada label dalam aplikasi dan pada halaman lain: fail Large V3 Turbo Q5 574 MB ialah 547 MB di sana, Small ialah 466 MB (di sini 488 MB), Tiny ialah 75 MB (di sini 78 MB), Large V3 Q5 ialah 1.0 GB dan Large V3 ialah 3 GB.
Adakah 4 model teratas benar-benar seri?
Large V3 Q5, Large V3, Large V3 Turbo, Large V3 Turbo Q5 berada dalam lingkungan 13 perkataan antara satu sama lain merentas 6,086 perkataan teks rujukan. Itulah paras hingar pengukuran, bukan perbezaan. Kami menganggap mana-mana model dalam lingkungan 0.5 mata peratusan daripada yang terbaik sebagai seri, kerana hingar kedudukan akan menjadikan halaman ini kelihatan lebih tegas dan kurang benar.
Cara mengulangi penanda aras ini
Set data ini awam (OpenSLR), modelnya ialah binaan ggml Whisper piawai, dan alat ujiannya satu fail Python. Sampel dipilih secara deterministik (id ujaran diisih, dilangkau sama rata, tanpa benih rawak), jadi larian bebas memilih ujaran yang sama.
Penormal pemarkahan ialah bahagian yang patut disemak, kerana kadar ralat perkataan tidak bermakna tanpanya. Kami mengabaikan perbezaan yang berkaitan format dan bukan pengecaman (huruf besar, tanda baca, tanda sempang, 23 berbanding twenty three, Mr. berbanding mister) dan masih mengira setiap penggantian, pemadaman dan penyisipan sebenar. Ia dikunci oleh sebelas kes ujian, termasuk yang mengesahkan ralat sebenar tidak dinormalkan. Tanpa langkah itu model dihukum kerana gaya tanda baca dan bukan kerana ketepatan.
Angka kelajuan datang daripada satu mesin; cip Apple Silicon yang berbeza akan memberi hasil lain: susunannya sepatutnya kekal, nombor mutlaknya tidak. Ini hanya mengukur model transkripsi, bukan pelabelan penutur, yang merupakan peringkat berasingan dengan kadar ralatnya sendiri.
Soalan
Soalan tentang memilih model Whisper
Model Whisper manakah yang patut saya gunakan pada Mac saya?
Large V3 Turbo Q5. Dalam penanda aras ini 4 varian besar berada dalam lingkungan 13 perkataan antara satu sama lain merentas 6,086 perkataan, jadi ia seri dari segi ketepatan, dan antara mereka, Large V3 Turbo Q5 ialah muat turun terkecil pada 574 MB dan berjalan pada 12 kali masa nyata.
Adakah model Whisper terbesar yang paling tepat?
Tidak secara terukur. Large V3 ialah 3.1 GB, 5.4 kali ganda saiz muat turun Large V3 Turbo Q5, dan mencatat skor dalam lingkungan 13 perkataan daripadanya merentas 6,086 perkataan, sambil berjalan 1.6 kali lebih perlahan.
Adakah model Whisper terkuantisasi lebih teruk?
Tidak secara terukur di sini. Large V3 Turbo Q5 2.8 kali lebih kecil daripada Large V3 Turbo dan membuat 4 ralat tambahan daripada 6,086 perkataan. Itu masih dalam lingkungan hingar pengukuran ini, jadi ia alasan untuk menguji pengkuantisasian pada audio anda sendiri dan bukan jaminan bahawa ia tidak pernah menjejaskan ketepatan.
Aplikasi transkripsi Whisper manakah yang terbaik?
Tiada penanda aras yang boleh memahkotakan satu. 4 model terkemuka berada dalam lingkungan 13 perkataan antara satu sama lain merentas 6,086 perkataan, jadi model di bawahnya hampir tidak menentukan. Yang membezakan aplikasi ialah sama ada ia berjalan dalam peranti, mentranskripsi rakaman sedia ada, dan melabel siapa yang bertutur.
Lagi