LesskeysKetepatan Whisper dalam 29 bahasa
Jalankan model Large V3 Turbo Q5 547 MB: merentas 29 bahasa, tiada model yang lebih besar secara signifikan lebih baik dalam 23 daripadanya. Baris Hindi, Arab dan Ibrani melebih-lebihkan kadar ralat dan sedang diukur semula, jadi bacalah bersama pembetulan di bahagian atas.
macOS 13+ pada Apple Silicon · Tiada langganan
Terakhir disemak
Panduan ini untuk Mac. Untuk Windows, lihat Menjalankan Whisper pada Windows.
Baca ini dahulu
Baris yang sedang diukur semula
Pembetulan, bertarikh 28 Ogos 2026
Pemarkah di sebalik jadual ini menormalkan teks dengan [^\w\s], dan \w dalam Python tidak sepadan dengan tanda gabungan Unicode. Setiap tanda vokal Devanagari, nukta Bengali dan diakritik Arab oleh itu digantikan dengan ruang, memecahkan satu perkataan kepada beberapa. Diukur pada rujukan yang sama yang digunakan halaman ini: Tamil mencatat 1,520 unit berbanding 437 perkataan sebenar, Hindi 1,237 berbanding 683, Assam 1,220 berbanding 498. Baris Latin, Sirilik dan CJK tidak terjejas — skrip itu tidak membawa tanda gabungan — begitu juga kesimpulan yang bergantung padanya.
Ini menggembungkan rujukan dan, kerana serpihan tidak dapat diselaraskan, bilangan ralat bersamanya. Jadi baris untuk Hindi, Arab, Ibrani dan skrip tanda gabungan lain melebih-lebihkan kadar ralat dengan jumlah yang berbeza bagi setiap bahasa, dan dakwaan “bahasa paling teruk” di bawah tidak selamat untuk baris tersebut. Sapuan yang dibetulkan merentas 83 bahasa sedang berjalan sekarang dan halaman ini akan dijana semula daripadanya.
Ia dicatat di sini dan bukannya dipadam secara senyap, atas sebab yang sama seperti penarikan balik di bawah: penormal yang secara senyap merosakkan skrip bukan Latin ialah kegagalan yang tepat patut diberitahu kepada pembaca penanda aras berbilang bahasa, dan ia tidak kelihatan dalam mana-mana nombor yang diterbitkan.
Status, 15 Oktober 2026
Pengukuran baharu meliputi 83 bahasa dan enam model, untuk transkripsi fail dan imlak. Ia belum ada pada halaman ini kerana belum selesai: 89 daripada 996 larian ujiannya gagal, semuanya pada model terbesar dan dalam 17 bahasa, dan larian itu tidak semuanya menggunakan jumlah memori komputer yang sama atau versi alat ujian yang sama. Sehingga siap, jadual di bawah masih jadual 29 bahasa yang diterangkan di atas, jadi baris bertanda † (Hindi, Arab dan Ibrani, yang dinamakan dalam pembetulan) masih membawa kadar ralat yang digembungkan, begitu juga mungkin skrip tanda gabungan lain. Perbandingan pada baris Latin, Sirilik dan CJK tidak terjejas.
Jawapannya
Model 547 MB bertahan
Dalam 23 daripada 29 bahasa tiada model dalam set ini yang secara signifikan lebih baik daripada lalai 547 MB.
- 23 daripada 29bahasa: tiada model lebih besar yang jelas lebih baik
- 6bahasa yang model lebih besar berbaloi dengan saiznya
- 9 daripada 29bahasa yang model turbo 1.6 GB mencatat skor lebih teruk
Signifikan bermaksud ujian-z dua perkadaran pada z ≤ −2 berbanding lalai. Baca 23 yang lain sebagai tidak terpisah, bukan sebagai terbukti sama.
Pengecualian
Di mana model lebih besar berbaloi dengan saiznya
Jika anda bekerja dalam bahasa Thai, Jepun, Finland, Perancis, Belanda atau Korea, muat turun yang lebih besar berbaloi.
| Apa | Lalai (547 MB) | Model lebih baik | Peningkatan |
|---|---|---|---|
| Thai | 20.8% | v3: 12.6% | −8.2 pp |
| Jepun | 18.5% | v3-q5: 14.2% | −4.3 pp |
| Finland | 10.8% | v3-q5: 7.7% | −3.1 pp |
| Perancis | 10.0% | v3: 7.5% | −2.5 pp |
| Belanda | 10.8% | v3-q5: 8.3% | −2.5 pp |
| Korea | 11.3% | v3-q5: 9.4% | −1.9 pp |
v3-q5 (1.0 GB) mencapai hampir semua peningkatan itu: v3 3 GB tidak pernah memperbaikinya lebih daripada 1.2 mata peratusan.
Tidak selalu lebih besar
Model lebih besar tidak selalu lebih tepat
Model turbo 1.6 GB mencatat skor secara berangka lebih teruk daripada lalai 547 MB dalam 9 daripada 29 bahasa.
Model 75 MB tidak boleh digunakan di luar bahasa Inggeris: Hindi† 100.0%, Denmark 87.2%, Hungary 84.8%, Czech 84.0%, Ibrani† 81.9%.
Bahasa mana, dan sebanyak mana
Hindi† (42.1% berbanding 34.4%), Thai (24.6% berbanding 20.8%), Cina (Ringkas) (16.8% berbanding 13.7%), Melayu (9.8% berbanding 7.1%), Vietnam (10.3% berbanding 9.8%), Indonesia (7.8% berbanding 7.4%), Turki (15.5% berbanding 15.2%), Greek (11.3% berbanding 11.2%), Perancis (10.1% berbanding 10.0%). Margin sekecil itu tidak semuanya signifikan secara individu pada saiz sampel ini; yang penting ialah arahnya, yang tidak akan diramalkan oleh saiz sahaja. Mengambil model seterusnya yang lebih besar bukan lalai yang selamat.
Yang melampau
Paling mudah dan paling sukar
Keputusan terbaik: Sepanyol, 2.8%.
Kadar ralat tertinggi yang tidak diperbaiki oleh mana-mana model ialah Ibrani†, yang tidak jatuh di bawah 48.3% dalam mana-mana konfigurasi yang diuji. Pembetulan menyatakan bacaan ini tidak selamat untuk skrip tanda gabungan seperti Ibrani, jadi anggaplah ia belum disahkan sehingga sapuan yang dibetulkan ada pada halaman ini.
Penarikan balik
Satu penarikan balik, dikekalkan di tempatnya
Penarikan balik
Versi terdahulu sapuan ini melaporkan large-v3 secara signifikan lebih baik daripada lalai untuk Ukraine. Itu salah. Ia diukur di bawah beam 5, iaitu lalai whisper-cli tetapi bukan yang disertakan dalam aplikasi. Apabila dijalankan semula secara greedy — tetapan sebenar — lalai dan v3 berakhir seri sepenuhnya. Jurangnya ialah penyahkod, bukan model. Ia dicatat di sini dan bukannya dipadam secara senyap, kerana tetapan penyahkod ialah pemboleh ubah yang kebanyakan perbandingan Whisper setempat tidak nyatakan.
Data
Jadual penuh, kaedah dan had
Jadual penuh, kaedah dan had, dilipat: buka mana-mana satu.
Kadar ralat mengikut bahasa dan model (29 bahasa, 6 model)
Kadar ralat mengikut bahasa dan model (29 bahasa, 6 model)
| Bahasa | Metrik | tiny 75 MB | small 466 MB | turbo-q5 547 MB | turbo 1.6 GB | v3-q5 1.0 GB | v3 3 GB |
|---|---|---|---|---|---|---|---|
| Arab† ar-SA | WER | 67.0% | 36.9% | 22.9% | 22.4% | 22.3% | 22.2% ● |
| Cina (Ringkas) zh-Hans | CER | 55.0% | 24.8% | 13.7% | 16.8% | 13.1% | 12.6% ● |
| Czech cs | WER | 84.0% | 40.4% | 13.2% | 12.8% | 13.1% | 11.9% ● |
| Denmark da | WER | 87.2% | 35.0% | 13.4% | 13.0% | 12.6% ● | 13.3% |
| Belanda nl-NL | WER | 74.8% | 28.8% | 10.8% | 9.8% | 8.3% ● | 8.4% |
| Inggeris en-US | WER | 31.9% | 10.7% | 9.1% | 8.9% | 7.0% ● | 8.9% |
| Finland fi | WER | 64.4% | 31.8% | 10.8% | 10.1% | 7.7% ● | 7.7% ● |
| Perancis fr-FR | WER | 50.1% | 26.1% | 10.0% | 10.1% | 7.7% | 7.5% ● |
| Jerman de-DE | WER | 35.0% | 11.9% | 5.2% | 4.7% ● | 5.2% | 5.2% |
| Greek el | WER | 74.7% | 32.9% | 11.2% ● | 11.3% | 11.8% | 12.3% |
| Ibrani† he | WER | 81.9% | 63.2% | 51.0% | 48.4% | 48.3% ● | 48.3% ● |
| Hindi† hi | WER | 100.0% | 68.3% | 34.4% | 42.1% | 33.4% | 32.4% ● |
| Hungary hu | WER | 84.8% | 48.7% | 17.9% | 17.9% | 17.0% | 16.3% ● |
| Indonesia id | WER | 59.2% | 21.8% | 7.4% ● | 7.8% | 8.1% | 9.4% |
| Itali it | WER | 31.8% | 8.2% | 4.0% | 2.9% ● | 4.6% | 4.5% |
| Jepun ja | CER | 54.3% | 25.4% | 18.5% | 15.6% | 14.2% ● | 17.0% |
| Korea ko | CER | 33.9% | 24.6% | 11.3% | 11.3% | 9.4% ● | 9.5% |
| Melayu ms | WER | 62.5% | 25.1% | 7.1% | 9.8% | 6.0% | 5.9% ● |
| Norway no | WER | 64.0% | 24.2% | 10.0% | 9.8% ● | 10.0% | 9.8% ● |
| Poland pl | WER | 57.0% | 17.7% | 6.7% | 6.4% ● | 7.4% | 7.6% |
| Portugis (BR) pt-BR | WER | 25.4% | 7.9% | 5.2% | 5.1% | 5.0% | 4.9% ● |
| Romania ro | WER | 79.1% | 33.4% | 10.2% | 9.9% | 9.5% | 9.2% ● |
| Rusia ru | WER | 38.7% | 12.9% | 6.4% | 6.3% ● | 6.8% | 7.3% |
| Sepanyol es-ES | WER | 19.3% | 7.0% | 3.5% | 3.5% | 3.0% | 2.8% ● |
| Sweden sv | WER | 57.2% | 21.4% | 8.3% | 8.1% | 7.1% ● | 7.3% |
| Thai th | CER | 62.4% | 27.5% | 20.8% | 24.6% | 13.2% | 12.6% ● |
| Turki tr | WER | 62.1% | 30.5% | 15.2% | 15.5% | 13.1% ● | 13.5% |
| Ukraine uk | WER | 68.3% | 39.2% | 23.1% | 21.0% ● | 23.3% | 23.1% |
| Vietnam vi | WER | 64.1% | 26.6% | 9.8% ● | 10.3% | 10.2% | 10.2% |
Cara ia diukur
Enam varian model Whisper mentranskripsi korpus pertuturan bacaan yang sama dalam 29 bahasa, setiap bahasa yang disertakan dalam penyenaraian App Store Lesskeys, pada Apple Silicon, melalui tetapan penyahkod yang sama dengan yang digunakan aplikasi sendiri (greedy, tanpa carian beam). Kadarnya ialah kadar ralat perkataan, kecuali bagi Jepun, Korea, Thai dan Cina, yang perkataannya tidak dipisahkan ruang dan kadar ralat aksara digunakan sebagai ganti. Lebih rendah lebih baik.
● menandakan model terbaik bagi bahasa itu. Lajur yang diserlahkan ialah model 547 MB, lalai dalam Lesskeys 3.1.4, dan garis asas bagi semua yang di atas. † menandakan baris yang sedang diukur semula. Tatal jadual ke sisi pada telefon; bahasa kekal kelihatan.
Had ujian ini
- Satu bahagian bagi setiap bahasa (kira-kira 1,000 perkataan, atau kira-kira 2,000 aksara bagi bahasa yang menggunakan kadar ralat aksara). Cukup untuk memisahkan perbezaan besar, tidak cukup untuk menentukan yang kecil. Apabila halaman ini menyatakan model “bertahan”, baca itu sebagai tidak terpisah pada saiz sampel ini, bukan terbukti serupa.
- whisper-cli dengan tetapan konteks dan penyahkodan aplikasi, bukan saluran paip penuh Lesskeys, yang menambah pengesanan aktiviti suara, penapis halusinasi, normalisasi kenyaringan dan penetapan bahasa. Jadual ini tidak mengukur saluran tersebut.
- Pertuturan bacaan, bukan mesyuarat. Audio perbualan dan bertindih jauh lebih sukar.
- Kadar mutlak mengandungi sedikit penggembungan daripada perbezaan format nombor dan tanda baca yang tidak dikira sebagai ralat oleh pembaca manusia. Perbandingan antara model pada bahasa yang sama ialah bahagian yang boleh dipercayai; perbandingan antara bahasa mengandungi lebih banyak hingar.
Soalan
Soalan tentang ketepatan Whisper mengikut bahasa
Model Whisper manakah yang patut saya jalankan pada Mac?
Dalam 23 daripada 29 bahasa yang diukur, model Large V3 Turbo terkuantisasi 547 MB setepat mana-mana model yang lebih besar, jadi ia pilihan lalai yang munasabah. Pengecualian disenaraikan pada halaman ini; dalam bahasa tersebut model v3-q5 1.0 GB berbaloi dengan muat turun tambahan.
Adakah pengkuantisasian menjejaskan ketepatan model Whisper?
Hampir tidak. Merentas semua 29 bahasa, model 3 GB berketepatan penuh tidak pernah mengatasi model terkuantisasi 1.0 GB lebih daripada 1.2 mata peratusan, dan lalai terkuantisasi 547 MB menyamai model yang jauh lebih besar dalam kebanyakan bahasa.
Adakah model Whisper yang lebih besar sentiasa lebih tepat?
Tidak. Model turbo 1.6 GB mencatat skor secara berangka lebih teruk daripada lalai 547 MB dalam 9 daripada 29 bahasa yang diukur. Saiz model bukan wakil yang boleh dipercayai bagi ketepatan dalam sesuatu bahasa.
Adakah ini diukur dalam awan?
Tidak. Setiap nombor dihasilkan secara setempat pada Apple Silicon, yang juga cara Lesskeys menjalankan transkripsi: audio tidak pernah meninggalkan mesin.
Lagi