LesskeysAkurasi Whisper di 29 bahasa
Jalankan model Large V3 Turbo Q5 547 MB: di 29 bahasa, tidak ada model yang lebih besar yang secara signifikan lebih baik di 23 di antaranya. Baris Hindi, Arab, dan Ibrani melebih-lebihkan tingkat kesalahannya dan sedang diukur ulang, jadi bacalah bersama koreksi di bagian atas.
macOS 13+ di Apple Silicon · Tanpa langganan
Terakhir ditinjau
Panduan ini untuk Mac. Untuk Windows, lihat Menjalankan Whisper di Windows.
Baca ini dulu
Baris yang sedang diukur ulang
Koreksi, bertanggal 28 Agustus 2026
Penilai di balik tabel ini menormalkan teks dengan [^\w\s], dan \w milik Python tidak cocok dengan tanda gabung Unicode. Setiap tanda vokal Devanagari, nukta Bengali, dan diakritik Arab karenanya diganti dengan spasi, sehingga satu kata terpecah menjadi beberapa. Diukur pada acuan yang sama dengan yang dipakai halaman ini: Tamil mendapat 1.520 unit terhadap 437 patah kata sebenarnya, Hindi 1.237 terhadap 683, Assam 1.220 terhadap 498. Baris aksara Latin, Sirilik, dan CJK tidak terpengaruh — aksara itu tidak memiliki tanda gabung — begitu pula kesimpulan yang bertumpu padanya.
Ini membengkakkan acuan dan, karena pecahan kata tidak dapat diselaraskan, jumlah kesalahan ikut membengkak. Jadi baris Hindi, Arab, Ibrani, dan aksara bertanda gabung lainnya melebih-lebihkan tingkat kesalahan dengan besaran yang berbeda-beda per bahasa, dan klaim “bahasa terburuk” di bawah tidak aman untuk baris-baris itu. Pengukuran ulang yang dikoreksi di 83 bahasa sedang berjalan sekarang dan halaman ini akan dibuat ulang darinya.
Hal ini dicatat di sini, bukan dihapus diam-diam, dengan alasan yang sama seperti penarikan kembali di bawah: normalisasi yang diam-diam merusak aksara non-Latin adalah kegagalan yang justru perlu diketahui pembaca tolok ukur multibahasa, dan tidak terlihat dalam angka mana pun yang dipublikasikan.
Status, 15 Oktober 2026
Pengukuran baru mencakup 83 bahasa dan enam model, untuk transkripsi berkas maupun dikte. Hasilnya belum ada di halaman ini karena belum selesai: 89 dari 996 proses ujinya gagal, semuanya pada model terbesar dan di 17 bahasa, dan proses-proses itu tidak semuanya memakai jumlah memori komputer atau versi alat uji yang sama. Sampai selesai, tabel di bawah tetap tabel 29 bahasa yang dijelaskan di atas, jadi baris bertanda † (Hindi, Arab, dan Ibrani, yang disebut dalam koreksi) masih memuat tingkat kesalahan yang membengkak, dan mungkin begitu juga aksara bertanda gabung lainnya. Perbandingan pada baris Latin, Sirilik, dan CJK tidak terpengaruh.
Jawabannya
Model 547 MB tetap bertahan
Di 23 dari 29 bahasa tidak ada model dalam kumpulan ini yang secara signifikan lebih baik daripada model bawaan 547 MB.
- 23 dari 29bahasa: tidak ada model lebih besar yang jelas lebih baik
- 6bahasa yang model lebih besarnya sepadan dengan ukurannya
- 9 dari 29bahasa yang skor model turbo 1,6 GB-nya lebih buruk
Signifikan berarti uji-z dua proporsi dengan z ≤ −2 terhadap model bawaan. Baca 23 lainnya sebagai tidak dapat dibedakan, bukan sebagai terbukti sama.
Pengecualian
Saat model yang lebih besar sepadan dengan ukurannya
Jika Anda bekerja dalam bahasa Thai, Jepang, Finlandia, Prancis, Belanda, atau Korea, unduhan yang lebih besar sepadan.
| Aspek | Bawaan (547 MB) | Model yang lebih baik | Peningkatan |
|---|---|---|---|
| Thai | 20,8% | v3: 12,6% | −8,2 poin |
| Jepang | 18,5% | v3-q5: 14,2% | −4,3 poin |
| Finlandia | 10,8% | v3-q5: 7,7% | −3,1 poin |
| Prancis | 10,0% | v3: 7,5% | −2,5 poin |
| Belanda | 10,8% | v3-q5: 8,3% | −2,5 poin |
| Korea | 11,3% | v3-q5: 9,4% | −1,9 poin |
v3-q5 (1,0 GB) memberikan hampir seluruh peningkatannya: v3 3 GB tidak pernah mengunggulinya lebih dari 1,2 poin persentase.
Tidak selalu lebih besar
Model yang lebih besar tidak selalu lebih akurat
Model turbo 1,6 GB mendapat skor secara numerik lebih buruk daripada model bawaan 547 MB di 9 dari 29 bahasa.
Model 75 MB tidak dapat dipakai di luar bahasa Inggris: Hindi† 100,0%, Denmark 87,2%, Hungaria 84,8%, Ceko 84,0%, Ibrani† 81,9%.
Bahasa mana saja, dan seberapa besar
Hindi† (42,1% dibanding 34,4%), Thai (24,6% dibanding 20,8%), Tionghoa (Sederhana) (16,8% dibanding 13,7%), Melayu (9,8% dibanding 7,1%), Vietnam (10,3% dibanding 9,8%), Indonesia (7,8% dibanding 7,4%), Turki (15,5% dibanding 15,2%), Yunani (11,3% dibanding 11,2%), Prancis (10,1% dibanding 10,0%). Selisih sekecil itu tidak semuanya signifikan secara individu pada ukuran sampel ini; yang penting adalah arahnya, yang tidak akan diprediksi oleh ukuran saja. Memilih model satu tingkat di atasnya bukan pilihan bawaan yang aman.
Titik ekstrem
Yang termudah dan tersulit
Hasil terbaik: Spanyol, 2,8%.
Tingkat kesalahan tertinggi yang tidak diperbaiki model mana pun adalah Ibrani†, yang tidak turun di bawah 48,3% pada konfigurasi mana pun yang diuji. Koreksi menyebutkan bahwa pembacaan ini tidak aman untuk aksara bertanda gabung seperti Ibrani, jadi anggaplah belum terkonfirmasi sampai hasil pengukuran yang dikoreksi ada di halaman ini.
Penarikan kembali
Sebuah penarikan kembali, tetap dipertahankan
Penarikan kembali
Versi awal rangkaian pengukuran ini melaporkan large-v3 secara signifikan lebih baik daripada model bawaan untuk bahasa Ukraina. Itu keliru. Pengukuran dilakukan dengan beam 5, yang merupakan bawaan whisper-cli tetapi bukan yang dipakai aplikasi. Setelah dijalankan ulang dengan greedy — pengaturan sebenarnya — model bawaan dan v3 berakhir seri. Selisihnya berasal dari dekoder, bukan dari modelnya. Hal ini dicatat di sini, bukan dihapus diam-diam, karena pengaturan dekoder justru variabel yang paling sering tidak disebutkan dalam perbandingan Whisper lokal.
Datanya
Tabel lengkap, metode, dan batasannya
Tabel lengkap, metode, dan batasannya, dilipat: buka salah satunya.
Tingkat kesalahan menurut bahasa dan model (29 bahasa, 6 model)
Tingkat kesalahan menurut bahasa dan model (29 bahasa, 6 model)
| Bahasa | Metrik | tiny 75 MB | small 466 MB | turbo-q5 547 MB | turbo 1,6 GB | v3-q5 1,0 GB | v3 3 GB |
|---|---|---|---|---|---|---|---|
| Arab† ar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Tionghoa (Sederhana) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Ceko cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Denmark da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Belanda nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Inggris en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Finlandia fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Prancis fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Jerman de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Yunani el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Ibrani† he | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Hindi† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Hungaria hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Indonesia id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Italia it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Jepang ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Korea ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Melayu ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Norwegia no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Polandia pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Portugis (BR) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Rumania ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Rusia ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Spanyol es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Swedia sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Thai th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Turki tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Ukraina uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| Vietnam vi | WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Cara pengukurannya
Enam varian model Whisper mentranskripsi korpus ucapan bacaan yang sama di 29 bahasa, setiap bahasa yang tersedia di listing App Store Lesskeys, di Apple Silicon, dengan pengaturan dekoder yang sama dengan yang dipakai aplikasi (greedy, tanpa beam search). Angkanya adalah tingkat kesalahan kata, kecuali untuk bahasa Jepang, Korea, Thai, dan Tionghoa, yang katanya tidak dipisahkan spasi, sehingga dipakai tingkat kesalahan karakter. Makin rendah makin baik.
● menandai model terbaik untuk bahasa itu. Kolom yang disorot adalah model 547 MB, bawaan di Lesskeys 3.1.4, dan garis dasar untuk semua yang di atas. † menandai baris yang sedang diukur ulang. Geser tabel ke samping di ponsel; bahasanya tetap terlihat.
Batasan pengujian ini
- Satu potongan per bahasa (sekitar 1.000 patah kata, atau sekitar 2.000 karakter untuk bahasa dengan tingkat kesalahan karakter). Cukup untuk memisahkan perbedaan besar, tidak cukup untuk menilai perbedaan kecil. Jika halaman ini menyebut sebuah model “bertahan”, bacalah sebagai tidak dapat dibedakan pada ukuran sampel ini, bukan terbukti identik.
- whisper-cli dengan pengaturan konteks dan dekode aplikasi, bukan pipeline Lesskeys yang lengkap, yang menambahkan deteksi aktivitas suara, filter halusinasi, normalisasi kenyaringan, dan pembatasan bahasa. Tabel ini tidak mengukur pipeline itu.
- Ucapan yang dibacakan, bukan rapat. Audio percakapan dan yang saling menimpa jauh lebih sulit.
- Tingkat absolut mengandung sedikit penggelembungan dari perbedaan format angka dan tanda baca yang tidak dihitung sebagai kesalahan oleh pembaca manusia. Perbandingan antarmodel pada bahasa yang sama adalah bagian yang dapat dipercaya; perbandingan antarbahasa lebih banyak derau.
Pertanyaan
Pertanyaan tentang akurasi Whisper menurut bahasa
Model Whisper mana yang sebaiknya saya jalankan di Mac?
Di 23 dari 29 bahasa yang diukur, model Large V3 Turbo terkuantisasi 547 MB seakurat model mana pun yang lebih besar, jadi itulah pilihan bawaan yang masuk akal. Pengecualiannya tercantum di halaman ini; di bahasa-bahasa itu model v3-q5 1,0 GB sepadan dengan unduhan tambahannya.
Apakah kuantisasi model Whisper menurunkan akurasi?
Nyaris tidak. Di seluruh 29 bahasa, model 3 GB berpresisi penuh tidak pernah mengungguli model terkuantisasi 1,0 GB lebih dari 1,2 poin persentase, dan model bawaan terkuantisasi 547 MB setara dengan model yang jauh lebih besar di sebagian besar bahasa.
Apakah model Whisper yang lebih besar selalu lebih akurat?
Tidak. Model turbo 1,6 GB mendapat skor secara numerik lebih buruk daripada model bawaan 547 MB di 9 dari 29 bahasa yang diukur. Ukuran model bukan ukuran akurasi yang andal untuk suatu bahasa.
Apakah ini diukur di cloud?
Tidak. Setiap angka dihasilkan secara lokal di Apple Silicon, yang juga cara Lesskeys menjalankan transkripsi: audio tidak pernah keluar dari mesin.
Lainnya