LesskeysSaat Whisper berhenti lebih awal dan mengaku selesai
Model Whisper bisa berhenti di tengah rekaman dan tetap melaporkan berhasil: 10 dari 143 proses dalam pengujian kami mengalaminya. Membandingkan jumlah transkrip yang kembali dengan panjang audio menangkapnya, tanpa transkrip acuan.
macOS 13+ di Apple Silicon · Tanpa langgananWindows 10 dan 11 · Tanpa langganan
Terakhir ditinjau
Apa itu
Apa itu pemotongan senyap
Teks yang dihasilkannya benar. Model hanya berhenti, dan pipeline menyatakan sudah selesai.
Model suara bisa mengembalikan kata yang salah, atau bisa berhenti di tengah jalan dan menyerahkan transkrip yang benar untuk bagian pertama seolah-olah sudah lengkap. Pada proses terburuk kami, bahasa Norwegia, model mengembalikan 113 dari 521 patah kata acuan setelah 30 menit komputasi, dan berhenti setelah 9 segmen. Pipeline kami sendiri mencatat proses itu sebagai COMPLETED: tanpa kesalahan, tanpa peringatan, tanpa penanda hasil parsial.
- 10 dari 143proses berhenti lebih awal
- 22%dari audio pada proses terburuk
- 9 dari 10pada dua berkas large-v3
Proses mana saja
Bahasa mana yang berhenti lebih awal
9 dari 10 ada pada dua berkas large-v3.
Cakupan adalah panjang transkrip dibagi panjang acuan: 1,00 berarti transkrip lengkap. Setiap batang adalah satu proses yang terpotong; garis putus-putus adalah batas 0,80.
Large V3: 5 dari 28 proses
- Norwegia0,22
- Melayu0,32
- Vietnam0,34
- Korea0,40
- Belanda0,74
Large V3 Q5: 4 dari 28 proses
- Ceko0,22
- Portugis (Brasil)0,35
- Vietnam0,37
- Melayu0,75
Large V3 Turbo Q5: 1 dari 29 proses
- Hindi†0,72
Hindi: catatan tentang penilaian
† Ini adalah proses model bawaan: 886 unit terhadap acuan 1.237, hitungan membengkak yang sama yang disebut dalam koreksi di Akurasi Whisper di 29 bahasa (Hindi: 1.237 unit terhadap 683 patah kata sebenarnya, dari penilai yang memecah kata pada tanda gabung), sehingga angka mutlak 0,72 tidak dapat diandalkan. Namun dua varian turbo lainnya mendapat 1.288 dan 1.242 unit terhadap acuan yang sama (cakupan 1,04 dan 1,00), jadi proses model bawaan itu 29 sampai 31 persen lebih pendek daripada keduanya. Tafsiran yang paling mungkin adalah pemotongan sungguhan, seperti yang juga dicatat dalam catatan hasil pekerjaan itu sendiri. Proses ini berjalan di bagian matriks dengan memori 12 GB (lihat batasan di bawah).
Selalu pendek, tidak pernah panjang
Setiap sel ekstrem dalam matriks ini pendek, tidak pernah panjang. Tidak satu pun dari 143 proses melebihi acuannya lebih dari setengah. Itu tanda yang berlawanan dengan kegagalan putaran pengulangan, ketika model macet dan mengeluarkan frasa yang sama selama beberapa menit, dengan cakupan lima kali acuan atau lebih. Keduanya parah dan keduanya tidak terlihat pada pemeriksaan sampel, tetapi dapat dibedakan dari tanda angka yang sama, dan itulah yang memungkinkan satu pemeriksaan menangkap keduanya.
Cara menangkapnya
Tangkap tanpa acuan
Bandingkan jumlah transkrip yang kembali dengan panjang audio.
Tingkat kesalahan kata memerlukan transkrip acuan, yang di lingkungan produksi tidak pernah Anda miliki. Cakupan tidak. Dalam matriks ini kedua kelompok terpisah dengan jelas:
| Aspek | Proses | Rata-rata cakupan | Rata-rata tingkat kesalahan |
|---|---|---|---|
| Terpotong | 10 | 0,44 | 65,90% |
| Sehat | 133 | 1,01 | 12,10% |
Batas 0,80 tidak disesuaikan dengan data: cakupan tertinggi di antara proses terpotong adalah 0,75 dan terendah di antara proses sehat adalah 0,82, jadi batas mana pun di dalam celah kosong itu memberi jawaban yang sama. Di produksi: bandingkan cap waktu segmen terakhir yang dikembalikan dengan durasi berkas, di komputer pengguna, tanpa ada yang perlu dibandingkan.
Tingkat kesalahan
Pemotongan menggelembungkan tingkat kesalahan
Large V3 rata-rata 24,64% di 28 bahasa; tanpa 5 prosesnya yang terpotong, 15,25%.
Sekitar 9,4 poin dari tingkat kesalahannya bukan karena model salah mendengar. Itu karena model tidak hadir.
Bahkan tanpa pemotongan, Large V3 tidak menyamai model turbo yang lebih kecil
Bahkan dengan pemotongan dikecualikan, Large V3 tidak menyamai kuantisasi turbo 834 MB, yang rata-ratanya 9,16% di seluruh 29 bahasa dan tidak pernah terpotong. Pada 28 bahasa yang dimiliki bersama oleh ketiga proses turbo (Hindi dikesampingkan), rata-ratanya Q8 8,59%, bawaan 8,71%, dan turbo 1,6 GB 8,80%, dalam selisih 0,2 poin satu sama lain, jadi sebagian besar selisih utama berasal dari satu baris Hindi. Ukuran tidak memprediksi keandalan di sini, begitu pula akurasi.
Di Mac
Artinya bagi model yang ditawarkan Lesskeys
Kedua berkas large-v3 ada di pemilih model versi App Store yang sedang dijual (3.1.4), dan keduanya menyumbang 9 dari 10 proses yang terpotong.
Tidak ada pemeriksaan cakupan di versi itu. Pemeriksaan yang diuraikan di atas adalah usulan untuknya, bukan fitur yang sudah dirilis.
Status per 15 Oktober 2026, untuk versi App Store yang sedang dijual (3.1.4)
Dinyatakan apa adanya, karena itulah alasan halaman ini layak diterbitkan, bukan disimpan:
- Kedua berkas model large-v3 ditawarkan di pemilih model Lesskeys, dan keduanya menyumbang 9 dari 10 proses yang terpotong. Pengguna yang berpikir “unduhan lebih besar, hasil lebih baik” memilih opsi paling tidak andal dalam daftar.
- Kuantisasi 834 MB yang mencatat rata-rata kesalahan terendah (selisih dengan proses turbo lain sebagian besar karena satu baris Hindi) dan nol pemotongan tidak ada di pemilih versi itu. Dalam pengujian ini model itu bisa dijangkau hanya karena direktori model dipindai saat startup.
- Model bawaan (547 MB) terpotong satu kali dalam 29 bahasa, pada Hindi (kemungkinan besar pemotongan sungguhan; lihat catatan di bawah daftar cakupan). Proses itu dan proses Large V3 Q5 untuk bahasa Ceko sama-sama berjalan di bagian matriks dengan memori 12 GB, dengan sedikit memori tersisa (lihat batasan).
- Tidak ada pemeriksaan cakupan di versi itu. Pemeriksaan yang diuraikan di atas adalah usulan untuknya, bukan fitur yang sudah dirilis. Saat dirilis, bagian ini akan ditulis ulang, bukan dihapus diam-diam.
Di Windows
Artinya di Windows
Pengujian dijalankan di aplikasi Mac. Aplikasi Windows tidak termasuk di dalamnya.
Saat label pembicara aktif, Lesskeys di Windows memiliki jaring pengaman untuk transkrip yang kembali kosong dari berkas yang berisi ucapan: aplikasi mendekode berkas itu lagi tanpa cap waktu. Aplikasi tidak memiliki pemeriksaan untuk transkrip yang berhenti di tengah, yaitu kasus di halaman ini. Pada berkas yang panjang, baca baris terakhir transkrip dibandingkan dengan audio, dan periksa bahwa akhir transkrip cocok dengan akhir rekaman.
Datanya
Metode, tabel, dan batasannya
Bagaimana proses dijalankan dan apa yang tidak dapat ditunjukkannya, dilipat.
Bagaimana pemotongan diukur
5 berkas model Whisper dari keluarga large-v3, di 29 bahasa, 143 dari 145 sel. Audionya FLEURS dengan tingkat suara dinormalkan tanpa angka di dalam teks (ucapan yang dibacakan dengan transkrip acuan yang dipublikasikan) sekitar 460 sampai 2.520 unit per bahasa.
Setiap proses berjalan melalui aplikasi yang dirilis pada mesin virtual yang menjalankan macOS Sequoia, bukan melalui whisper-cli. Itu penting: deteksi aktivitas suara, filter halusinasi, normalisasi kenyaringan, dan pembatasan bahasa semuanya ada di jalurnya, persis seperti yang dimiliki pengguna. Bahasa dikunci pada setiap proses dan dipatuhi di seluruh 143 sel; model yang benar-benar dimuat sesuai dengan model yang diminta di seluruh 143 sel. Dua sel yang tidak ada adalah Hindi pada kedua berkas model large-v3, yang sama sekali tidak selesai.
Kelima model: ukuran, rata-rata kesalahan, proses terpotong
Lima berkas model Whisper keluarga large-v3 di 29 bahasa (baris tanpa proses terpotong disorot)
| Model | Ukuran | Bahasa | Rata-rata kesalahan | Median | Proses terpotong |
|---|---|---|---|---|---|
| Model Large V3 Turbo Q8 ● tidak ada di pemilih | 834 MB | 29 | 9,16% | 6,80% | tidak ada |
| Large V3 Turbo | 1,6 GB | 29 | 9,52% | 7,23% | tidak ada |
| Model Large V3 Turbo Q5 ● bawaan | 547 MB | 29 | 9,99% | 7,81% | 1 dari 29 |
| Large V3 | 3 GB | 28 | 24,64% | 15,80% | 5 dari 28 |
| Large V3 Q5 | 1,0 GB | 28 | 26,66% | 18,66% | 4 dari 28 |
Batasan pengujian ini
- Ucapan yang dibacakan, bukan rapat. FLEURS adalah prosa rekaman yang bersih. Audio percakapan dan yang saling menimpa jauh lebih sulit, dan angka ini tidak boleh dibaca sebagai hasil yang Anda dapatkan pada panggilan sungguhan.
- Satu kali proses per sel. 143 sel, masing-masing satu proses. Pemotongan dapat direproduksi pada kedua berkas model large-v3 dan pada dua penyelidikan terpisah, tetapi matriks ini tidak menetapkan frekuensinya; matriks ini hanya menetapkan bahwa hal itu terjadi.
- Satu mesin, dua ukuran memori. Sel dijalankan pada satu mesin virtual Apple Silicon yang memorinya 12 GB untuk 33 sel pertama dan 24 GB untuk sisanya; seluruh 29 sel model bawaan dan empat sel pertama Large V3 Q5 (Arab, Ceko, Denmark, Jerman) berjalan di bagian 12 GB. Dua proses yang terpotong berada di sana: Hindi pada model bawaan (241 MB memori tersedia pada titik terendah) dan Ceko pada Large V3 Q5 (60 MB). Setiap proses terpotong lainnya memiliki lebih dari 6.000 MB tersedia. Memori rendah mungkin berkontribusi pada kedua proses itu, dan matriks ini tidak dapat memisahkannya dari model. Dekode dibiarkan pada nilai bawaan jalur berkas aplikasi, bukan nilai alat baris perintah.
- Tingkat absolut mengandung sedikit penggelembungan akibat pilihan normalisasi tanda baca dan huruf besar-kecil. Perbandingan antarmodel adalah bagian yang dapat diandalkan, bukan persentase absolutnya.
Kali ini transkripnya disimpan. Pada pengukuran sebelumnya, transkrip tertimpa oleh langkah konfigurasi proses berikutnya, dan pemotongan harus disimpulkan dari jumlah kata, itulah sebabnya hal itu tidak disadari selama itu. “Tingkat kesalahan lebih buruk” dan “berhenti lebih awal” tampak sama dalam tabel hasil.
Pertanyaan
Pertanyaan tentang Whisper yang berhenti lebih awal
Apa itu pemotongan senyap dalam pengenalan suara?
Model mengembalikan transkrip yang hanya mencakup sebagian audio, dan pipeline di sekitarnya melaporkan berhasil. Teks yang ada biasanya benar, jadi tidak ada yang tampak salah sampai seseorang membandingkan transkrip dengan rekamannya. Dalam matriks ini, hal itu memengaruhi 10 dari 143 proses, 9 di antaranya pada dua berkas model large-v3.
Bagaimana mendeteksi transkrip yang terpotong tanpa acuan?
Bandingkan apa yang dikembalikan dengan apa yang dimasukkan: cap waktu akhir segmen terakhir dengan durasi berkas audio, atau panjang transkrip dengan panjang yang diharapkan. Keduanya tidak memerlukan transkrip acuan, dan itulah yang membuat pemeriksaan ini dapat dipakai di lingkungan produksi. Dalam data ini, proses yang terpotong rata-rata memiliki cakupan 0,44 dibanding 1,01 untuk yang sehat.
Apakah model Whisper yang lebih besar memberi hasil lebih baik?
Tidak dalam matriks ini. Dua berkas model terbesar mencatat rata-rata tingkat kesalahan tertinggi dan menyumbang 9 dari 10 proses yang terpotong, sedangkan kuantisasi 834 MB dari model turbo mencatat rata-rata terendah (9,16%, dalam selisih 0,2 poin dari proses turbo lainnya jika Hindi dikesampingkan) dan tidak pernah terpotong. Ukuran unduhan tidak memprediksi akurasi maupun keandalan di sini.
Apakah ini bug di Whisper atau di aplikasi?
Belum dapat ditentukan, dan halaman ini tidak mengaku tahu. Yang terukur adalah kondisinya terjadi dan pipeline di sekitarnya tidak menyadarinya. Pemeriksaan cakupan yang diusulkan adalah mitigasi di lapisan aplikasi, lapisan yang kami kendalikan; pemeriksaan itu tidak mendiagnosis penyebab yang mendasarinya.
Lainnya