LesskeysApabila Whisper berhenti awal dan berkata ia sudah selesai
Model Whisper boleh berhenti separuh jalan dalam rakaman dan masih melaporkan kejayaan: 10 daripada 143 larian dalam ujian kami berbuat demikian. Membandingkan berapa banyak transkrip yang dipulangkan dengan panjang audio mengesannya, tanpa transkrip rujukan.
macOS 13+ pada Apple Silicon · Tiada langgananWindows 10 dan 11 · Tiada langganan
Terakhir disemak
Apa itu
Apakah pemotongan senyap
Teks yang dihasilkannya betul. Ia cuma berhenti, dan saluran paip berkata ia sudah siap.
Model pertuturan boleh memulangkan perkataan yang salah, atau ia boleh berhenti separuh jalan dan menyerahkan transkrip yang betul bagi bahagian pertama seolah-olah sudah siap. Dalam larian paling teruk kami, Norway, ia memulangkan 113 daripada 521 perkataan rujukan selepas 30 minit pengiraan, dan berhenti selepas 9 segmen. Saluran kami sendiri mencatat larian itu sebagai COMPLETED: tiada ralat, tiada amaran, tiada bendera hasil separa.
- 10 daripada 143larian berhenti awal
- 22%daripada audio dalam larian paling teruk
- 9 daripada 10pada dua fail large-v3
Larian mana
Bahasa mana yang berhenti awal
9 daripada 10 terdapat pada dua fail large-v3.
Liputan ialah panjang transkrip dibahagi dengan panjang rujukan: 1.00 ialah transkrip penuh. Setiap bar ialah satu larian terpotong; garis putus-putus ialah ambang 0.80.
Large V3: 5 daripada 28 larian
- Norway0.22
- Melayu0.32
- Vietnam0.34
- Korea0.40
- Belanda0.74
Large V3 Q5: 4 daripada 28 larian
- Czech0.22
- Portugis (Brazil)0.35
- Vietnam0.37
- Melayu0.75
Large V3 Turbo Q5: 1 daripada 29 larian
- Hindi†0.72
Hindi: satu catatan tentang pemarkahan
† Ini ialah larian model lalai: 886 unit berbanding rujukan 1,237, kiraan digembungkan yang sama yang dinamakan oleh pembetulan pada Ketepatan Whisper dalam 29 bahasa (Hindi: 1,237 unit berbanding 683 perkataan sebenar, daripada pemarkah yang memecahkan perkataan pada tanda gabungan), jadi 0.72 mutlak itu tidak boleh dipercayai. Tetapi dua model turbo lain dalam keluarga yang sama mencatat 1,288 dan 1,242 unit berbanding rujukan yang sama (liputan 1.04 dan 1.00), jadi larian lalai itu 29 hingga 31 peratus lebih pendek daripada mereka. Bacaan yang paling berkemungkinan ialah pemotongan sebenar, yang juga cara nota keputusan tugasan itu sendiri mencatatnya. Ia dijalankan dalam bahagian 12 GB matriks (lihat had di bawah).
Pendek, tidak pernah panjang
Setiap sel yang melampau dalam matriks ini pendek, tidak pernah panjang. Tiada satu pun daripada 143 larian melebihi rujukannya lebih daripada separuh. Itu tanda yang bertentangan dengan kegagalan gelung ulangan, di mana model tersekat dan mengeluarkan frasa yang sama selama beberapa minit, memberi liputan lima kali rujukan atau lebih. Kedua-duanya merupakan kegagalan besar dan kedua-duanya tidak kelihatan pada semakan rawak, tetapi ia boleh dibezakan melalui tanda nombor yang sama, itulah yang membolehkan satu semakan mengesan kedua-duanya.
Mengesannya
Mengesannya tanpa rujukan
Bandingkan berapa banyak transkrip yang dipulangkan dengan panjang audio.
Kadar ralat perkataan memerlukan transkrip rujukan, yang dalam pengeluaran anda tidak pernah ada. Liputan tidak. Dalam matriks ini kedua-dua kumpulan berpisah dengan bersih:
| Apa | Larian | Liputan purata | Kadar ralat purata |
|---|---|---|---|
| Terpotong | 10 | 0.44 | 65.90% |
| Sihat | 133 | 1.01 | 12.10% |
Ambang 0.80 tidak dipadankan dengan data: liputan tertinggi antara larian terpotong ialah 0.75 dan terendah antara larian sihat ialah 0.82, jadi mana-mana ambang dalam jalur kosong itu memberi jawapan yang sama. Dalam pengeluaran: bandingkan cap masa segmen terakhir yang dipulangkan dengan tempoh fail, pada mesin pengguna, tanpa sebarang transkrip untuk dibandingkan.
Kadar ralat
Pemotongan menggembungkan kadar ralat
Large V3 purata 24.64% merentas 28 bahasa; tanpa 5 larian terpotongnya, 15.25%.
Kira-kira 9.4 mata kadar ralatnya bukan kerana model tersalah dengar apa-apa. Ia kerana model tidak hadir.
Walaupun tanpa pemotongan, Large V3 tidak mengejar model turbo yang lebih kecil
Walaupun pemotongan dikecualikan, Large V3 tidak mengejar pengkuantisasian turbo 834 MB, yang purata 9.16% merentas semua 29 bahasa dan tidak pernah terpotong. Pada 28 bahasa yang dikongsi ketiga-tiga larian turbo (Hindi diketepikan), puratanya ialah Q8 8.59%, lalai 8.71% dan turbo 1.6 GB 8.80%, dalam lingkungan 0.2 mata antara satu sama lain, jadi kebanyakan jurang utama ialah satu baris Hindi. Saiz tidak meramalkan kebolehpercayaan di sini, dan ia tidak meramalkan ketepatan juga.
Pada Mac
Apa maksudnya untuk model yang ditawarkan Lesskeys
Kedua-dua fail large-v3 ada dalam pemilih model versi App Store yang dijual (3.1.4), dan ia menyumbang 9 daripada 10 larian terpotong.
Tiada semakan liputan dalam versi itu. Semakan yang diterangkan di atas ialah cadangan untuknya, bukan ciri yang sudah dikeluarkan.
Status pada 15 Oktober 2026, untuk versi App Store yang dijual (3.1.4)
Dinyatakan terus terang, kerana inilah sebab halaman ini patut diterbitkan dan bukan disimpan sahaja:
- Kedua-dua artifak large-v3 ditawarkan dalam pemilih model Lesskeys, dan ia menyumbang 9 daripada 10 larian terpotong. Pengguna yang berfikir “muat turun lebih besar, hasil lebih baik” memilih pilihan paling tidak boleh dipercayai dalam senarai.
- Pengkuantisasian 834 MB yang mencatat ralat purata terendah (jurang kepada larian turbo lain kebanyakannya satu baris Hindi) dan sifar pemotongan tiada dalam pemilih versi itu. Ia hanya boleh dicapai dalam ujian ini kerana direktori model diimbas semasa permulaan.
- Model lalai (547 MB) terpotong sekali dalam 29 bahasa, pada Hindi (berkemungkinan pemotongan sebenar; lihat nota di bawah senarai liputan). Larian itu dan larian Czech Large V3 Q5 kedua-duanya dijalankan dalam bahagian 12 GB matriks, dengan sedikit memori lebihan (lihat had).
- Memang tiada semakan liputan dalam versi itu. Semakan yang diterangkan di atas ialah cadangan untuknya, bukan ciri yang sudah dikeluarkan. Apabila ia dikeluarkan, bahagian ini ditulis semula dan bukan dipadam secara senyap.
Pada Windows
Apa maksudnya pada Windows
Ujian dijalankan dalam aplikasi Mac. Aplikasi Windows bukan sebahagian daripadanya.
Apabila label penutur dihidupkan, Lesskeys pada Windows mempunyai jaring keselamatan untuk transkrip yang dipulangkan kosong daripada fail yang mengandungi pertuturan: ia menyahkod fail itu sekali lagi tanpa cap masa. Ia tidak mempunyai semakan untuk transkrip yang berhenti separuh jalan, iaitu kes pada halaman ini. Pada fail panjang, bandingkan baris terakhir transkrip dengan audio, dan semak bahawa penghujung transkrip sepadan dengan penghujung rakaman.
Data
Kaedah, jadual dan had
Cara larian dibuat dan apa yang tidak dapat diberitahunya, dilipat.
Cara pemotongan diukur
5 artifak Whisper daripada keluarga large-v3, merentas 29 bahasa, 143 daripada 145 sel. Audionya ialah FLEURS yang dinormalkan paras tanpa digit dalam teks (pertuturan bacaan dengan transkrip rujukan yang diterbitkan) pada kira-kira 460 hingga 2,520 unit bagi setiap bahasa.
Setiap larian melalui aplikasi yang dikeluarkan pada mesin maya yang menjalankan macOS Sequoia, bukan melalui whisper-cli. Itu penting: pengesanan aktiviti suara, penapis halusinasi, normalisasi kenyaringan dan penetapan bahasa semuanya ada dalam laluan, tepat seperti yang pengguna akan dapat. Bahasa dikunci bagi setiap larian dan dipatuhi dalam semua 143 sel; model yang sebenarnya dimuatkan sepadan dengan model yang diminta dalam semua 143. Dua sel yang tiada ialah Hindi pada kedua-dua artifak large-v3, yang langsung tidak selesai.
Lima model: saiz, ralat purata, larian terpotong
Lima artifak Whisper keluarga large-v3 merentas 29 bahasa (baris tanpa larian terpotong diserlahkan)
| Model | Saiz | Bahasa | Ralat purata | Median | Larian terpotong |
|---|---|---|---|---|---|
| Large V3 Turbo Q8 ● tiada dalam pemilih | 834 MB | 29 | 9.16% | 6.80% | tiada |
| Large V3 Turbo | 1.6 GB | 29 | 9.52% | 7.23% | tiada |
| Large V3 Turbo Q5 ● lalai dalam aplikasi | 547 MB | 29 | 9.99% | 7.81% | 1 daripada 29 |
| Large V3 | 3 GB | 28 | 24.64% | 15.80% | 5 daripada 28 |
| Large V3 Q5 | 1.0 GB | 28 | 26.66% | 18.66% | 4 daripada 28 |
Had ujian ini
- Pertuturan bacaan, bukan mesyuarat. FLEURS ialah prosa rakaman yang bersih. Audio perbualan dan bertindih jauh lebih sukar, dan kadar ini tidak patut dibaca sebagai apa yang akan anda dapat pada panggilan sebenar.
- Satu laluan bagi setiap sel. 143 sel, satu larian setiap satu. Pemotongan dapat diulang merentas dua artifak large-v3 dan merentas dua siasatan berasingan, tetapi matriks ini tidak menentukan kadar; ia menentukan bahawa ia berlaku.
- Satu mesin, dua saiz memori. Sel dijalankan pada satu mesin maya Apple Silicon yang memorinya 12 GB untuk 33 sel pertama dan 24 GB untuk selebihnya; semua 29 sel model lalai dan empat sel Large V3 Q5 pertama (Arab, Czech, Denmark, Jerman) dijalankan dalam bahagian 12 GB. Dua larian terpotong berada di dalamnya: Hindi pada lalai (241 MB memori tersedia pada titik terendah) dan Czech pada Large V3 Q5 (60 MB). Setiap larian terpotong lain mempunyai lebih 6,000 MB tersedia. Memori rendah mungkin menyumbang kepada dua itu, dan matriks ini tidak dapat memisahkannya daripada model. Penyahkodan dibiarkan pada lalai laluan-fail aplikasi dan bukan lalai alat baris perintah.
- Kadar mutlak mengandungi sedikit penggembungan daripada pilihan normalisasi tanda baca dan huruf besar. Perbandingan antara model ialah bahagian yang paling penting, bukan peratusan mutlak.
Transkrip disimpan kali ini. Dalam sapuan terdahulu ia ditimpa oleh langkah konfigurasi larian seterusnya, dan pemotongan terpaksa disimpulkan daripada bilangan perkataan, itulah sebabnya ia tidak disedari begitu lama. “Kadar ralat lebih teruk” dan “berhenti awal” kelihatan sama dalam jadual keputusan.
Soalan
Soalan tentang Whisper berhenti awal
Apakah pemotongan senyap dalam pengecaman pertuturan?
Model memulangkan transkrip yang meliputi hanya sebahagian audio dan saluran paip sekelilingnya melaporkan kejayaan. Teks yang ada biasanya betul, jadi tiada apa kelihatan salah sehingga seseorang membandingkan transkrip dengan rakaman. Dalam matriks ini ia menjejaskan 10 daripada 143 larian, 9 daripadanya pada dua artifak large-v3.
Bagaimana saya mengesan transkrip terpotong tanpa rujukan?
Bandingkan apa yang dipulangkan dengan apa yang dimasukkan: cap masa akhir segmen terakhir berbanding tempoh fail audio, atau panjang transkrip berbanding panjang yang dijangka. Kedua-duanya tidak memerlukan transkrip kebenaran asas, itulah yang menjadikan semakan ini boleh digunakan dalam pengeluaran. Dalam data ini, larian terpotong purata liputannya 0.44 berbanding 1.01 bagi yang sihat.
Adakah model Whisper yang lebih besar memberi hasil lebih baik?
Tidak dalam matriks ini. Dua artifak terbesar mencatat kadar ralat purata tertinggi dan menyumbang 9 daripada 10 larian terpotong, manakala pengkuantisasian 834 MB bagi model turbo mencatat purata terendah (9.16%, dalam lingkungan 0.2 mata daripada larian turbo lain setelah Hindi diketepikan) dan tidak pernah terpotong. Saiz muat turun tidak meramalkan ketepatan mahupun kebolehpercayaan di sini.
Adakah ini pepijat dalam Whisper atau dalam aplikasi?
Belum dapat dipastikan, dan halaman ini tidak mendakwa tahu. Yang diukur ialah keadaan itu berlaku dan saluran paip sekelilingnya tidak menyedarinya. Pengawal liputan yang dicadangkan ialah langkah pengurangan risiko pada lapisan aplikasi, lapisan yang kami kawal; ia tidak mendiagnosis punca asas.
Lagi