LesskeysWhisper erken durduğunda
Son gözden geçirme:
Nedir
Sessiz kesilme nedir
Ürettiği metin doğruydu. Sadece durdu ve işlem hattı bittiğini söyledi.
Bir konuşma modeli yanlış sözcükler döndürebilir ya da ortada durup ilk bölümün doğru bir transkriptini bitmiş gibi teslim edebilir. En kötü çalıştırmamızda, Norveççe, 30 dakikalık hesaplamanın ardından 521 referans sözcüğün 113’ünü döndürdü ve 9 segmentten sonra durdu. Kendi işlem hattımız o çalıştırmayı TAMAMLANDI olarak kaydetti: hata yok, uyarı yok, kısmi sonuç işareti yok.
- 143 çalıştırmanın 10’uerken durdu
- %22sesin, en kötü çalıştırmada
- 10’un 9’uiki large-v3 dosyasında
Hangi çalıştırmalar
Hangi diller erken durdu
10’un 9’u iki large-v3 dosyasında.
Kapsam, transkript uzunluğunun referans uzunluğuna bölünmesidir: 1,00 tam bir transkripttir. Her çubuk kesilmiş bir çalıştırmadır; kesikli çizgi 0,80 eşiğidir.
- Norveççe0,22
- Malayca0,32
- Vietnamca0,34
- Korece0,40
- Felemenkçe0,74
- Çekçe0,22
- Portekizce (Brezilya)0,35
- Vietnamca0,37
- Malayca0,75
- Hintçe†0,72
Hintçe: bir puanlama uyarısı
† Bu, varsayılan modelin çalıştırmasıdır: 1.237’lik bir referansa karşı 886 birim;
Hep kısa, hiç uzun değil
Bu matristeki her uç hücre hep kısa, hiç uzun değil. 143 çalıştırmanın hiçbiri referansını yarıdan fazla aşmadı. Bu, bir modelin takılıp aynı ifadeyi dakikalarca çıkardığı, referansın beş katı veya daha fazlası kapsam veren tekrar döngüsü hatasının tam tersi işarettir. İkisi de yıkıcıdır ve ikisi de yüzeysel bir kontrolde görünmez, ama aynı sayının işaretiyle ayırt edilebilirler; tek bir kontrolün ikisini de yakalamasını sağlayan da budur.
Yakalayın
Referans olmadan yakalayın
Geri gelen transkript miktarını sesin süresiyle karşılaştırın.
Sözcük hata oranı, üretimde hiç sahip olmadığınız bir referans transkript ister. Kapsam istemez. Bu matriste iki grup net biçimde ayrılıyor:
| Konu | Çalıştırmalar | Ortalama kapsam | Ortalama hata oranı |
|---|---|---|---|
| Kesilmiş | 10 | 0,44 | %65,90 |
| Sağlam | 133 | 1,01 | %12,10 |
0,80 eşiği verilere uydurulmuş değildir: kesilmiş çalıştırmalar arasındaki en yüksek kapsam 0,75, sağlam çalıştırmalar arasındaki en düşük ise 0,82’dir; bu boş aralığın içindeki her eşik aynı yanıtı verir. Üretimde: kullanıcının makinesinde, karşılaştıracak hiçbir şey olmadan, dönen son segmentin zaman damgasını dosyanın süresiyle karşılaştırın.
Hata oranı
Kesilme hata oranını şişirir
Hata oranının kabaca 9,4 puanı, modelin bir şeyi yanlış duymasından değil, modelin orada olmamasından gelir.
Kesilme çıkarılsa bile Large V3, daha küçük turbo modele yetişemiyor
Lesskeys ’in sunduğu
O sürümde kapsam kontrolü yok. Yukarıda anlatılan kontrol onun için bir öneridir, sunulmuş bir özellik değil.
15 Ekim 2026 itibarıyla durum, satıştaki App Store sürümü için (3.1.4 )
Açıkça söylüyoruz, çünkü bu sayfayı dosyalayıp bırakmak yerine yayımlamaya değer kılan da bu:
- İki large-v3 modeli de
Lesskeys model seçicisinde sunuluyor En düşük ortalama hatayı veren (diğer turbo çalıştırmalarına göre farkı çoğunlukla tek bir Hintçe satırı) ve sıfır kesilmesi olan seçicisinde yok. Bu testte yalnızca model dizini açılışta tarandığı için ulaşılabilir oldu.834 MB ’lık kuantizasyon, o sürümünVarsayılan model ( 547 MB ) 29 dilde bir kez kesildi, Hintçe’de (büyük olasılıkla gerçek bir kesilme; kapsam listesinin altındaki nota bakın). O çalıştırma ile ÇekçeLarge V3 Q5 çalıştırmasının ikisi de matrisin12 GB ’lık bölümünde, az bellek payıyla çalıştı (sınırlara bakın).- O sürümde kapsam kontrolü yok. Yukarıda anlatılan kontrol onun için bir öneridir, sunulmuş bir özellik değil. Sunulduğunda bu bölüm sessizce silinmek yerine yeniden yazılacak.
Windows
Veriler
Yöntem, tablo ve sınırlar
Çalıştırmaların nasıl yapıldığı ve size neyi söyleyemeyeceği, kapalı durumda.
Kesilme nasıl ölçüldü
Her çalıştırma, whisper-cli
Beş model: boyut, ortalama hata, kesilmiş çalıştırmalar
| Model | Boyut | Diller | Ortalama hata | Medyan | Kesilmiş çalıştırmalar |
|---|---|---|---|---|---|
| 29 | %9,16 | %6,80 | yok | ||
| 29 | %9,52 | %7,23 | yok | ||
| 29 | %9,99 | %7,81 | 29’un 1’i | ||
| 28 | %24,64 | %15,80 | 28’in 5’i | ||
| 28 | %26,66 | %18,66 | 28’in 4’ü |
Bu testin sınırları
- Okunmuş konuşma, toplantı değil. FLEURS temiz kaydedilmiş düz yazıdır. Sohbet havasındaki ve üst üste binen ses belirgin biçimde daha zordur; bu oranlar gerçek bir görüşmede elde edeceğiniz sonuç olarak okunmamalıdır.
- Hücre başına tek geçiş. 143 hücre, her biri bir çalıştırma. Kesilme iki large-v3 modelinde ve iki ayrı incelemede yeniden üretilebildi, ama bu matris bir oran belirlemez; yalnızca olduğunu gösterir.
- Tek makine, iki bellek boyutu.
Hücreler, belleği ilk 33 hücre için 12 GB , kalanı için24 GB olan tek birApple Silicon sanal makinesinde çalıştı; 29 varsayılan model hücresinin tümü ve ilk dörtLarge V3 Q5 hücresi (Arapça, Çekçe, Danca, Almanca)12 GB ’lık bölümde çalıştı. İki kesilmiş çalıştırma oraya düşüyor: varsayılanda Hintçe (en düşük noktada241 MB bellek kullanılabilir) veLarge V3 Q5’te Çekçe (60 MB ). Diğer her kesilmiş çalıştırmada6.000 MB ’tan fazla bellek vardı. Düşük bellek bu ikisine katkıda bulunmuş olabilir ve bu matris bunu modelden ayıramaz. Kod çözme, komut satırı aracınınkine değil, uygulamanın dosya yolu varsayılanlarına bırakıldı. - Mutlak oranlar biraz yüksek çıkar; bunun nedeni noktalama ve büyük/küçük harf normalleştirme tercihleridir. Belirleyici olan kısım modeller arasındaki karşılaştırmalardır, mutlak yüzdeler değil.
Transkriptler bu sefer saklandı. Önceki bir taramada, bir sonraki çalıştırmanın yapılandırma adımı onların üzerine yazmıştı ve kesilme sözcük sayılarından çıkarılmak zorunda kaldı; fark edilmeden bu kadar uzun süre kalmasının nedeni de tam olarak budur. “Daha kötü hata oranı” ile “erken durdu” bir sonuç tablosunda aynı görünür.
Sorular
Whisper ’ın erken durması hakkında sorular
Konuşma tanımada sessiz kesilme nedir?
Bir model sesin yalnızca bir kısmını kapsayan bir transkript döndürür ve çevresindeki işlem hattı başarı bildirir. Mevcut metin genellikle doğrudur; bu yüzden biri transkripti kayıtla karşılaştırana kadar yanlış bir şey görünmez. Bu matriste 143 çalıştırmanın 10’unu etkiledi; bunların 9’u iki large-v3 modelindeydi.
Referans olmadan kesilmiş bir transkripti nasıl anlarım?
Geri geleni, girenle karşılaştırın: son segmentin bitiş zaman damgasını ses dosyasının süresiyle ya da transkript uzunluğunu beklenen uzunlukla. İkisi de doğru bir referans transkript gerektirmez; kontrolü üretimde kullanılabilir kılan da budur. Bu verilerde kesilen çalıştırmalar ortalama 0,44 kapsam, sağlam olanlar ise 1,01 kapsam verdi.
Daha büyük bir Whisper modeli daha iyi sonuç verir mi?
Bu Whisper ’da mı yoksa uygulamada mı bir hata?
Belirsiz; sayfa da bildiğini iddia etmiyor. Ölçülen, bu durumun ortaya çıktığı ve çevresindeki işlem hattının bunu fark etmediğidir. Önerilen kapsam koruması, kontrol ettiğimiz katman olan uygulama katmanında bir önlemdir; altta yatan nedeni teşhis etmez.
Daha fazlası