Mac ’te hangi Whisper modelini çalıştırmalısınız?
Son gözden geçirme:
Yanıt
Large V3 Turbo Q5 ’i edinin
- 4 eşitmodel, doğrulukta eşit
574 MB indirme (uygulamada 547 MB )- 12kat gerçek zamanlı hız
Başa baş
Büyüğü daha pahalıya geldi ve hiçbir şey kazandırmadı
13 sözcük içinde aynı doğruluk için indirme 5,4 katına çıkıyor, çalışma 1,6 kat yavaşlıyor.
Gerçek farklar
Farkların gerçek olduğu yerler
Bu, biraz daha kötü bir transkript değil, farklı türde bir transkripttir. Küçük bir indirmeyle aceleyle çıkarılmış kaba, aranabilir bir kayıt için hâlâ işe yarar; transkriptin kendisi kayıt olacaksa yanlış seçimdir.
Başa baş grubun altındaki modeller
Small : %3,55, en iyiden 75 hata fazla; 488 MB ; gerçek zamanın 35 katı (Large V3Turbo Q5’te gerçek zamanın 12 katı)Tiny : %6,87, en iyiden 277 hata fazla; 78 MB ; gerçek zamanın 89 katı (Large V3Turbo Q5’te gerçek zamanın 12 katı)
Daha küçük dosya
Daha küçük bir dosya doğruluğa mal olur mu?
Ölçebildiğimiz kadarıyla hayır.
ileLarge V3Turbo Q5Large V3Turbo : 4 hata fazla (154’e karşı 150)574 MB ’a karşı1,6 GB (2,8× küçük), 6.086 sözcükte ileLarge V3 Q5Large V3: 2 hata az (141’e karşı 143)1,1 GB ’a karşı3,1 GB (2,9× küçük), 6.086 sözcükte
Bu, genel bir yasa değil, kuantizasyonu kendi sesinizde test etmek için bir nedendir.
Test edilmedi
Bunun size söylemedikleri
- Toplantı ya da telefon görüşmesi yok
- Üst üste konuşma ya da gürültü yok
Başka Mac yok: yalnızcaApple M1 Max- Konuşmacı etiketi yok
Gerçek toplantılar daha zordur ve her sayı onlarda daha kötü olurdu: bir taban değerdir, bir sonraki toplantınız için verilmiş bir söz değil. Bir model, bazı dillerde uzun bir dosyada erken durabilir ve yine de başarı bildirebilir:
Veriler
Tablonun tamamı ve yeniden üretme
Her model için hata, hız ve indirme; yöntemle birlikte, bir tık uzakta.
Tam sonuç tablosu
| Model | Sözcük hata oranı | Hatalar | Hız | İndir |
|---|---|---|---|---|
| %2,32 | 141 / 6.086 sözcük | gerçek zamanın 7 katı | ||
| %2,35 | 143 / 6.086 sözcük | gerçek zamanın 7 katı | ||
| %2,46 | 150 / 6.086 sözcük | gerçek zamanın 12 katı | ||
| %2,53 | 154 / 6.086 sözcük | gerçek zamanın 12 katı | ||
| %3,55 | 216 / 6.086 sözcük | gerçek zamanın 35 katı | ||
| %6,87 | 418 / 6.086 sözcük | gerçek zamanın 89 katı |
İlk 4 model gerçekten başa baş mı?
Bu kıyaslama nasıl yeniden üretilir
Veri kümesi herkese açıktır (
Puanlama normalleştiricisi kontrol edilmeye değer kısımdır, çünkü onsuz sözcük hata oranı hiçbir şey ifade etmez. Bizimki, tanıma değil biçimlendirme olan farkları yok sayar (büyük/küçük harf, noktalama, tire kullanımı, 23 ile yirmi üç, Mr. ile mister) ve her gerçek ikame, silme ve eklemeyi yine de sayar. On bir test senaryosuyla kilitlidir; bunların arasında gerçek hataların normalleştirmeyle silinmediğini doğrulayanlar da var. Bu adım olmadan modeller doğruluk yerine noktalama stili yüzünden cezalandırılır.
Hız rakamları tek bir makineden
Sorular
Whisper modeli seçmek hakkında sorular
Mac ’imde hangi Whisper modelini kullanmalıyım?
En büyük Whisper modeli en doğru olanı mıdır?
Kuantize edilmiş bir Whisper modeli daha mı kötüdür?
En iyi Whisper transkripsiyon uygulaması hangisi?
Hiçbir kıyaslama birini taçlandıramaz. İlk 4 model 6.086 sözcükte birbirinden en fazla 13 sözcük farkla bitiriyor; yani alttaki model neredeyse belirleyici değil. Uygulamaları ayıran şey, cihaz üzerinde çalışıp çalışmadıkları, var olan kayıtları yazıya dökmeleri ve kimin konuştuğunu etiketlemeleridir.
Daha fazlası