Lesskeys
Dil
RehberMac

Mac’te hangi Whisper modelini çalıştırmalısınız?

Kısa cevap

Large V3 Turbo Q5’i çalıştırın. Testimizde altı Whisper modeli arasında en iyi doğrulukta başa baş geldi (6.086 sözcükte en iyiden en fazla 13 sözcük farkla); o grubun en küçük indirmesidir (574 MB) ve bir Apple M1 Max’te gerçek zamanın 12 katı hızda çalışır.

Apple Silicon üzerinde macOS 13+ · Abonelik yok

Son gözden geçirme:

Bu rehber Mac içindir. Windows için bkz. Windows’ta Whisper çalıştırma.

Gerçek sonucun çizimi: her Whisper modeli için bir tane olmak üzere, sözcük hata oranıyla orantılı çizilmiş altı yatay çubuk. 4 model en iyide başa baş ve yeşil gösteriliyor; 6.086 sözcükte birbirinden en fazla 13 sözcük farkla. Large V3 Turbo Q5 bunların en küçüğü ve “Bunu çalıştırın” diye işaretli. Small ve Tiny daha uzun çubuklarla kırmızı gösteriliyor.
Bir Apple M1 Max üzerinde ölçülen, LibriSpeech test-clean sözcük hata oranı. Çubuk uzunluğu hata oranıyla orantılıdır. Boyutlar, ondalık birimlerle ölçülmüş dosya boyutlarıdır; uygulama Large V3 Turbo Q5’i 547 MB olarak gösterir.

Yanıt

Large V3 Turbo Q5’i edinin

Altı Whisper modeli arasında en iyi doğrulukta başa baş geldi ve başa baş gelen grubun en küçük indirmesidir.

  • 4 eşitmodel, doğrulukta eşit
  • 574 MBindirme (uygulamada 547 MB)
  • 12kat gerçek zamanlı hız

6.086 sözcükte en iyiden en fazla 13 sözcük farkla. Bir saatlik ses, bir Apple M1 Max’te kabaca beş dakika sürer. Buradaki boyutlar ondalık birimlerle ölçülmüş dosya boyutlarıdır; uygulama aynı dosyayı 547 MB olarak etiketler. İngilizce dışında birkaç dil farklıdır: 29 dilde Whisper doğruluğu.

Başa baş

Büyüğü daha pahalıya geldi ve hiçbir şey kazandırmadı

13 sözcük içinde aynı doğruluk için indirme 5,4 katına çıkıyor, çalışma 1,6 kat yavaşlıyor.

Başa baş gelen en büyük model, 3,1 GB ile Large V3’tür. Daha küçüğüne inmek gerçek doğruluğa mal olur: Small, en iyiden 75 hata fazla yapar; Tiny ise üç katı kadar.

Gerçek farklar

Farkların gerçek olduğu yerler

Tiny, en iyinin 3 katı hata yapar: 418’e karşı 141.

Bu, biraz daha kötü bir transkript değil, farklı türde bir transkripttir. Küçük bir indirmeyle aceleyle çıkarılmış kaba, aranabilir bir kayıt için hâlâ işe yarar; transkriptin kendisi kayıt olacaksa yanlış seçimdir.

Başa baş grubun altındaki modeller
  • Small: %3,55, en iyiden 75 hata fazla; 488 MB; gerçek zamanın 35 katı (Large V3 Turbo Q5’te gerçek zamanın 12 katı)
  • Tiny: %6,87, en iyiden 277 hata fazla; 78 MB; gerçek zamanın 89 katı (Large V3 Turbo Q5’te gerçek zamanın 12 katı)

Daha küçük dosya

Daha küçük bir dosya doğruluğa mal olur mu?

Ölçebildiğimiz kadarıyla hayır.

  • Large V3 Turbo Q5 ile Large V3 Turbo: 574 MB’a karşı 1,6 GB (2,8× küçük), 6.086 sözcükte 4 hata fazla (154’e karşı 150)
  • Large V3 Q5 ile Large V3: 1,1 GB’a karşı 3,1 GB (2,9× küçük), 6.086 sözcükte 2 hata az (141’e karşı 143)

Bu, genel bir yasa değil, kuantizasyonu kendi sesinizde test etmek için bir nedendir.

Test edilmedi

Bunun size söylemedikleri

LibriSpeech test-clean kolay durumdur: okunmuş sesli kitap konuşması.

  • Toplantı ya da telefon görüşmesi yok
  • Üst üste konuşma ya da gürültü yok
  • Başka Mac yok: yalnızca Apple M1 Max
  • Konuşmacı etiketi yok

Gerçek toplantılar daha zordur ve her sayı onlarda daha kötü olurdu: bir taban değerdir, bir sonraki toplantınız için verilmiş bir söz değil. Bir model, bazı dillerde uzun bir dosyada erken durabilir ve yine de başarı bildirebilir: Whisper erken durduğunda.

Veriler

Tablonun tamamı ve yeniden üretme

Her model için hata, hız ve indirme; yöntemle birlikte, bir tık uzakta.

Tam sonuç tablosu

Lesskeys’in sunduğu Whisper modellerinden altısı, kendi insan transkriptleriyle gelen standart herkese açık kıyaslama kümesi LibriSpeech test-clean’den aynı 300 söylem (37 dakikalık ses) üzerinde çalıştırıldı. Sözcük hata oranını bu transkriptlere göre puanladık, her çalıştırmayı zamanladık ve indirme boyutunu kaydettik. Düşük hata iyidir; çubuk, sütunundaki en büyük değerle orantılı çizilir.

LibriSpeech test-clean’in 6.086 sözcüğünde altı Whisper modeli (Apple M1 Max)

ModelSözcük hata oranıHatalarHızİndir
Large V3 Q5 ●%2,32141 / 6.086 sözcükgerçek zamanın 7 katı1,1 GB
Large V3 ●%2,35143 / 6.086 sözcükgerçek zamanın 7 katı3,1 GB
Large V3 Turbo ●%2,46150 / 6.086 sözcükgerçek zamanın 12 katı1,6 GB
Large V3 Turbo Q5 ●%2,53154 / 6.086 sözcükgerçek zamanın 12 katı574 MB
Small%3,55216 / 6.086 sözcükgerçek zamanın 35 katı488 MB
Tiny%6,87418 / 6.086 sözcükgerçek zamanın 89 katı78 MB

Bir Apple M1 Max üzerinde, whisper.cpp ile, Metal GPU ve flash attention açık, whisper.cpp varsayılanları (beam boyutu 5), dil İngilizce (en) olarak zorlanmış, 8 iş parçacığı ile ölçüldü. ● başa baş en iyi saydığımız modelleri işaretler. “Gerçek zamanın 89 katı”, bir saatlik sesin yaklaşık 1 dakikada yazıya dökülmesi demektir. Bu tablodaki boyutlar ondalık birimlerle ölçülmüş dosya boyutlarıdır; bu yüzden uygulamadaki ve diğer sayfalardaki etiketlerden farklıdır: Large V3 Turbo Q5’in 574 MB’lık dosyası orada 547 MB, Small 466 MB (burada 488 MB), Tiny 75 MB (burada 78 MB), Large V3 Q5 1,0 GB ve Large V3 3 GB’dır.

İlk 4 model gerçekten başa baş mı?

Large V3 Q5, Large V3, Large V3 Turbo ve Large V3 Turbo Q5, 6.086 sözcüklük referans metinde birbirinden en fazla 13 sözcük farkla bitirdi. Bu, ölçümün gürültü tabanıdır, bir fark değil. En iyiden 0,5 yüzde puanı içindeki her modeli başa baş sayıyoruz, çünkü sıralama gürültüsü bu sayfayı daha kesin gösterir ama daha az doğru yapardı.

Bu kıyaslama nasıl yeniden üretilir

Veri kümesi herkese açıktır (OpenSLR), modeller Whisper’ın standart ggml sürümleridir ve test düzeneği tek bir Python dosyasıdır. Örneklem belirleyici biçimde seçilir (sıralı söylem kimlikleri, eşit aralıklı, rastgele tohum yok); bu yüzden bağımsız bir çalıştırma aynı söylemleri seçer.

Puanlama normalleştiricisi kontrol edilmeye değer kısımdır, çünkü onsuz sözcük hata oranı hiçbir şey ifade etmez. Bizimki, tanıma değil biçimlendirme olan farkları yok sayar (büyük/küçük harf, noktalama, tire kullanımı, 23 ile yirmi üç, Mr. ile mister) ve her gerçek ikame, silme ve eklemeyi yine de sayar. On bir test senaryosuyla kilitlidir; bunların arasında gerçek hataların normalleştirmeyle silinmediğini doğrulayanlar da var. Bu adım olmadan modeller doğruluk yerine noktalama stili yüzünden cezalandırılır.

Hız rakamları tek bir makineden gelir; farklı bir Apple Silicon çipi başka bir yere düşer: sıralamanın korunması beklenir, mutlak sayıların değil. Bu yalnızca transkripsiyon modellerini ölçer; kendi hata oranı bulunan ayrı bir aşama olan konuşmacı etiketlemeyi ölçmez.

Sorular

Whisper modeli seçmek hakkında sorular

Mac’imde hangi Whisper modelini kullanmalıyım?

Large V3 Turbo Q5. Bu kıyaslamada 4 büyük varyant 6.086 sözcükte birbirinden en fazla 13 sözcük farkla bitirdi; yani doğrulukta başa baş. Bunların içinde Large V3 Turbo Q5, 574 MB ile en küçük indirmedir ve gerçek zamanın 12 katı hızda çalışır.

En büyük Whisper modeli en doğru olanı mıdır?

Ölçülebilir bir fark yok. Large V3, 3,1 GB ile Large V3 Turbo Q5 indirmesinin 5,4 katı büyüklüğündedir ve 6.086 sözcükte ondan en fazla 13 sözcük farkla sonuç aldı; üstelik 1,6 kat daha yavaş çalıştı.

Kuantize edilmiş bir Whisper modeli daha mı kötüdür?

Burada ölçülebilir bir fark yok. Large V3 Turbo Q5, Large V3 Turbo’dan 2,8 kat küçüktür ve 6.086 sözcükte 4 hata fazla yaptı. Bu fark ölçümün gürültüsü içinde kalır; yani kuantizasyonun doğruluğa asla mal olmayacağının garantisi değil, kuantizasyonu kendi sesinizde test etmeniz için bir nedendir.

En iyi Whisper transkripsiyon uygulaması hangisi?

Hiçbir kıyaslama birini taçlandıramaz. İlk 4 model 6.086 sözcükte birbirinden en fazla 13 sözcük farkla bitiriyor; yani alttaki model neredeyse belirleyici değil. Uygulamaları ayıran şey, cihaz üzerinde çalışıp çalışmadıkları, var olan kayıtları yazıya dökmeleri ve kimin konuştuğunu etiketlemeleridir.

Daha fazlası

Sonra okuyun