Lesskeys
Kieli
OpasMac

Mitä Whisper-mallia kannattaa ajaa Macilla?

Lyhyt vastaus

Aja Large V3 Turbo Q5 -⁠mallia. Testissämme se oli kuudesta Whisper-mallista tarkkuudeltaan kärkiryhmässä (enintään 13 sanan päässä parhaasta, 6 086 sanasta), ja se on ryhmän pienin lataus, 574 MB, ja toimii Apple M1 Maxilla 12-kertaisella reaaliaikanopeudella.

macOS 13+, Apple Silicon · Ei tilausta

Viimeksi tarkistettu

Tämä opas on Macille. Jos käytät Windowsia, lue Whisperin ajaminen Windowsilla.

Kuvitus todellisesta tuloksesta: kuusi vaakapalkkia, yksi kutakin Whisper-mallia kohti, sanavirhetason mukaisessa suhteessa. 4 mallia on tasoissa parhaan kanssa ja näkyy vihreinä, kaikki enintään 13 sanan päässä toisistaan 6 086 sanasta; Large V3 Turbo Q5 on niistä pienin ja merkitty tekstillä Aja tätä. Small ja Tiny näkyvät punaisina ja pidemmillä palkeilla.
Sanavirhetaso LibriSpeech test-clean -⁠aineistolla mitattuna Apple M1 Maxilla. Palkin pituus on suhteessa virhetasoon. Koot ovat mitattuja tiedostokokoja desimaaliyksiköissä; sovellus näyttää Large V3 Turbo Q5:n kokona 547 MB.

Vastaus

Valitse Large V3 Turbo Q5

Se oli kuudesta Whisper-mallista tarkkuudeltaan kärkiryhmässä, ja se on tämän ryhmän pienin lataus.

  • 4 tasoissamallia, yhtä tarkkoja
  • 574 MBlataus (547 MB sovelluksessa)
  • 12kertaa reaaliaika

Enintään 13 sanan päässä parhaasta, 6 086 sanasta. Tunti ääntä kestää noin viisi minuuttia Apple M1 Maxilla. Koot tässä ovat mitattuja tiedostokokoja desimaaliyksiköissä; sovellus nimeää saman tiedoston 547 MB:ksi. Englannin ulkopuolella muutama kieli poikkeaa: Whisperin tarkkuus 29 kielellä.

Tasoissa

Isompi maksaa enemmän eikä tuottanut mitään

Sama tarkkuus 13 sanan sisällä maksaa 5,4 kertaa suuremman latauksen ja toimii 1,6 kertaa hitaammin.

Suurin tasoissa oleva malli on Large V3, 3,1 GB. Pienempään siirtyminen maksaa todellista tarkkuutta: Small tekee 75 virhettä enemmän kuin paras, ja Tiny 3 kertaa niin monta.

Todelliset erot

Missä erot ovat todellisia

Tiny tekee 3 kertaa niin monta virhettä kuin paras: 418 vs. 141.

Se on erilainen litterointi, ei hieman huonompi. Se sopii yhä nopeasti tehtyyn karkeaan, haettavaan tallenteeseen pienestä latauksesta, ja se on väärä valinta, kun litterointi on itse asiakirja.

Kärkiryhmää heikommat mallit
  • Small: 3,55 %, 75 virhettä enemmän kuin paras; 35-kertainen reaaliaika, kun Large V3 Turbo Q5:llä se on 12, kooltaan 488 MB
  • Tiny: 6,87 %, 277 virhettä enemmän kuin paras; 89-kertainen reaaliaika, kun Large V3 Turbo Q5:llä se on 12, kooltaan 78 MB

Pienempi tiedosto

Maksaako pienempi tiedosto tarkkuudessa?

Ei sen verran kuin pystyimme mittaamaan.

  • Large V3 Turbo Q5 vs. Large V3 Turbo: 574 MB vs. 1,6 GB (2,8 kertaa pienempi) ja 4 virhettä enemmän 6 086 sanasta (154 vs. 150)
  • Large V3 Q5 vs. Large V3: 1,1 GB vs. 3,1 GB (2,9 kertaa pienempi) ja 2 virhettä vähemmän 6 086 sanasta (141 vs. 143)

Se on syy kokeilla kvantisointia omalla äänelläsi, ei yleinen laki.

Testaamatta

Mitä tämä ei kerro

LibriSpeech test-clean on helpoin tapaus: luettua äänikirjapuhetta.

  • Ei kokouksia eikä puheluita
  • Ei päällekkäispuhetta eikä taustamelua
  • Ei muuta Macia: vain Apple M1 Max
  • Ei puhujamerkintöjä

Oikeat kokoukset ovat vaikeampia, ja jokainen luku olisi niissä huonompi: alaraja, ei lupaus seuraavasta tiimipalaverista. Malli voi myös pysähtyä kesken pitkässä tiedostossa joillakin kielillä ja silti ilmoittaa onnistuneensa: kun Whisper pysähtyy ennenaikaisesti.

Tiedot

Koko taulukko ja miten sen voi toistaa

Virheet, nopeus ja lataus jokaiselle mallille sekä menetelmä, yhden napsautuksen päässä.

Koko tulostaulukko

Kuusi Lesskeysin tarjoamaa Whisper-mallia ajettiin samoilla 300 lausumalla (37 minuuttia ääntä) aineistosta LibriSpeech test-clean, joka on tavallinen julkinen vertailuaineisto ja sisältää omat ihmisten tekemät litteroinnit. Pisteytimme sanavirhetason niitä litterointeja vasten, ajastimme jokaisen ajon ja kirjasimme latauskoon. Pienempi virhe on parempi; palkki piirretään suhteessa sarakkeen suurimpaan arvoon.

Kuusi Whisper-mallia 6 086 sanalla LibriSpeech test-clean -⁠aineistoa (Apple M1 Max)

MalliSanavirhetasoVirheetNopeusLataa
Large V3 Q5 ●2,32 %141 / 6 086 sanaa7-kertainen reaaliaika1,1 GB
Large V3 ●2,35 %143 / 6 086 sanaa7-kertainen reaaliaika3,1 GB
Large V3 Turbo ●2,46 %150 / 6 086 sanaa12-kertainen reaaliaika1,6 GB
Large V3 Turbo Q5 ●2,53 %154 / 6 086 sanaa12-kertainen reaaliaika574 MB
Small3,55 %216 / 6 086 sanaa35-kertainen reaaliaika488 MB
Tiny6,87 %418 / 6 086 sanaa89-kertainen reaaliaika78 MB

Mitattu Apple M1 Maxilla whisper.cpp:llä, Metal-GPU ja flash attention päällä, whisper.cpp:n oletusasetukset (beam-koko 5), kieli pakotettu englantiin (en), 8 säiettä. ● merkitsee mallit, joita pidämme tasoissa parhaan kanssa. ”89-kertainen reaaliaika” tarkoittaa, että tunti ääntä litteroidaan noin minuutissa. Tämän taulukon koot ovat mitattuja tiedostokokoja desimaaliyksiköissä, joten ne poikkeavat sovelluksen ja muiden sivujen nimikkeistä: Large V3 Turbo Q5:n 574 MB:n tiedosto on siellä 547 MB, Small on 466 MB (täällä 488 MB), Tiny on 75 MB (täällä 78 MB), Large V3 Q5 on 1,0 GB ja Large V3 on 3 GB.

Ovatko 4 kärkimallia todella tasoissa?

Large V3 Q5, Large V3, Large V3 Turbo ja Large V3 Turbo Q5 päätyivät 13 sanan sisään toisistaan 6 086 sanalla vertailutekstiä. Se on mittauksen kohinataso, ei ero. Pidämme tasoissa mitä tahansa mallia, joka on enintään 0,5 prosenttiyksikön päässä parhaasta, koska kohinaan perustuva sijoitusjärjestys saisi tämän sivun näyttämään varmemmalta ja olemaan vähemmän totuudenmukainen.

Miten tämän vertailun voi toistaa

Aineisto on julkinen (OpenSLR), mallit ovat Whisperin tavalliset ggml-versiot ja testiohjelma on yksi Python-tiedosto. Otos valitaan deterministisesti (lajitellut lausumatunnisteet, tasavälein, ei satunnaissiementä), joten riippumaton ajo poimii samat lausumat.

Pisteytyksen normalisoija on se osa, joka kannattaa tarkistaa, koska sanavirhetaso ei merkitse mitään ilman sitä. Omamme ohittaa erot, jotka ovat muotoilua eikä tunnistusta (kirjainkoko, välimerkit, tavuviivat, 23 vs. twenty three, Mr. vs. mister), ja laskee silti jokaisen todellisen korvauksen, poiston ja lisäyksen. Se on lukittu yhdellätoista testitapauksella, mukaan lukien sellaiset, jotka varmistavat, ettei todellisia virheitä normalisoida pois. Ilman tätä vaihetta mallit saavat rangaistuksen välimerkkityylistä tarkkuuden sijaan.

Nopeusluvut tulevat yhdeltä koneelta; toinen Apple Silicon -⁠siru päätyy muualle: järjestyksen pitäisi pitää, absoluuttisten lukujen ei. Tämä mittaa vain litterointimalleja, ei puhujamerkintöjä, jotka ovat erillinen vaihe omalla virhetasollaan.

Kysymykset

Kysymyksiä Whisper-mallin valinnasta

Mitä Whisper-mallia kannattaa käyttää Macillani?

Large V3 Turbo Q5. Tässä vertailussa 4 suurta varianttia päätyi 6 086 sanalla enintään 13 sanan päähän toisistaan, joten ne ovat tasoissa tarkkuudessa, ja niistä Large V3 Turbo Q5 on pienin lataus, 574 MB, ja se toimii 12-kertaisella reaaliaikanopeudella.

Onko suurin Whisper-malli tarkin?

Ei mitattavasti. Large V3 on 3,1 GB, 5,4 kertaa Large V3 Turbo Q5:n latauskoko, ja se pääsi 6 086 sanalla enintään 13 sanan päähän siitä, mutta toimi 1,6 kertaa hitaammin.

Onko kvantisoitu Whisper-malli huonompi?

Ei mitattavasti tässä. Large V3 Turbo Q5 on 2,8 kertaa pienempi kuin Large V3 Turbo ja teki 4 virhettä enemmän 6 086 sanasta. Se jää tämän mittauksen epävarmuuden sisään, joten se on syy kokeilla kvantisointia omalla äänelläsi, ei takuu siitä, ettei se koskaan heikennä tarkkuutta.

Mikä Whisper-litterointisovellus on paras?

Mikään vertailu ei voi nimetä yhtä voittajaa. 4 kärkimallia päätyy 6 086 sanalla enintään 13 sanan päähän toisistaan, joten alla oleva malli tuskin ratkaisee asiaa. Sovelluksia erottaa se, toimivatko ne laitteella, litteroivatko ne olemassa olevia tallenteita ja merkitsevätkö ne, kuka puhui.

Lisää

Lue seuraavaksi