Lesskeys
Språk
GuideMac

Hvilken Whisper-modell bør du kjøre på en Mac?

Kort svar

Kjør Large V3 Turbo Q5. I testen vår delte den førsteplassen på nøyaktighet blant seks Whisper-modeller (innenfor 13 ord fra den beste, av 6 086), og den er den minste nedlastingen i den gruppen på 574 MB, og kjører 12 ganger sanntid på en Apple M1 Max.

macOS 13+ på Apple Silicon · Uten abonnement

Sist gjennomgått

Denne guiden gjelder Mac. For Windows, se Kjøre Whisper på Windows.

Illustrasjon av det faktiske resultatet: seks vannrette stolper, én per Whisper-modell, tegnet i forhold til ordfeilraten. 4 modeller deler førsteplassen og er vist i grønt, alle innenfor 13 ord av hverandre av 6 086; Large V3 Turbo Q5 er den minste av dem og er merket Kjør denne. Small og Tiny er vist i rødt med lengre stolper.
Ordfeilrate på LibriSpeech test-clean, målt på en Apple M1 Max. Stolpelengden er proporsjonal med feilraten. Størrelsene er målte filstørrelser i desimale enheter; appen viser Large V3 Turbo Q5 som 547 MB.

Svaret

Last ned Large V3 Turbo Q5

Den delte førsteplassen på nøyaktighet blant seks Whisper-modeller, og den er den minste nedlastingen i gruppen som delte plassen.

  • 4 like nøyaktigemodeller, like nøyaktige
  • 574 MBnedlasting (547 MB i appen)
  • 12ganger sanntid

Innenfor 13 ord fra den beste, av 6 086. En times lyd tar omtrent fem minutter på en Apple M1 Max. Størrelsene her er målte filstørrelser i desimale enheter; appen oppgir den samme filen som 547 MB. Utenfor engelsk er det noen få språk som avviker: Whisper-nøyaktighet på 29 språk.

Like nøyaktige

Større koster mer og ga ingenting tilbake

Den samme nøyaktigheten innenfor 13 ord koster 5,4 ganger nedlastingen og kjører 1,6 ganger tregere.

Den største av modellene som delte plassen, er Large V3 på 3,1 GB. Å gå mindre koster reell nøyaktighet: Small gjør 75 flere feil enn den beste, og Tiny gjør 3 ganger så mange.

Reelle forskjeller

Der forskjellene er reelle

Tiny gjør 3 ganger så mange feil som den beste: 418 mot 141.

Det er en annen type transkripsjon, ikke en litt dårligere. Den passer fortsatt til en grov, søkbar oversikt laget i full fart fra en liten nedlasting, og er feil valg når transkripsjonen er selve dokumentasjonen.

Modellene under gruppen som delte plassen
  • Small: 3,55 %, 75 flere feil enn den beste; 35 ganger sanntid mot 12 for Large V3 Turbo Q5, på 488 MB
  • Tiny: 6,87 %, 277 flere feil enn den beste; 89 ganger sanntid mot 12 for Large V3 Turbo Q5, på 78 MB

Mindre fil

Koster en mindre fil nøyaktighet?

Ikke så vi kunne måle.

  • Large V3 Turbo Q5 mot Large V3 Turbo: 574 MB mot 1,6 GB (2,8 ganger mindre), og 4 flere feil av 6 086 ord (154 mot 150)
  • Large V3 Q5 mot Large V3: 1,1 GB mot 3,1 GB (2,9 ganger mindre), og 2 færre feil av 6 086 ord (141 mot 143)

Det er en grunn til å teste kvantisering på din egen lyd, ikke en generell lov.

Ikke testet

Hva dette ikke forteller deg

LibriSpeech test-clean er det enkle tilfellet: opplest lydbokstale.

  • Ingen møter eller telefonsamtaler
  • Ingen overlappende tale, ingen støy
  • Ingen annen Mac: bare Apple M1 Max
  • Ingen talermerking

Ekte møter er vanskeligere, og hvert tall ville vært dårligere på dem: et gulv, ikke et løfte om ditt neste stand-up-møte. En modell kan også stoppe for tidlig på en lang fil på noen språk og likevel melde suksess: når Whisper stopper for tidlig.

Dataene

Hele tabellen og hvordan du gjentar testen

Feil, hastighet og nedlasting for hver modell, pluss metoden, ett klikk unna.

Hele resultattabellen

Seks av Whisper-modellene Lesskeys tilbyr, kjørte over de samme 300 ytringene (37 minutter lyd) fra LibriSpeech test-clean, det offentlige standardsettet for slike tester, som leveres med egne transkripsjoner skrevet av mennesker. Vi regnet ut ordfeilrate mot disse transkripsjonene, tok tiden på hver kjøring og noterte nedlastingsstørrelsen. Lavere feilrate er bedre; en stolpe er tegnet i forhold til den største verdien i kolonnen.

Seks Whisper-modeller på 6 086 ord fra LibriSpeech test-clean (Apple M1 Max)

ModellOrdfeilrateFeilHastighetLast ned
Large V3 Q5 ●2,32 %141 / 6 086 ord7 ganger sanntid1,1 GB
Large V3 ●2,35 %143 / 6 086 ord7 ganger sanntid3,1 GB
Large V3 Turbo ●2,46 %150 / 6 086 ord12 ganger sanntid1,6 GB
Large V3 Turbo Q5 ●2,53 %154 / 6 086 ord12 ganger sanntid574 MB
Small3,55 %216 / 6 086 ord35 ganger sanntid488 MB
Tiny6,87 %418 / 6 086 ord89 ganger sanntid78 MB

Målt på en Apple M1 Max med whisper.cpp, Metal-GPU og flash attention på, standardinnstillinger i whisper.cpp (beam size 5), språket tvunget til engelsk (en), 8 tråder. ● markerer modellene vi regner som delt best. «89 ganger sanntid» betyr at én times lyd transkriberes på omtrent 1 minutt. Størrelsene i denne tabellen er målte filstørrelser i desimale enheter, så de avviker fra merkelappene i appen og på de andre sidene: filen på 574 MB for Large V3 Turbo Q5 er 547 MB der, Small er 466 MB (her 488 MB), Tiny er 75 MB (her 78 MB), Large V3 Q5 er 1,0 GB og Large V3 er 3 GB.

Er de 4 beste modellene virkelig like nøyaktige?

Large V3 Q5, Large V3, Large V3 Turbo og Large V3 Turbo Q5 havnet innenfor 13 ord av hverandre på tvers av 6 086 ord referansetekst. Det er målingens støygulv, ikke en forskjell. Vi regner alle modeller innenfor 0,5 prosentpoeng fra den beste som delt best, fordi rangeringsstøy ville fått denne siden til å virke mer avgjørende og vært mindre sann.

Slik gjentar du denne testen

Datasettet er offentlig (OpenSLR), modellene er de vanlige ggml-byggene av Whisper, og testverktøyet er én enkelt Python-fil. Utvalget velges deterministisk (sorterte ytrings-ID-er, jevnt fordelt, uten tilfeldig frø), så en uavhengig kjøring velger de samme ytringene.

Normaliseringen i beregningen av feilraten er delen det er verdt å sjekke, fordi en ordfeilrate ikke betyr noe uten den. Vår ser bort fra forskjeller som er formatering og ikke gjenkjenning (store og små bokstaver, tegnsetting, bindestrek, 23 mot twenty three, Mr. mot mister) og teller likevel hver reelle erstatning, utelatelse og innsetting. Den er låst av elleve testtilfeller, blant annet noen som slår fast at reelle feil ikke normaliseres bort. Uten dette steget straffes modellene for tegnsettingsstil i stedet for nøyaktighet.

Hastighetstallene kommer fra én maskin; en annen Apple Silicon-brikke havner et annet sted: rekkefølgen bør holde, de absolutte tallene gjør det ikke. Dette måler bare transkripsjonsmodellene, ikke talermerking, som er et eget steg med sin egen feilrate.

Spørsmål

Spørsmål om valg av Whisper-modell

Hvilken Whisper-modell bør jeg bruke på Mac-en min?

Large V3 Turbo Q5. I denne testen havnet de 4 store variantene innenfor 13 ord av hverandre på tvers av 6 086 ord, så de er like nøyaktige, og av dem er Large V3 Turbo Q5 den minste nedlastingen på 574 MB og kjører 12 ganger sanntid.

Er den største Whisper-modellen den mest nøyaktige?

Ikke målbart. Large V3 er 3,1 GB, 5,4 ganger nedlastingen til Large V3 Turbo Q5, og havnet innenfor 13 ord av den på tvers av 6 086 ord, mens den kjørte 1,6 ganger tregere.

Er en kvantisert Whisper-modell dårligere?

Ikke målbart her. Large V3 Turbo Q5 er 2,8 ganger mindre enn Large V3 Turbo og gjorde 4 flere feil av 6 086 ord. Det er innenfor målingens støy, så det er en grunn til å teste kvantisering på din egen lyd, ikke en garanti for at det aldri koster nøyaktighet.

Hvilken Whisper-transkripsjonsapp er best?

Ingen test kan kåre én vinner. De 4 ledende modellene havner innenfor 13 ord av hverandre på tvers av 6 086 ord, så modellen under avgjør nesten ingenting. Det som skiller appene, er om de kjører på enheten, transkriberer eksisterende opptak og merker hvem som snakket.

Mer

Les videre