Lesskeys
Sprog
VejledningMac

Hvilken Whisper-model skal du køre på en Mac?

Kort svar

Kør Large V3 Turbo Q5. I vores test delte den førstepladsen i nøjagtighed blandt seks Whisper-modeller (inden for 13 ord af den bedste, ud af 6.086), og den er den mindste download i den gruppe med 574 MB og kører med 12 gange realtid på en Apple M1 Max.

macOS 13+ på Apple Silicon · Intet abonnement

Sidst gennemgået

Denne vejledning er til Mac. Til Windows, se Kør Whisper på Windows.

Illustration af det rigtige resultat: seks vandrette søjler, én pr. Whisper-model, tegnet i forhold til ordfejlraten. 4 modeller deler førstepladsen og er vist i grønt, alle inden for 13 ord af hinanden ud af 6.086; Large V3 Turbo Q5 er den mindste af dem og er markeret Kør denne. Small og Tiny er vist i rødt med længere søjler.
Ordfejlrate på LibriSpeech test-clean, målt på en Apple M1 Max. Søjlens længde er proportional med fejlraten. Størrelserne er målte filstørrelser i decimale enheder; programmet viser Large V3 Turbo Q5 som 547 MB.

Svaret

Hent Large V3 Turbo Q5

Den delte førstepladsen i nøjagtighed blandt seks Whisper-modeller og er den mindste download i den gruppe.

  • 4 ligemodeller, lige nøjagtige
  • 574 MBdownload (547 MB i programmet)
  • 12gange realtid

Inden for 13 ord af den bedste, ud af 6.086. En time lyd tager cirka fem minutter på en Apple M1 Max. Størrelserne her er målte filstørrelser i decimale enheder; programmet kalder den samme fil 547 MB. Uden for engelsk er der et par sprog, der adskiller sig: Whispers nøjagtighed på 29 sprog.

Lige

Større koster mere og gav intet igen

Den samme nøjagtighed inden for 13 ord koster 5,4 gange så stor en download og kører 1,6 gange langsommere.

Den største model i gruppen er Large V3 på 3,1 GB. Går du mindre, koster det reel nøjagtighed: Small laver 75 flere fejl end den bedste, og Tiny laver 3 gange så mange.

Reelle forskelle

Hvor forskellene er reelle

Tiny laver 3 gange så mange fejl som den bedste: 418 mod 141.

Det er en anden slags udskrift, ikke en lidt dårligere. Den passer stadig til en grov, søgbar optegnelse, der laves i hast ud fra en lille download, og den er det forkerte valg, når udskriften er selve optegnelsen.

Modellerne under den delte førsteplads
  • Small: 3,55 %, 75 flere fejl end den bedste; 35 gange realtid mod 12 for Large V3 Turbo Q5, ved 488 MB
  • Tiny: 6,87 %, 277 flere fejl end den bedste; 89 gange realtid mod 12 for Large V3 Turbo Q5, ved 78 MB

Mindre fil

Koster en mindre fil nøjagtighed?

Ikke så vidt vi kunne måle.

  • Large V3 Turbo Q5 mod Large V3 Turbo: 574 MB mod 1,6 GB (2,8× mindre) og 4 flere fejl ud af 6.086 ord (154 mod 150)
  • Large V3 Q5 mod Large V3: 1,1 GB mod 3,1 GB (2,9× mindre) og 2 færre fejl ud af 6.086 ord (141 mod 143)

Det er en grund til at teste kvantisering på din egen lyd, ikke en generel lov.

Ikke testet

Hvad det her ikke fortæller dig

LibriSpeech test-clean er det nemme tilfælde: oplæst lydbogstale.

  • Ingen møder eller telefonopkald
  • Ingen tale i munden på hinanden eller støj
  • Ingen anden Mac: kun Apple M1 Max
  • Ingen talernavne

Rigtige møder er sværere, og hvert tal ville være dårligere på dem: et gulv, ikke et løfte om dit næste stand-up-møde. En model kan også stoppe for tidligt på en lang fil på nogle sprog og stadig melde succes: når Whisper stopper for tidligt.

Dataene

Den fulde tabel og hvordan du gentager målingen

Fejl, hastighed og download for hver model, plus metoden, ét klik væk.

Fuld resultattabel

Seks af de Whisper-modeller, Lesskeys tilbyder, kørte over de samme 300 ytringer (37 minutters lyd) fra LibriSpeech test-clean, det almindelige offentlige testsæt, som leveres med sine egne udskrifter lavet af mennesker. Vi scorede ordfejlrate mod de udskrifter, målte tiden for hver kørsel og noterede downloadstørrelsen. Lavere fejlrate er bedre; en søjle er tegnet i forhold til den største værdi i sin kolonne.

Seks Whisper-modeller på 6.086 ord fra LibriSpeech test-clean (Apple M1 Max)

ModelOrdfejlrateFejlHastighedHent
Large V3 Q5 ●2,32 %141 / 6.086 ord7 gange realtid1,1 GB
Large V3 ●2,35 %143 / 6.086 ord7 gange realtid3,1 GB
Large V3 Turbo ●2,46 %150 / 6.086 ord12 gange realtid1,6 GB
Large V3 Turbo Q5 ●2,53 %154 / 6.086 ord12 gange realtid574 MB
Small3,55 %216 / 6.086 ord35 gange realtid488 MB
Tiny6,87 %418 / 6.086 ord89 gange realtid78 MB

Målt på en Apple M1 Max med whisper.cpp, Metal-GPU og flash attention slået til, whisper.cpp's standardindstillinger (beam-størrelse 5), sproget tvunget til »en«, 8 tråde. ● markerer de modeller, vi regner for lige gode i toppen. »89 gange realtid« betyder, at en time lyd bliver transskriberet på omkring 1 minut. Størrelserne i denne tabel er målte filstørrelser i decimale enheder, så de afviger fra etiketterne i programmet og på de andre sider: filen med Large V3 Turbo Q5 på 574 MB er 547 MB dér, Small er 466 MB (her 488 MB), Tiny er 75 MB (her 78 MB), Large V3 Q5 er 1,0 GB og Large V3 er 3 GB.

Er de 4 bedste modeller virkelig lige gode?

Large V3 Q5, Large V3, Large V3 Turbo og Large V3 Turbo Q5 landede inden for 13 ord af hinanden på tværs af 6.086 ord referencetekst. Det er målingens støjgulv, ikke en forskel. Vi regner enhver model inden for 0,5 procentpoint af den bedste for lige god, fordi støj i rangeringen ville få denne side til at virke mere afgørende og være mindre sand.

Sådan gentager du denne benchmark

Datasættet er offentligt (OpenSLR), modellerne er de almindelige ggml-builds af Whisper, og testværktøjet er én enkelt Python-fil. Stikprøven vælges deterministisk (sorterede ytrings-id'er, jævnt fordelt, ingen tilfældig startværdi), så en uafhængig kørsel vælger de samme ytringer.

Normaliseringen i scoringen er den del, der er værd at tjekke, for en ordfejlrate betyder intet uden den. Vores ser bort fra forskelle, der er formatering frem for genkendelse (store og små bogstaver, tegnsætning, bindestreger, 23 mod twenty three, Mr. mod mister) og tæller stadig hver ægte erstatning, udeladelse og indsættelse. Den er låst af elleve testtilfælde, herunder nogle der kontrollerer, at ægte fejl ikke normaliseres væk. Uden det trin bliver modeller straffet for tegnsætningsstil i stedet for nøjagtighed.

Hastighedstallene kommer fra én maskine; en anden Apple Silicon-chip lander et andet sted: rækkefølgen bør holde, de absolutte tal gør ikke. Det her måler kun transskriberingsmodellerne, ikke talernavne, som er et separat trin med sin egen fejlrate.

Spørgsmål

Spørgsmål om valg af Whisper-model

Hvilken Whisper-model skal jeg bruge på min Mac?

Large V3 Turbo Q5. I denne benchmark landede de 4 store varianter inden for 13 ord af hinanden på tværs af 6.086 ord, så de er lige nøjagtige, og af dem er Large V3 Turbo Q5 den mindste download med 574 MB og kører med 12 gange realtid.

Er den største Whisper-model den mest nøjagtige?

Ikke målbart. Large V3 fylder 3,1 GB, 5,4 gange så meget som Large V3 Turbo Q5, og scorede inden for 13 ord af den på tværs af 6.086 ord, mens den kørte 1,6 gange langsommere.

Er en kvantiseret Whisper-model dårligere?

Ikke målbart her. Large V3 Turbo Q5 er 2,8 gange mindre end Large V3 Turbo og lavede 4 flere fejl ud af 6.086 ord. Det ligger inden for målingens støj, så det er en grund til at teste kvantisering på din egen lyd frem for en garanti for, at det aldrig koster nøjagtighed.

Hvilket Whisper-program til transskribering er det bedste?

Ingen benchmark kan udpege ét. De 4 førende modeller lander inden for 13 ord af hinanden på tværs af 6.086 ord, så modellen nedenunder afgør næsten intet. Det, der skiller programmerne ad, er, om de kører på enheden, transskriberer eksisterende optagelser og viser, hvem der talte.

Mere

Læs videre