Hvilken Whisper-model skal du køre på en Mac ?
Sidst gennemgået
Svaret
Hent Large V3 Turbo Q5
- 4 ligemodeller, lige nøjagtige
574 MB download ( 547 MB i programmet)- 12gange realtid
Lige
Større koster mere og gav intet igen
Den samme nøjagtighed inden for 13 ord koster 5,4 gange så stor en download og kører 1,6 gange langsommere.
Reelle forskelle
Hvor forskellene er reelle
Det er en anden slags udskrift, ikke en lidt dårligere. Den passer stadig til en grov, søgbar optegnelse, der laves i hast ud fra en lille download, og den er det forkerte valg, når udskriften er selve optegnelsen.
Modellerne under den delte førsteplads
Small : 3,55 %, 75 flere fejl end den bedste; 35 gange realtid mod 12 for Large V3Turbo Q5, ved488 MB Tiny : 6,87 %, 277 flere fejl end den bedste; 89 gange realtid mod 12 for Large V3Turbo Q5, ved78 MB
Mindre fil
Koster en mindre fil nøjagtighed?
Ikke så vidt vi kunne måle.
modLarge V3Turbo Q5Large V3Turbo : 4 flere fejl ud af 6.086 ord (154 mod 150)574 MB mod1,6 GB (2,8× mindre) og modLarge V3 Q5Large V3: 2 færre fejl ud af 6.086 ord (141 mod 143)1,1 GB mod3,1 GB (2,9× mindre) og
Det er en grund til at teste kvantisering på din egen lyd, ikke en generel lov.
Ikke testet
Hvad det her ikke fortæller dig
- Ingen møder eller telefonopkald
- Ingen tale i munden på hinanden eller støj
Ingen anden Mac : kunApple M1 Max- Ingen talernavne
Rigtige møder er sværere, og hvert tal ville være dårligere på dem: et gulv, ikke et løfte om dit næste stand-up-møde. En model kan også stoppe for tidligt på en lang fil på nogle sprog og stadig melde succes:
Dataene
Den fulde tabel og hvordan du gentager målingen
Fejl, hastighed og download for hver model, plus metoden, ét klik væk.
Fuld resultattabel
| Model | Ordfejlrate | Fejl | Hastighed | Hent |
|---|---|---|---|---|
| 2,32 % | 141 / 6.086 ord | 7 gange realtid | ||
| 2,35 % | 143 / 6.086 ord | 7 gange realtid | ||
| 2,46 % | 150 / 6.086 ord | 12 gange realtid | ||
| 2,53 % | 154 / 6.086 ord | 12 gange realtid | ||
| 3,55 % | 216 / 6.086 ord | 35 gange realtid | ||
| 6,87 % | 418 / 6.086 ord | 89 gange realtid |
Er de 4 bedste modeller virkelig lige gode?
Sådan gentager du denne benchmark
Datasættet er offentligt (
Normaliseringen i scoringen er den del, der er værd at tjekke, for en ordfejlrate betyder intet uden den. Vores ser bort fra forskelle, der er formatering frem for genkendelse (store og små bogstaver, tegnsætning, bindestreger, 23 mod twenty three, Mr. mod mister) og tæller stadig hver ægte erstatning, udeladelse og indsættelse. Den er låst af elleve testtilfælde, herunder nogle der kontrollerer, at ægte fejl ikke normaliseres væk. Uden det trin bliver modeller straffet for tegnsætningsstil i stedet for nøjagtighed.
Hastighedstallene kommer fra én maskine
Spørgsmål
Spørgsmål om valg af Whisper-model
Hvilken Whisper-model skal jeg bruge på min Mac ?
Er den største Whisper-model den mest nøjagtige?
Er en kvantiseret Whisper-model dårligere?
Hvilket Whisper-program til transskribering er det bedste?
Ingen benchmark kan udpege ét. De 4 førende modeller lander inden for 13 ord af hinanden på tværs af 6.086 ord, så modellen nedenunder afgør næsten intet. Det, der skiller programmerne ad, er, om de kører på enheden, transskriberer eksisterende optagelser og viser, hvem der talte.
Mere