Hvilken Whisper-modell bør du kjøre på en Mac ?
Sist gjennomgått
Svaret
Last ned Large V3 Turbo Q5
- 4 like nøyaktigemodeller, like nøyaktige
574 MB nedlasting ( 547 MB i appen)- 12ganger sanntid
Like nøyaktige
Større koster mer og ga ingenting tilbake
Den samme nøyaktigheten innenfor 13 ord koster 5,4 ganger nedlastingen og kjører 1,6 ganger tregere.
Reelle forskjeller
Der forskjellene er reelle
Det er en annen type transkripsjon, ikke en litt dårligere. Den passer fortsatt til en grov, søkbar oversikt laget i full fart fra en liten nedlasting, og er feil valg når transkripsjonen er selve dokumentasjonen.
Modellene under gruppen som delte plassen
Small : 3,55 %, 75 flere feil enn den beste; 35 ganger sanntid mot 12 for Large V3Turbo Q5, på488 MB Tiny : 6,87 %, 277 flere feil enn den beste; 89 ganger sanntid mot 12 for Large V3Turbo Q5, på78 MB
Mindre fil
Koster en mindre fil nøyaktighet?
Ikke så vi kunne måle.
motLarge V3Turbo Q5Large V3Turbo : 4 flere feil av 6 086 ord (154 mot 150)574 MB mot1,6 GB (2,8 ganger mindre), og motLarge V3 Q5Large V3: 2 færre feil av 6 086 ord (141 mot 143)1,1 GB mot3,1 GB (2,9 ganger mindre), og
Det er en grunn til å teste kvantisering på din egen lyd, ikke en generell lov.
Ikke testet
Hva dette ikke forteller deg
- Ingen møter eller telefonsamtaler
- Ingen overlappende tale, ingen støy
Ingen annen Mac : bareApple M1 Max- Ingen talermerking
Ekte møter er vanskeligere, og hvert tall ville vært dårligere på dem: et gulv, ikke et løfte om ditt neste stand-up-møte. En modell kan også stoppe for tidlig på en lang fil på noen språk og likevel melde suksess:
Dataene
Hele tabellen og hvordan du gjentar testen
Feil, hastighet og nedlasting for hver modell, pluss metoden, ett klikk unna.
Hele resultattabellen
| Modell | Ordfeilrate | Feil | Hastighet | Last ned |
|---|---|---|---|---|
| 2,32 % | 141 / 6 086 ord | 7 ganger sanntid | ||
| 2,35 % | 143 / 6 086 ord | 7 ganger sanntid | ||
| 2,46 % | 150 / 6 086 ord | 12 ganger sanntid | ||
| 2,53 % | 154 / 6 086 ord | 12 ganger sanntid | ||
| 3,55 % | 216 / 6 086 ord | 35 ganger sanntid | ||
| 6,87 % | 418 / 6 086 ord | 89 ganger sanntid |
Er de 4 beste modellene virkelig like nøyaktige?
Slik gjentar du denne testen
Datasettet er offentlig (
Normaliseringen i beregningen av feilraten er delen det er verdt å sjekke, fordi en ordfeilrate ikke betyr noe uten den. Vår ser bort fra forskjeller som er formatering og ikke gjenkjenning (store og små bokstaver, tegnsetting, bindestrek, 23 mot twenty three, Mr. mot mister) og teller likevel hver reelle erstatning, utelatelse og innsetting. Den er låst av elleve testtilfeller, blant annet noen som slår fast at reelle feil ikke normaliseres bort. Uten dette steget straffes modellene for tegnsettingsstil i stedet for nøyaktighet.
Hastighetstallene kommer fra én maskin
Spørsmål
Spørsmål om valg av Whisper-modell
Hvilken Whisper-modell bør jeg bruke på Mac-en min?
Er den største Whisper-modellen den mest nøyaktige?
Er en kvantisert Whisper-modell dårligere?
Hvilken Whisper -transkripsjonsapp er best?
Ingen test kan kåre én vinner. De 4 ledende modellene havner innenfor 13 ord av hverandre på tvers av 6 086 ord, så modellen under avgjør nesten ingenting. Det som skiller appene, er om de kjører på enheten, transkriberer eksisterende opptak og merker hvem som snakket.
Mer