LesskeysNår Whisper stopper for tidlig og sier at den er ferdig
Sist gjennomgått
Hva det er
Hva stille avkorting er
Teksten den produserte, var riktig. Den bare stoppet, og kjeden sa at den var ferdig.
En talemodell kan returnere feil ord, eller den kan stoppe midtveis og levere en riktig transkripsjon av den første delen som om den var ferdig. I den verste kjøringen vår, norsk, returnerte den 113 av 521 referanseord etter 30 minutter beregning, og stoppet etter 9 segmenter. Vår egen kjede loggførte kjøringen som FULLFØRT: ingen feil, ingen advarsel, ingen markering av delvis resultat.
- 10 av 143kjøringer stoppet for tidlig
- 22 %av lyden i den verste kjøringen
- 9 av 10på de to large-v3-filene
Hvilke kjøringer
Hvilke språk som stoppet for tidlig
9 av de 10 er på de to large-v3-filene.
Dekning er transkripsjonens lengde delt på referansens lengde: 1,00 er en full transkripsjon. Hver stolpe er én avkortet kjøring; den stiplede linjen er grensen på 0,80.
- Norsk0,22
- Malayisk0,32
- Vietnamesisk0,34
- Koreansk0,40
- Nederlandsk0,74
- Tsjekkisk0,22
- Portugisisk (Brasil)0,35
- Vietnamesisk0,37
- Malayisk0,75
- Hindi†0,72
Hindi: et forbehold om beregningen
† Dette er standardmodellens kjøring: 886 enheter mot en referanse på 1 237, det samme oppblåste tallet som rettelsen på
Kort, aldri lang
Hver ekstremcelle i denne matrisen er kort, aldri lang. Ikke én kjøring av 143 oversteg referansen med mer enn halvparten. Det er motsatt fortegn av feilen med repetisjonsløkke, der en modell setter seg fast og gjentar den samme frasen i flere minutter, med en dekning på fem ganger referansen eller mer. Begge er katastrofale og begge er usynlige ved en stikkprøve, men de kan skilles på fortegnet til det samme tallet, og det er det som lar én enkelt kontroll fange begge.
Fang det
Fang det uten fasit
Sammenlign hvor mye transkripsjon som kom tilbake med hvor lang lyden var.
Ordfeilrate trenger en fasittranskripsjon, som du aldri har i produksjon. Dekning trenger den ikke. I denne matrisen skiller de to gruppene seg rent:
| Hva | Kjøringer | Gjennomsnittlig dekning | Gjennomsnittlig feilrate |
|---|---|---|---|
| Avkortet | 10 | 0,44 | 65,90 % |
| Frisk | 133 | 1,01 | 12,10 % |
Grensen på 0,80 er ikke tilpasset dataene: den høyeste dekningen blant avkortede kjøringer er 0,75 og den laveste blant friske er 0,82, så enhver grense i det tomme båndet gir samme svar. I produksjon: sammenlign tidspunktet for det siste returnerte segmentet med varigheten på filen, på brukerens maskin, uten noe å sammenligne mot.
Feilraten
Avkorting blåser opp feilraten
Omtrent 9,4 poeng av feilraten skyldes ikke at modellen hører noe feil. Det skyldes at modellen ikke er til stede.
Selv uten avkorting tar ikke Large V3 igjen den mindre turbo-modellen
Hva dette betyr for modellene Lesskeys tilbyr
Den versjonen har ingen dekningskontroll. Kontrollen som er beskrevet ovenfor, er et forslag til den, ikke en funksjon som er lansert.
Status 15. oktober 2026, for App Store-versjonen som er i salg (3.1.4 )
Sagt rett ut, fordi det er grunnen til at denne siden er verdt å publisere i stedet for å legge i en skuff:
- Begge large-v3-filene
tilbys i modellvelgeren i , og de står for 9 av de 10 avkortede kjøringene. En bruker som tenker «større nedlasting, bedre resultat» velger det minst pålitelige alternativet i listen.Lesskeys Kvantiseringen på ikke i velgeren i den versjonen. Den kunne nås i denne testen bare fordi modellmappen skannes ved oppstart.834 MB , som hadde den laveste gjennomsnittlige feilen (et gap til de andre turbo-kjøringene som for det meste er én hindi-rad ) og null avkortinger, erStandardmodellen (547 MB ) ble avkortet én gang på 29 språk, på hindi (mest sannsynlig en reell avkorting; se merknaden under dekningslisten). Den kjøringen og kjøringen med tsjekkiskLarge V3 Q5 kjørte begge i delen av matrisen med12 GB , med lite minne til overs (se begrensningene).- Det er ingen dekningskontroll i den versjonen. Kontrollen som er beskrevet ovenfor, er et forslag til den, ikke en funksjon som er lansert. Når den lanseres, blir denne delen skrevet om i stedet for å bli stille slettet.
Hva dette betyr på Windows
Dataene
Metoden, tabellen og begrensningene
Hvordan kjøringene ble gjort og hva de ikke kan fortelle deg, sammenfoldet.
Slik ble avkortingen målt
Hver kjøring gikk gjennom den leverte applikasjonenwhisper-cli. Det spiller en rolle: stemmeaktivitetsdeteksjon, hallusinasjonsfilteret, lydnivånormalisering og språkbegrensningen var alle med, akkurat slik en bruker ville hatt dem. Språket ble hardt låst per kjøring og respektert i alle 143 celler; modellen som faktisk ble lastet, stemte med den forespurte i alle 143. De to manglende cellene er hindi på begge large-v3-filene, som ikke ble fullført i det hele tatt.
De fem modellene: størrelse, gjennomsnittlig feil, avkortede kjøringer
| Modell | Størrelse | Språk | Gjennomsnittlig feil | Median | Avkortede kjøringer |
|---|---|---|---|---|---|
| 29 | 9,16 % | 6,80 % | ingen | ||
| 29 | 9,52 % | 7,23 % | ingen | ||
| 29 | 9,99 % | 7,81 % | 1 av 29 | ||
| 28 | 24,64 % | 15,80 % | 5 av 28 | ||
| 28 | 26,66 % | 18,66 % | 4 av 28 |
Begrensningene i denne testen
- Opplest tale, ikke møter. FLEURS er ren innspilt prosa. Samtaler og overlappende lyd er vesentlig vanskeligere, og disse ratene bør ikke leses som det du ville fått på en ekte samtale.
- Én kjøring per celle. 143 celler, én kjøring hver. Avkortingen lot seg gjenta på tvers av de to large-v3-filene og på tvers av to separate undersøkelser, men denne matrisen fastslår ikke en frekvens; den fastslår at det skjer.
- Én maskin, to minnestørrelser.
Cellene kjørte på én virtuell Apple Silicon-maskin der minnet var12 GB for de første 33 cellene og24 GB for resten; alle 29 cellene for standardmodellen og de fire første cellene forLarge V3 Q5 (arabisk, tsjekkisk, dansk, tysk) kjørte i delen med12 GB . To avkortede kjøringer havner der: hindi på standardmodellen (241 MB tilgjengelig minne på det laveste) og tsjekkisk påLarge V3 Q5 (60 MB ). Alle andre avkortede kjøringer hadde mer enn 6000 MB tilgjengelig. Lite minne kan ha bidratt til disse to, og denne matrisen kan ikke skille det fra modellen. Dekodingen ble stående på applikasjonens standardinnstillinger for filer, ikke kommandolinjeverktøyets. - Absolutte rater er noe oppblåst fra valg i normalisering av tegnsetting og store og små bokstaver. Sammenligningene mellom modeller er den bærende delen, ikke de absolutte prosentene.
Transkripsjonene ble beholdt denne gangen. I en tidligere måling ble de overskrevet av konfigureringssteget i neste kjøring, og avkorting måtte utledes av ordtellinger, og det er nettopp derfor det ble oppdaget så sent. «Dårligere feilrate» og «stoppet for tidlig» ser identiske ut i en resultattabell.
Spørsmål
Spørsmål om at Whisper stopper for tidlig
Hva er stille avkorting i talegjenkjenning?
En modell returnerer en transkripsjon som bare dekker deler av lyden, og kjeden rundt melder suksess. Teksten som er der, er som regel riktig, så ingenting ser galt ut før noen sammenligner transkripsjonen med opptaket. I denne matrisen rammet det 10 av 143 kjøringer, 9 av dem på de to large-v3-filene.
Hvordan kan jeg oppdage en avkortet transkripsjon uten fasit?
Sammenlign det som kom tilbake med det som gikk inn: sluttidspunktet for det siste segmentet mot varigheten på lydfilen, eller transkripsjonens lengde mot forventet lengde. Ingen av delene trenger en fasit, og det er det som gjør kontrollen brukbar i produksjon. I disse dataene hadde avkortede kjøringer en gjennomsnittlig dekning på 0,44 mot 1,01 for friske.
Gir en større Whisper-modell bedre resultater?
Er dette en feil i Whisper eller i appen?
Uavklart, og siden hevder ikke å vite det. Det som er målt, er at tilstanden oppstår og at kjeden rundt ikke la merke til den. Den foreslåtte dekningskontrollen er en avbøtende løsning på applikasjonsnivå, som er nivået vi styrer; den diagnostiserer ikke den underliggende årsaken.
Mer