LesskeysNår Whisper stopper for tidligt og siger, at den er færdig
Sidst gennemgået
Hvad det er
Hvad tavs afkortning er
Den tekst, den nåede at lave, var korrekt. Den stoppede bare, og forløbet sagde, at den var færdig.
En talemodel kan returnere de forkerte ord, eller den kan stoppe midtvejs og aflevere en korrekt udskrift af første del, som om den var færdig. I vores værste kørsel, norsk, returnerede den 113 af 521 referenceord efter 30 minutters regnetid og stoppede efter 9 segmenter. Vores eget forløb loggede kørslen som COMPLETED: ingen fejl, ingen advarsel, intet flag om delvist resultat.
- 10 af 143kørsler stoppede for tidligt
- 22 %af lyden i den værste kørsel
- 9 af 10på de to large-v3-filer
Hvilke kørsler
Hvilke sprog stoppede for tidligt
9 af de 10 ligger på de to large-v3-filer.
Dækning er udskriftens længde divideret med referencens længde: 1,00 er en fuld udskrift. Hver søjle er én afkortet kørsel; den stiplede linje er grænsen på 0,80.
- Norsk0,22
- Malajisk0,32
- Vietnamesisk0,34
- Koreansk0,40
- Hollandsk0,74
- Tjekkisk0,22
- Portugisisk (Brasilien)0,35
- Vietnamesisk0,37
- Malajisk0,75
- Hindi†0,72
Hindi: et forbehold ved scoringen
† Det er standardmodellens kørsel: 886 enheder mod en reference på 1.237, den samme oppustede optælling, som rettelsen på
Kort, aldrig langt
Hver ekstrem celle i denne matrix er kort, aldrig lang. Ikke én kørsel ud af 143 oversteg sin reference med mere end det halve. Det er det modsatte fortegn af fejlen med gentagelsesløkker, hvor en model sidder fast og udsender den samme sætning i minutter, så dækningen bliver fem gange referencen eller mere. Begge dele er katastrofale, og begge er usynlige ved en stikprøve, men de kan skelnes på fortegnet for det samme tal, og det er det, der lader ét tjek fange begge.
Fang det
Fang det uden en reference
Sammenlign, hvor meget udskrift der kom tilbage, med hvor lang lyden var.
Ordfejlrate kræver en facitudskrift, som du aldrig har i drift. Dækning gør ikke. I denne matrix skiller de to grupper sig rent ad:
| Hvad | Kørsler | Gennemsnitlig dækning | Gennemsnitlig fejlrate |
|---|---|---|---|
| Afkortet | 10 | 0,44 | 65,90 % |
| Sund | 133 | 1,01 | 12,10 % |
Grænsen på 0,80 er ikke tilpasset data: den højeste dækning blandt afkortede kørsler er 0,75, og den laveste blandt sunde kørsler er 0,82, så enhver grænse inden for det tomme bånd giver det samme svar. I drift: sammenlign tidspunktet for det sidste returnerede segment med filens længde, på brugerens maskine, uden noget at sammenligne med.
Fejlraten
Afkortning puster fejlraten op
Cirka 9,4 point af dens fejlrate er ikke modellen, der hører noget forkert. Det er modellen, der ikke er der.
Selv uden afkortning indhenter Large V3 ikke den mindre turbomodel
Hvad det betyder for de modeller, Lesskeys tilbyder
Der er ingen dækningskontrol i den version. Det tjek, der er beskrevet ovenfor, er et forslag til den, ikke en funktion, der er leveret.
Status den 15. oktober 2026 for den App Store-version , der er til salg (3.1.4 )
Sagt ligeud, fordi det er grunden til, at denne side er værd at offentliggøre frem for at lægge i en skuffe:
- Begge large-v3-filer er
med i , og de står for 9 af de 10 afkortede kørsler. En bruger, der tænker »større download, bedre resultat«, vælger den mindst pålidelige mulighed på listen.Lesskeys ' modelvælger Kvantiseringen på ikke i vælgeren i den version. Den kunne kun vælges i denne test, fordi modelmappen scannes ved opstart.834 MB , som havde den laveste gennemsnitlige fejl (en forskel til de andre turbokørsler, der mest er én hindi-række) og nul afkortninger, erStandardmodellen (547 MB ) blev afkortet én gang på 29 sprog, på hindi (højst sandsynligt en reel afkortning; se noten under dækningslisten). Den kørsel og kørslen medLarge V3 Q5 på tjekkisk kørte begge i den del af matrixen med12 GB , med lidt hukommelse til overs (se begrænsningerne).- Der er ingen dækningskontrol i den version. Det tjek, der er beskrevet ovenfor, er et forslag til den, ikke en funktion, der er leveret. Når den kommer, bliver dette afsnit skrevet om i stedet for stille at blive slettet.
Hvad det betyder på Windows
Dataene
Metoden, tabellen og begrænsningerne
Hvordan kørslerne blev lavet, og hvad de ikke kan fortælle dig, foldet sammen.
Sådan blev afkortningen målt
Hver kørsel gik gennem det leverede programwhisper-cli. Det har betydning: stemmeregistrering, hallucinationsfilteret, lydstyrkenormalisering og sproglåsen var alle med i forløbet, præcis som en bruger ville have dem. Sproget var fastlåst for hver kørsel og blev overholdt i alle 143 celler; den model, der faktisk blev indlæst, svarede til den ønskede i alle 143. De to manglende celler er hindi på begge large-v3-filer, som slet ikke blev færdige.
De fem modeller: størrelse, gennemsnitlig fejl, afkortede kørsler
| Model | Størrelse | Sprog | Gennemsnitlig fejl | Median | Afkortede kørsler |
|---|---|---|---|---|---|
| 29 | 9,16 % | 6,80 % | ingen | ||
| 29 | 9,52 % | 7,23 % | ingen | ||
| 29 | 9,99 % | 7,81 % | 1 af 29 | ||
| 28 | 24,64 % | 15,80 % | 5 af 28 | ||
| 28 | 26,66 % | 18,66 % | 4 af 28 |
Begrænsningerne i denne test
- Oplæst tale, ikke møder. FLEURS er ren indspillet prosa. Samtaler og tale i munden på hinanden er væsentligt sværere, og disse rater skal ikke læses som det, du ville få på et rigtigt opkald.
- Én kørsel pr. celle. 143 celler, én kørsel hver. Afkortningen kunne gentages på tværs af de to large-v3-filer og på tværs af to separate undersøgelser, men denne matrix fastslår ikke en rate; den fastslår, at det sker.
- Én maskine, to hukommelsesstørrelser.
Cellerne kørte på én virtuel Apple Silicon-maskine , hvis hukommelse var12 GB for de første 33 celler og24 GB for resten; alle 29 celler med standardmodellen og de første fire celler medLarge V3 Q5 (arabisk, tjekkisk, dansk, tysk) kørte i den del med12 GB . To afkortede kørsler ligger dér: hindi på standardmodellen (241 MB hukommelse til rådighed på det laveste punkt) og tjekkisk påLarge V3 Q5 (60 MB ). Alle andre afkortede kørsler havde mere end6.000 MB til rådighed. Lav hukommelse kan have bidraget til de to, og denne matrix kan ikke skille det fra modellen. Afkodningen blev ladet stå ved programmets standardindstillinger for filstien frem for kommandolinjeværktøjets. - De absolutte rater er lidt oppustede af valg ved normalisering af tegnsætning og store/små bogstaver. Sammenligningerne mellem modeller er den bærende del, ikke de absolutte procenter.
Udskrifterne blev gemt denne gang. I en tidligere kørsel blev de overskrevet af det næste forløbs konfigurationstrin, og afkortning måtte udledes af ordtal, og det er netop derfor, det gik ubemærket hen så længe. »Dårligere fejlrate« og »stoppede for tidligt« ser ens ud i en resultattabel.
Spørgsmål
Spørgsmål om, at Whisper stopper for tidligt
Hvad er tavs afkortning i talegenkendelse?
En model returnerer en udskrift, der kun dækker en del af lyden, og forløbet omkring den melder succes. Den tekst, der er der, er som regel korrekt, så intet ser forkert ud, før nogen sammenligner udskriften med optagelsen. I denne matrix ramte det 10 af 143 kørsler, 9 af dem på de to large-v3-filer.
Hvordan opdager jeg en afkortet udskrift uden en reference?
Sammenlign det, der kom tilbage, med det, der gik ind: sluttidspunktet for det sidste segment mod lydfilens længde, eller udskriftens længde mod den forventede længde. Ingen af delene kræver en facitudskrift, og det er det, der gør tjekket brugbart i drift. I disse data havde afkortede kørsler i gennemsnit en dækning på 0,44 mod 1,01 for sunde.
Giver en større Whisper-model bedre resultater?
Er det en fejl i Whisper eller i programmet?
Uafklaret, og siden påstår ikke at vide det. Det, der er målt, er, at tilstanden opstår, og at forløbet omkring den ikke opdagede det. Den foreslåede dækningskontrol er en afhjælpning i programlaget, som er det lag, vi styrer; den stiller ikke en diagnose på den underliggende årsag.
Mere