LesskeysNär Whisper slutar för tidigt och säger att det är klart
Senast granskad
Vad det är
Vad tyst avkortning är
Texten den producerade var korrekt. Den slutade bara, och pipelinen sa att den var klar.
En taligenkänningsmodell kan returnera fel ord, eller så kan den stanna mitt i och lämna tillbaka ett korrekt transkript av första delen som om det vore färdigt. I vår sämsta körning, norska, returnerade den 113 av 521 referensord efter 30 minuters beräkning och stannade efter 9 segment. Vår egen pipeline loggade den körningen som COMPLETED: inget fel, ingen varning, ingen flagga för delresultat.
- 10 av 143körningar slutade tidigt
- 22 %av ljudet i den sämsta körningen
- 9 av 10på de två large-v3-filerna
Vilka körningar
Vilka språk slutade tidigt
9 av de 10 är på de två large-v3-filerna.
Täckning är transkriptets längd delad med referensens längd: 1,00 är ett fullständigt transkript. Varje stapel är en avkortad körning; den streckade linjen är gränsen 0,80.
- Norska0,22
- Malajiska0,32
- Vietnamesiska0,34
- Koreanska0,40
- Nederländska0,74
- Tjeckiska0,22
- Portugisiska (Brasilien)0,35
- Vietnamesiska0,37
- Malajiska0,75
- Hindi†0,72
Hindi: en reservation om poängsättningen
† Det här är standardmodellens körning: 886 enheter mot en referens på 1 237, samma uppblåsta antal som rättelsen på sidan
Kort, aldrig långt
Varje extremcell i den här matrisen är kort, aldrig lång. Inte en enda körning av 143 överskred sin referens med mer än hälften. Det är motsatt tecken jämfört med felet med repetitionsslingor, där en modell fastnar och avger samma fras i minuter, vilket ger en täckning på fem gånger referensen eller mer. Båda är katastrofala och båda är osynliga vid en stickprovskontroll, men de går att skilja åt på om samma tal ligger under eller över 1, vilket är det som låter en enda kontroll fånga båda.
Fånga det
Fånga det utan en referens
Jämför hur mycket transkript som kom tillbaka med hur långt ljudet var.
Ordfelsfrekvens kräver ett referenstranskript, som du aldrig har i produktion. Täckning kräver det inte. I den här matrisen skiljer sig de två grupperna tydligt åt:
| Vad | Körningar | Genomsnittlig täckning | Genomsnittlig felfrekvens |
|---|---|---|---|
| Avkortade | 10 | 0,44 | 65,90 % |
| Friska | 133 | 1,01 | 12,10 % |
Gränsen 0,80 är inte anpassad efter uppgifterna: den högsta täckningen bland avkortade körningar är 0,75 och den lägsta bland friska är 0,82, så vilken gräns som helst inom det tomma bandet ger samma svar. I produktion: jämför tidsstämpeln för det sista returnerade segmentet med filens längd, på användarens dator, utan något referenstranskript att jämföra med.
Felfrekvensen
Avkortning blåser upp felfrekvensen
Ungefär 9,4 poäng av dess felfrekvens beror inte på att modellen hör fel. Det beror på att modellen inte är där.
Inte ens utan avkortning kommer Large V3 ikapp den mindre turbomodellen
Vad det här betyder för de modeller Lesskeys erbjuder
Den versionen har ingen täckningskontroll. Kontrollen som beskrivs ovan är ett förslag till den, inte en levererad funktion.
Status den 15 oktober 2026, för den App Store-version som är till salu (3.1.4 )
Uttryckt rakt på sak, eftersom det är skälet till att den här sidan är värd att publicera i stället för att läggas i en pärm:
- Båda large-v3-filerna
finns i , och de står för 9 av de 10 avkortade körningarna. Den som resonerar ”större nedladdning, bättre resultat” väljer det minst pålitliga alternativet i listan.Lesskeys modellväljare Kvantiseringen på inte i väljaren i den versionen. Den gick bara att nå i det här testet eftersom modellkatalogen genomsöks vid start.834 MB som fick det lägsta genomsnittliga felet (ett gap till de andra turbokörningarna som mest är en enda hindirad) och noll avkortningar finnsStandardmodellen (547 MB ) avkortades en gång på 29 språk, på hindi (troligen en verklig avkortning; se noten under täckningslistan). Den körningen och körningen av tjeckiska medLarge V3 Q5 kördes båda i12 GB-delen av matrisen, med lite minne till övers (se begränsningarna).- Det finns ingen täckningskontroll i den versionen. Kontrollen som beskrivs ovan är ett förslag till den, inte en levererad funktion. När den levereras skrivs det här avsnittet om i stället för att tyst raderas.
Vad det här betyder i Windows
Uppgifterna
Metoden, tabellen och begränsningarna
Hur körningarna gjordes och vad de inte kan säga dig, hopfällt.
Så mättes avkortningen
Varje körning gick genom den levererade applikationenwhisper-cli. Det spelar roll: röstaktivitetsdetektering, hallucinationsfiltret, ljudnivåjusteringen och språkbegränsningen låg alla i vägen, precis som en användare skulle ha dem. Språket låstes per körning och följdes i alla 143 celler; den modell som faktiskt lästes in motsvarade den begärda i alla 143. De två saknade cellerna är hindi på båda large-v3-filerna, som inte slutfördes alls.
De fem modellerna: storlek, genomsnittligt fel, avkortade körningar
| Modell | Storlek | Språk | Medelfel | Median | Avkortade körningar |
|---|---|---|---|---|---|
| 29 | 9,16 % | 6,80 % | inga | ||
| 29 | 9,52 % | 7,23 % | inga | ||
| 29 | 9,99 % | 7,81 % | 1 av 29 | ||
| 28 | 24,64 % | 15,80 % | 5 av 28 | ||
| 28 | 26,66 % | 18,66 % | 4 av 28 |
Testets begränsningar
- Uppläst tal, inte möten. FLEURS är ren inspelad prosa. Samtalsljud och överlappande tal är väsentligt svårare, och de här felfrekvenserna ska inte läsas som vad du skulle få på ett riktigt samtal.
- Ett pass per cell. 143 celler, en körning vardera. Avkortningen var reproducerbar över de två large-v3-filerna och över två separata undersökningar, men den här matrisen fastställer ingen frekvens; den fastställer att det händer.
- En maskin, två minnesstorlekar.
Cellerna kördes på en virtuell Apple Silicon-maskin vars minne var12 GB för de första 33 cellerna och24 GB för resten; alla 29 celler för standardmodellen och de första fyra cellerna förLarge V3 Q5 (arabiska, tjeckiska, danska, tyska) kördes i12 GB-delen . Två avkortade körningar ligger i den: hindi på standardmodellen (241 MB minne tillgängligt som lägst) och tjeckiska påLarge V3 Q5 (60 MB ). Varje annan avkortad körning hade mer än 6000 MB tillgängligt. Lågt minne kan ha bidragit till de två, och den här matrisen kan inte skilja det från modellen. Avkodningen lämnades på programmets standardvärden för filsökvägen i stället för kommandoradsverktygets. - De absoluta felfrekvenserna är något uppblåsta av val vid normalisering av skiljetecken och versaler. Jämförelserna mellan modeller är den bärande delen, inte de absoluta procenttalen.
Transkripten sparades den här gången. I en tidigare körning skrevs de över av nästa körnings konfigurationssteg, och avkortningen fick avläsas från ordantal, vilket är precis varför den förblev oupptäckt så länge. ”Sämre felfrekvens” och ”slutade tidigt” ser likadana ut i en resultattabell.
Frågor
Frågor om att Whisper slutar för tidigt
Vad är tyst avkortning i taligenkänning?
En modell returnerar ett transkript som bara täcker en del av ljudet och pipelinen runt omkring rapporterar att det gick bra. Texten som finns är oftast korrekt, så inget ser fel ut förrän någon jämför transkriptet med inspelningen. I den här matrisen drabbade det 10 av 143 körningar, 9 av dem på de två large-v3-filerna.
Hur kan jag upptäcka ett avkortat transkript utan facit?
Jämför det som kom tillbaka med det som gick in: sluttidsstämpeln för det sista segmentet mot ljudfilens längd, eller transkriptets längd mot förväntad längd. Ingen av dem kräver ett facittranskript, vilket är det som gör kontrollen användbar i produktion. I det här materialet hade avkortade körningar en täckning på 0,44 i snitt mot 1,01 för friska.
Ger en större Whisper-modell bättre resultat?
Är det här en bugg i Whisper eller i appen?
Obestämt, och sidan påstår inte att den vet. Det som är uppmätt är att tillståndet uppstår och att pipelinen runt omkring inte märkte det. Den föreslagna täckningskontrollen är en åtgärd på applikationsnivå, den nivå vi råder över; den diagnostiserar inte den underliggande orsaken.
Mer