LesskeysAls Whisper te vroeg stopt en zegt dat het klaar is
Laatst gecontroleerd op
Wat het is
Wat stille afkapping is
De tekst die het wel schreef, klopte. Het stopte gewoon, en de pijplijn zei dat het klaar was.
Een spraakmodel kan de verkeerde woorden teruggeven, of het kan halverwege stoppen en een correct transcript van het eerste deel opleveren alsof het af is. In onze slechtste run, Noors, gaf het 113 van de 521 referentiewoorden terug na 30 minuten rekentijd, en stopte het na 9 segmenten. Onze eigen pijplijn logde die run als VOLTOOID: geen fout, geen waarschuwing, geen vlag voor een gedeeltelijk resultaat.
- 10 van 143runs stopten te vroeg
- 22%van de audio in de slechtste run
- 9 van 10op de twee large-v3-bestanden
Welke runs
In welke talen het te vroeg stopte
9 van de 10 zitten op de twee large-v3-bestanden.
Dekking is de lengte van het transcript gedeeld door de lengte van de referentie: 1,00 is een volledig transcript. Elke balk is één afgekapte run; de stippellijn is de grens van 0,80.
- Noors0,22
- Maleis0,32
- Vietnamees0,34
- Koreaans0,40
- Nederlands0,74
- Tsjechisch0,22
- Portugees (Brazilië)0,35
- Vietnamees0,37
- Maleis0,75
- Hindi†0,72
Hindi: een kanttekening bij de scoring
† Dit is de run van het standaardmodel: 886 eenheden tegen een referentie van 1.237, hetzelfde opgeblazen aantal dat de correctie op
Te kort, nooit te lang
Elke extreme cel in deze matrix is te kort, nooit te lang. Geen enkele run van de 143 overschreed zijn referentie met meer dan de helft. Dat is het tegenovergestelde teken van de herhalingslus, waarbij een model vastloopt en minutenlang dezelfde zin uitspuugt, wat een dekking van vijf keer de referentie of meer geeft. Beide zijn catastrofaal en beide zijn onzichtbaar bij een steekproef, maar ze zijn te onderscheiden aan het teken van hetzelfde getal, en daardoor kan één controle beide opvangen.
Opvangen
Vang het op zonder referentie
Vergelijk hoeveel transcript er terugkwam met hoe lang de audio was.
Voor het woordfoutpercentage is een referentietranscript nodig, en dat heb je in productie nooit. Voor dekking niet. In deze matrix liggen de twee groepen netjes uit elkaar:
| Kenmerk | Runs | Gemiddelde dekking | Gemiddeld foutpercentage |
|---|---|---|---|
| Afgekapt | 10 | 0,44 | 65,90% |
| Gezond | 133 | 1,01 | 12,10% |
De grens van 0,80 is niet aan de gegevens aangepast: de hoogste dekking onder afgekapte runs is 0,75 en de laagste onder gezonde runs is 0,82, dus elke grens binnen die lege band geeft hetzelfde antwoord. In productie: vergelijk het tijdstip van het laatst teruggegeven segment met de duur van het bestand, op de machine van de gebruiker, zonder iets om mee te vergelijken.
Het foutpercentage
Afkapping blaast het foutpercentage op
Ongeveer 9,4 punt van zijn foutpercentage komt niet doordat het model iets verkeerd hoort. Het komt doordat het model er niet meer is.
Zelfs zonder afkapping haalt Large V3 het kleinere turbomodel niet in
Wat dit betekent voor de modellen die Lesskeys aanbiedt
In die versie zit geen dekkingscontrole. De hierboven beschreven controle is een voorstel daarvoor, geen uitgebrachte functie.
Stand op 15 oktober 2026, voor de App Store-versie die te koop is (3.1.4 )
Zonder omwegen gezegd, omdat dit de reden is dat deze pagina het waard is om te publiceren in plaats van weg te leggen:
- Beide large-v3-bestanden worden
aangeboden in de modelkiezer van , en ze zijn goed voor 9 van de 10 afgekapte runs. Wie denkt “grotere download, beter resultaat” kiest de minst betrouwbare optie in de lijst.Lesskeys De kwantisatie van niet in de kiezer van die versie. Ze was in deze test alleen bereikbaar omdat de modelmap bij het opstarten wordt gescand.834 MB , die het laagste gemiddelde foutpercentage haalde (een verschil met de andere turboruns dat vooral uit één Hindi-rij komt) en nul afkappingen had, zitHet standaardmodel ( 547 MB ) werd één keer afgekapt in 29 talen, bij Hindi (waarschijnlijk een echte afkapping; zie de opmerking onder de dekkingslijst). Die run en de run vanLarge V3 Q5 voor Tsjechisch draaiden allebei in het deel van de matrix met12 GB , met weinig geheugen over (zie de grenzen).- In die versie zit geen dekkingscontrole. De hierboven beschreven controle is een voorstel daarvoor, geen uitgebrachte functie. Zodra ze er is, wordt dit gedeelte herschreven in plaats van stilletjes verwijderd.
Wat dit betekent op Windows
De gegevens
De methode, de tabel en de grenzen
Hoe de runs zijn gemaakt en wat ze je niet kunnen vertellen, ingeklapt.
Hoe de afkapping is gemeten
Elke run ging via de uitgebrachte applicatiewhisper-cli. Dat is van belang: spraakactiviteitsdetectie, het hallucinatiefilter, luidheidsnormalisatie en de taalbeperking zaten allemaal in het pad, precies zoals een gebruiker ze zou hebben. De taal werd per run vastgezet en in alle 143 cellen gerespecteerd; het daadwerkelijk geladen model kwam in alle 143 overeen met het gevraagde model. De twee ontbrekende cellen zijn Hindi op beide large-v3-bestanden, die helemaal niet zijn voltooid.
De vijf modellen: grootte, gemiddelde fout, afgekapte runs
| Model | Grootte | Talen | Gemiddelde fout | Mediaan | Afgekapte runs |
|---|---|---|---|---|---|
| 29 | 9,16% | 6,80% | geen | ||
| 29 | 9,52% | 7,23% | geen | ||
| 29 | 9,99% | 7,81% | 1 van 29 | ||
| 28 | 24,64% | 15,80% | 5 van 28 | ||
| 28 | 26,66% | 18,66% | 4 van 28 |
De grenzen van deze test
- Voorgelezen spraak, geen vergaderingen. FLEURS is schone, opgenomen proza. Gesprekken en door elkaar pratende mensen zijn aanzienlijk moeilijker, en deze percentages moet je niet lezen als wat je bij een echt gesprek zou krijgen.
- Eén run per cel. 143 cellen, elk één run. De afkapping was reproduceerbaar over de twee large-v3-bestanden en over twee afzonderlijke onderzoeken, maar deze matrix stelt geen frequentie vast; ze stelt vast dat het gebeurt.
- Eén machine, twee geheugengroottes.
De cellen draaiden op één virtuele machine met Apple Silicon waarvan het geheugen12 GB was voor de eerste 33 cellen en24 GB voor de rest; alle 29 cellen van het standaardmodel en de eerste vier cellen vanLarge V3 Q5 (Arabisch, Tsjechisch, Deens, Duits) draaiden in het deel met12 GB . Twee afgekapte runs vallen daarin: Hindi op het standaardmodel (241 MB geheugen beschikbaar op het laagste punt) en Tsjechisch opLarge V3 Q5 (60 MB ). Elke andere afgekapte run had meer dan6.000 MB beschikbaar. Weinig geheugen kan bij die twee hebben meegespeeld, en deze matrix kan dat niet van het model scheiden. Het decoderen stond op de standaardwaarden van de app voor het bestandspad, niet op die van het opdrachtregelprogramma. - Absolute foutpercentages zijn licht opgeblazen door keuzes bij het normaliseren van leestekens en hoofdletters. De vergelijkingen tussen modellen zijn het dragende deel, niet de absolute percentages.
De transcripten zijn deze keer bewaard. In een eerdere meting werden ze overschreven door de configuratiestap van de volgende run, en moest de afkapping worden afgeleid uit woordaantallen, en dat is precies waarom het zo lang onopgemerkt bleef. “Slechter foutpercentage” en “te vroeg gestopt” zien er hetzelfde uit in een resultatentabel.
Vragen
Vragen over Whisper dat te vroeg stopt
Wat is stille afkapping bij spraakherkenning?
Een model geeft een transcript terug dat maar een deel van de audio beslaat, en de omliggende pijplijn meldt succes. De tekst die er wel is, klopt meestal, dus er lijkt niets mis totdat iemand het transcript met de opname vergelijkt. In deze matrix trof het 10 van de 143 runs, waarvan 9 op de twee large-v3-bestanden.
Hoe herken ik een afgekapt transcript zonder referentie?
Vergelijk wat eruit kwam met wat erin ging: het eindtijdstip van het laatste segment tegenover de duur van het audiobestand, of de lengte van het transcript tegenover de verwachte lengte. Geen van beide heeft een referentietranscript nodig, en dat maakt de controle bruikbaar in productie. In deze gegevens hadden afgekapte runs gemiddeld een dekking van 0,44 tegen 1,01 voor gezonde.
Geeft een groter Whisper-model betere resultaten?
Is dit een bug in Whisper of in de app?
Onbepaald, en de pagina doet niet alsof ze het weet. Gemeten is dat de situatie voorkomt en dat de omliggende pijplijn het niet opmerkte. De voorgestelde dekkingscontrole is een oplossing op applicatieniveau, de laag die wij beheren; ze stelt de onderliggende oorzaak niet vast.
Meer