LesskeysWenn Whisper zu früh aufhört und „fertig“ meldet
Zuletzt geprüft am
Was es ist
Was stilles Abschneiden ist
Der Text, den es lieferte, war korrekt. Es hörte nur auf, und die Pipeline meldete, es sei fertig.
Ein Sprachmodell kann falsche Wörter liefern, oder es kann auf halbem Weg aufhören und ein korrektes Transkript des ersten Teils zurückgeben, als wäre es fertig. In unserem schlechtesten Durchlauf, Norwegisch, lieferte es nach 30 Minuten Rechenzeit 113 von 521 Referenzwörtern und hörte nach 9 Segmenten auf. Unsere eigene Pipeline protokollierte diesen Durchlauf als COMPLETED: kein Fehler, keine Warnung, keine Markierung für ein Teilergebnis.
- 10 von 143Durchläufe endeten vorzeitig
- 22 %des Audios im schlechtesten Durchlauf
- 9 von 10bei den beiden large-v3-Dateien
Welche Durchläufe
Welche Sprachen vorzeitig endeten
9 der 10 betreffen die beiden large-v3-Dateien.
Die Abdeckung ist die Länge des Transkripts geteilt durch die Länge der Referenz: 1,00 ist ein vollständiges Transkript. Jeder Balken ist ein abgeschnittener Durchlauf; die gestrichelte Linie ist die Schwelle von 0,80.
- Norwegisch0,22
- Malaiisch0,32
- Vietnamesisch0,34
- Koreanisch0,40
- Niederländisch0,74
- Tschechisch0,22
- Portugiesisch (Brasilien)0,35
- Vietnamesisch0,37
- Malaiisch0,75
- Hindi†0,72
Hindi: ein Vorbehalt zur Bewertung
† Das ist der Durchlauf des Standardmodells: 886 Einheiten gegenüber einer Referenz von 1.237, derselben aufgeblähten Zählung, die die Korrektur unter
Zu kurz, nie zu lang
Jede Extremzelle in dieser Matrix ist zu kurz, nie zu lang. Kein einziger von 143 Durchläufen überschritt seine Referenz um mehr als die Hälfte. Das ist das umgekehrte Vorzeichen zum Wiederholungsschleifen-Fehler, bei dem ein Modell hängen bleibt und minutenlang dieselbe Phrase ausgibt, was eine Abdeckung vom Fünffachen der Referenz oder mehr ergibt. Beides ist katastrophal und beides bleibt bei einer Stichprobenkontrolle unsichtbar, doch sie lassen sich am Vorzeichen derselben Zahl unterscheiden, weshalb eine einzige Prüfung beide erfasst.
Erkennen
Erkennen Sie es ohne Referenz
Vergleichen Sie, wie viel Transkript zurückkam, mit der Länge des Audios.
Die Wortfehlerrate braucht ein Referenztranskript, das Sie in der Praxis nie haben. Die Abdeckung nicht. In dieser Matrix trennen sich die beiden Gruppen sauber:
| Was | Durchläufe | Mittlere Abdeckung | Mittlere Fehlerrate |
|---|---|---|---|
| Abgeschnitten | 10 | 0,44 | 65,90 % |
| Gesund | 133 | 1,01 | 12,10 % |
Die Schwelle von 0,80 ist nicht an die Daten angepasst: Die höchste Abdeckung unter den abgeschnittenen Durchläufen ist 0,75, die niedrigste unter den gesunden 0,82, jede Schwelle in dieser leeren Lücke liefert also dasselbe Ergebnis. Vergleichen Sie in der Praxis den Zeitstempel des zuletzt gelieferten Segments mit der Dauer der Datei, auf dem Rechner des Nutzers, ganz ohne Referenz.
Die Fehlerrate
Abgeschnittene Durchläufe blähen die Fehlerrate auf
Etwa 9,4 Punkte seiner Fehlerrate gehen nicht darauf zurück, dass das Modell etwas falsch hört. Das Modell war einfach nicht da.
Auch ohne abgeschnittene Durchläufe holt Large V3 das kleinere Turbo-Modell nicht ein
Was das für die Modelle bedeutet, die Lesskeys anbietet
In dieser Version gibt es keine Abdeckungsprüfung. Die oben beschriebene Prüfung ist ein Vorschlag dafür, keine ausgelieferte Funktion.
Stand 15. Oktober 2026 für die im App Store erhältliche Version (3.1.4 )
Offen gesagt, denn deshalb lohnt es sich, diese Seite zu veröffentlichen, statt sie abzulegen:
- Beide large-v3-Artefakte werden
in der Modellauswahl von , und auf sie entfallen 9 der 10 abgeschnittenen Durchläufe. Wer nach dem Motto „größerer Download, besseres Ergebnis“ wählt, entscheidet sich für die unzuverlässigste Option der Liste.Lesskeys angeboten Die Quantisierung mit nicht enthalten. In diesem Test war sie nur erreichbar, weil das Modellverzeichnis beim Start durchsucht wird.834 MB , die den niedrigsten mittleren Fehler erzielte (ein Abstand zu den anderenTurbo-Läufen , der größtenteils auf eine Hindi-Zeile zurückgeht) und keinen einzigen abgeschnittenen Durchlauf hatte, ist in der Auswahl dieser VersionDas Standardmodell ( 547 MB ) wurde in 29 Sprachen einmal abgeschnitten, bei Hindi (höchstwahrscheinlich ein echtes Abschneiden; siehe den Hinweis unter der Abdeckungsliste). Dieser Durchlauf und der Durchlauf vonLarge V3 Q5 für Tschechisch liefen beide im 12-GB-Teil der Matrix, mit wenig freiem Speicher (siehe die Grenzen).- In dieser Version gibt es keine Abdeckungsprüfung. Die oben beschriebene Prüfung ist ein Vorschlag dafür, keine ausgelieferte Funktion. Sobald sie ausgeliefert wird, wird dieser Abschnitt neu geschrieben, nicht stillschweigend gelöscht.
Was das unter Windows
Die Daten
Die Methode, die Tabelle und die Grenzen
Wie die Durchläufe entstanden und was sie nicht aussagen können, eingeklappt.
Wie das Abschneiden gemessen wurde
Jeder Durchlauf ging durch die ausgelieferte Anwendungwhisper-cli. Das ist wichtig: Sprachaktivitätserkennung, Halluzinationsfilter, Lautstärkenormalisierung und die Sprachbegrenzung lagen alle im Pfad, genau wie bei einem Nutzer. Die Sprache wurde pro Durchlauf fest vorgegeben und in allen 143 Zellen eingehalten; das tatsächlich geladene Modell entsprach in allen 143 dem angeforderten. Die beiden fehlenden Zellen sind Hindi bei beiden large-v3-Artefakten, die gar nicht abgeschlossen wurden.
Die fünf Modelle: Größe, mittlerer Fehler, abgeschnittene Durchläufe
| Modell | Größe | Sprachen | Mittlerer Fehler | Median | Abgeschnittene Durchläufe |
|---|---|---|---|---|---|
| 29 | 9,16 % | 6,80 % | keine | ||
| 29 | 9,52 % | 7,23 % | keine | ||
| 29 | 9,99 % | 7,81 % | 1 von 29 | ||
| 28 | 24,64 % | 15,80 % | 5 von 28 | ||
| 28 | 26,66 % | 18,66 % | 4 von 28 |
Die Grenzen dieses Tests
- Gelesene Sprache, keine Besprechungen. FLEURS ist saubere aufgenommene Prosa. Gesprächsaudio und überlappendes Sprechen sind deutlich schwieriger, und diese Raten sollten nicht als das gelesen werden, was Sie bei einem echten Anruf bekämen.
- Ein Durchlauf pro Zelle. 143 Zellen, je ein Lauf. Das Abschneiden war über die beiden large-v3-Artefakte und über zwei getrennte Untersuchungen hinweg reproduzierbar, doch diese Matrix belegt keine Rate; sie belegt, dass es vorkommt.
- Ein Rechner, zwei Speichergrößen.
Die Zellen liefen auf einer virtuellen Apple-Silicon-Maschine , deren Speicher für die ersten 33 Zellen12 GB und für den Rest24 GB betrug; alle 29 Zellen des Standardmodells und die ersten vier Zellen vonLarge V3 Q5 (Arabisch, Tschechisch, Dänisch, Deutsch) liefen im 12-GB-Teil. Zwei abgeschnittene Durchläufe liegen darin: Hindi beimStandard (241 MB Speicher am tiefsten Punkt verfügbar) und Tschechisch beiLarge V3 Q5 (60 MB ). Jeder andere abgeschnittene Durchlauf hatte mehr als6.000 MB verfügbar. Knapper Speicher könnte zu diesen beiden beigetragen haben, und diese Matrix kann das nicht vom Modell trennen. Die Dekodierung blieb bei den Dateipfad-Standardwerten der Anwendung, nicht denen des Kommandozeilenwerkzeugs. - Die absoluten Raten sind etwas überhöht durch Entscheidungen bei der Normalisierung von Satzzeichen und Groß-/Kleinschreibung. Tragend sind die Vergleiche zwischen den Modellen, nicht die absoluten Prozentwerte.
Die Transkripte wurden diesmal aufbewahrt. In einem früheren Durchlauf wurden sie vom Konfigurationsschritt des nächsten Laufs überschrieben, und das Abschneiden musste aus Wortzahlen erschlossen werden, weshalb es so lange unbemerkt blieb. „Schlechtere Fehlerrate“ und „vorzeitig beendet“ sehen in einer Ergebnistabelle gleich aus.
Fragen
Fragen dazu, dass Whisper vorzeitig aufhört
Was ist stilles Abschneiden bei der Spracherkennung?
Ein Modell liefert ein Transkript, das nur einen Teil des Audios abdeckt, und die umgebende Pipeline meldet Erfolg. Der vorhandene Text ist meist korrekt, sodass nichts falsch aussieht, bis jemand das Transkript mit der Aufnahme vergleicht. In dieser Matrix betraf es 10 von 143 Durchläufen, 9 davon bei den beiden large-v3-Artefakten.
Wie erkenne ich ein abgeschnittenes Transkript ohne Referenz?
Vergleichen Sie, was herauskam, mit dem, was hineinging: den End-Zeitstempel des letzten Segments mit der Dauer der Audiodatei oder die Länge des Transkripts mit der erwarteten Länge. Keines von beiden braucht ein Referenztranskript, und genau das macht die Prüfung im Betrieb nutzbar. In diesen Daten lagen abgeschnittene Durchläufe im Mittel bei einer Abdeckung von 0,44, gesunde bei 1,01.
Liefert ein größeres Whisper-Modell bessere Ergebnisse?
Ist das ein Fehler in Whisper oder in der App?
Ungeklärt, und die Seite behauptet nicht, es zu wissen. Gemessen ist, dass der Zustand auftritt und dass die umgebende Pipeline ihn nicht bemerkt hat. Die vorgeschlagene Abdeckungsprüfung ist eine Gegenmaßnahme auf der Anwendungsebene, der Ebene, die wir kontrollieren; sie diagnostiziert nicht die zugrunde liegende Ursache.
Mehr