LesskeysKdyž se Whisper zastaví předčasně a tvrdí, že skončil
Naposledy zkontrolováno
Co to je
Co je tiché useknutí
Text, který vznikl, byl správný. Jen se zastavil a zpracovací řetězec ohlásil, že je hotovo.
Model řeči může vrátit špatná slova, nebo se může zastavit uprostřed a vydat správný přepis první části, jako by byl úplný. V našem nejhorším běhu, norštině, vrátil 113 z 521 referenčních slov po 30 minutách výpočtu a zastavil se po 9 segmentech. Náš vlastní zpracovací řetězec ten běh zaznamenal jako DOKONČENO: bez chyby, bez varování, bez příznaku částečného výsledku.
- 10 ze 143běhů se zastavilo předčasně
- 22 %zvuku v nejhorším běhu
- 9 z 10u dvou souborů large-v3
Které běhy
Které jazyky se zastavily předčasně
9 z 10 je u dvou souborů large-v3.
Pokrytí je délka přepisu dělená délkou reference: 1,00 je úplný přepis. Každý sloupec je jeden useknutý běh; čárkovaná čára je hranice 0,80.
- Norština0,22
- Malajština0,32
- Vietnamština0,34
- Korejština0,40
- Nizozemština0,74
- Čeština0,22
- Portugalština (Brazílie)0,35
- Vietnamština0,37
- Malajština0,75
- Hindština†0,72
Hindština: výhrada k hodnocení
† Jde o běh výchozího modelu: 886 jednotek proti referenci 1 237, tedy stejný nafouknutý počet, který uvádí oprava v části
Vždy krátké, nikdy dlouhé
Každá extrémní buňka v této matici je krátká, nikdy dlouhá. Ani jeden běh ze 143 nepřekročil svou referenci o víc než polovinu. To je opačné znaménko než u selhání typu smyčka opakování, kdy se model zasekne a minutu za minutou vydává stejnou frázi, takže pokrytí je pětinásobek reference nebo víc. Obojí je katastrofální a obojí je při namátkové kontrole neviditelné, ale dají se rozlišit podle znaménka téhož čísla, což umožňuje zachytit obojí jednou kontrolou.
Jak to zachytit
Zachyťte to bez reference
Porovnejte, kolik přepisu se vrátilo, s délkou zvuku.
Chybovost slov potřebuje referenční přepis, který v praxi nikdy nemáte. Pokrytí ne. V této matici se obě skupiny čistě oddělují:
| Co | Běhy | Průměrné pokrytí | Průměrná chybovost |
|---|---|---|---|
| Useknuté | 10 | 0,44 | 65,90 % |
| Zdravé | 133 | 1,01 | 12,10 % |
Hranice 0,80 není vyladěna na data: nejvyšší pokrytí mezi useknutými běhy je 0,75 a nejnižší mezi zdravými 0,82, takže jakákoli hranice v tomto prázdném pásmu dá stejnou odpověď. V praxi: porovnejte časovou značku posledního vráceného segmentu s délkou souboru, na počítači uživatele, bez jakékoli reference.
Chybovost
Useknutí nafukuje chybovost
Zhruba 9,4 procentního bodu jeho chybovosti nepochází z toho, že by model něco špatně slyšel. Pochází z toho, že model tam není.
Ani bez useknutí Large V3 menší model turbo nedohoní
Na Macu
Co to znamená pro modely, které Lesskeys nabízí
V této verzi není žádná kontrola pokrytí. Kontrola popsaná výše je pro ni návrh, ne dodaná funkce.
Stav k 15. říjnu 2026, pro verzi z App Store v prodeji (3.1.4 )
Řečeno otevřeně, protože právě proto stojí za to tuto stránku zveřejnit, a ne založit do šuplíku:
- Oba soubory large-v3 jsou
nabízeny ve výběru modelů a podílejí se na 9 z 10 useknutých běhů. Uživatel, který uvažuje „větší stažení, lepší výsledek“, volí v seznamu nejméně spolehlivou možnost.Lesskeys Kvantizace o velikosti není ve výběru této verze. V tomto testu byla dosažitelná jen proto, že se adresář s modely prohledává při spuštění.834 MB , která měla nejnižší průměrnou chybovost (rozdíl oproti ostatním během turbo je většinou jeden řádek hindštiny) a nula useknutí,Výchozí model ( 547 MB ) se ve 29 jazycích usekl jednou, u hindštiny (nejspíš skutečné useknutí; viz poznámka pod seznamem pokrytí). Tento běh i běhLarge V3 Q5 pro češtinu proběhly v části matice s12 GB , s malou rezervou paměti (viz omezení).- V této verzi není žádná kontrola pokrytí. Kontrola popsaná výše je pro ni návrh, ne dodaná funkce. Až bude dodána, tato část se přepíše, ne tiše smaže.
Co to znamená ve Windows
Data
Metoda, tabulka a omezení
Jak běhy probíhaly a co nemohou říct, sbalené.
Jak se useknutí měřilo
Každý běh prošel skutečnou aplikacíwhisper-cli. To je důležité: detekce řeči, filtr halucinací, normalizace hlasitosti i omezení jazyka byly součástí zpracování, přesně tak, jak by je měl uživatel. Jazyk byl při každém běhu pevně omezen a respektován ve všech 143 buňkách; skutečně načtený model odpovídal požadovanému modelu ve všech 143. Dvě chybějící buňky jsou hindština u obou souborů large-v3, které nedoběhly vůbec.
Pět modelů: velikost, průměrná chybovost, useknuté běhy
| Model | Velikost | Jazyky | Průměrná chybovost | Medián | Useknuté běhy |
|---|---|---|---|---|---|
| 29 | 9,16 % | 6,80 % | žádný | ||
| 29 | 9,52 % | 7,23 % | žádný | ||
| 29 | 9,99 % | 7,81 % | 1 z 29 | ||
| 28 | 24,64 % | 15,80 % | 5 z 28 | ||
| 28 | 26,66 % | 18,66 % | 4 z 28 |
Omezení tohoto testu
- Čtená řeč, ne schůzky. FLEURS je čistá nahraná próza. Konverzační a překrývající se zvuk je podstatně těžší a tyto hodnoty se nemají číst jako to, co dostanete u skutečného hovoru.
- Jeden průchod na buňku. 143 buněk, jeden běh každá. Useknutí bylo reprodukovatelné u obou souborů large-v3 a ve dvou samostatných šetřeních, ale tato matice nestanoví míru; stanoví, že se to děje.
- Jeden počítač, dvě velikosti paměti.
Buňky běžely na jednom virtuálním stroji s Apple Silicon , jehož paměť měla pro prvních 33 buněk12 GB a pro zbytek24 GB ; všech 29 buněk výchozího modelu a první čtyři buňkyLarge V3 Q5 (arabština, čeština, dánština, němčina) proběhlo v části s12 GB . Dva useknuté běhy v ní leží: hindština u výchozího modelu (v nejnižším bodě k dispozici241 MB paměti) a čeština uLarge V3 Q5 (60 MB ). Každý další useknutý běh měl k dispozici víc než 6000 MB . K těmto dvěma mohla přispět nízká paměť a tato matice to od vlivu modelu nedokáže oddělit. Dekódování zůstalo na výchozích hodnotách aplikace pro cestu k souboru, ne na hodnotách nástroje příkazového řádku. - Absolutní hodnoty jsou do jisté míry nafouknuté volbami normalizace interpunkce a velikosti písmen. Nosnou částí jsou srovnání mezi modely, ne absolutní procenta.
Přepisy se tentokrát uchovaly. V dřívějším měření je přepsal konfigurační krok dalšího běhu a useknutí se muselo odvozovat z počtu slov, což je přesně důvod, proč zůstalo nepovšimnuto tak dlouho. „Horší chybovost“ a „zastavilo se předčasně“ vypadají v tabulce výsledků stejně.
Dotazy
Otázky k předčasnému zastavení Whisperu
Co je tiché useknutí při rozpoznávání řeči?
Model vrátí přepis pokrývající jen část zvuku a okolní zpracovací řetězec ohlásí úspěch. Text, který tam je, bývá správný, takže nic nevypadá špatně, dokud někdo přepis neporovná s nahrávkou. V této matici se to týkalo 10 ze 143 běhů, z toho 9 u dvou souborů large-v3.
Jak poznám useknutý přepis bez reference?
Porovnejte, co se vrátilo, s tím, co šlo dovnitř: časovou značku konce posledního segmentu s délkou zvukového souboru, nebo délku přepisu s očekávanou délkou. Ani jedno nepotřebuje referenční přepis, a proto je kontrola použitelná v praxi. V těchto datech měly useknuté běhy průměrné pokrytí 0,44 oproti 1,01 u zdravých.
Dává větší model Whisper lepší výsledky?
Je to chyba ve Whisperu , nebo v aplikaci?
Není zjištěno a stránka netvrdí, že to ví. Změřeno je, že tento stav nastává a že si ho okolní zpracovací řetězec nevšiml. Navrhovaná kontrola pokrytí je zmírnění na úrovni aplikace, tedy vrstvy, kterou ovládáme; příčinu neurčuje.
Více