LesskeysQuando Whisper si ferma prima e dice di aver finito
Ultima verifica:
Che cos'è
Cos'è il troncamento silenzioso
Il testo che ha prodotto era corretto. Si è semplicemente fermato, e la pipeline ha detto che aveva finito.
Un modello vocale può restituire le parole sbagliate, oppure può fermarsi a metà e restituire una trascrizione corretta della prima parte come se fosse completa. Nella nostra esecuzione peggiore, il norvegese, ha restituito 113 delle 521 parole di riferimento dopo 30 minuti di calcolo, e si è fermato dopo 9 segmenti. La nostra pipeline ha registrato quell'esecuzione come COMPLETED: nessun errore, nessun avviso, nessun indicatore di risultato parziale.
- 10 su 143esecuzioni fermate prima
- 22%dell'audio nell'esecuzione peggiore
- 9 su 10sui due file large-v3
Quali esecuzioni
Quali lingue si sono fermate prima
9 delle 10 sono sui due file large-v3.
La copertura è la lunghezza della trascrizione divisa per quella del riferimento: 1,00 è una trascrizione completa. Ogni barra è un'esecuzione troncata; la linea tratteggiata è la soglia di 0,80.
- Norvegese0,22
- Malese0,32
- Vietnamita0,34
- Coreano0,40
- Olandese0,74
- Ceco0,22
- Portoghese (Brasile)0,35
- Vietnamita0,37
- Malese0,75
- Hindi†0,72
Hindi: una riserva sul calcolo
† Questa è l'esecuzione del modello predefinito: 886 unità contro un riferimento di 1.237, lo stesso conteggio gonfiato indicato dalla correzione in
Sempre corte, mai lunghe
Ogni cella estrema di questa matrice è corta, mai lunga. Nemmeno un'esecuzione su 143 ha superato il suo riferimento di più della metà. È il segno opposto rispetto al difetto dei cicli di ripetizione, in cui un modello si blocca ed emette la stessa frase per minuti, dando una copertura di cinque volte il riferimento o più. Entrambi sono catastrofici ed entrambi invisibili a un controllo a campione, ma si distinguono dal segno dello stesso numero, ed è questo che permette a un solo controllo di coglierli entrambi.
Come accorgersene
Accorgersene senza un riferimento
Confronta quanta trascrizione è uscita con la durata dell'audio.
Il tasso di errore sulle parole richiede una trascrizione di riferimento, che in produzione non hai mai. La copertura no. In questa matrice le due popolazioni si separano nettamente:
| Cosa | Esecuzioni | Copertura media | Tasso di errore medio |
|---|---|---|---|
| Troncate | 10 | 0,44 | 65,90% |
| Regolari | 133 | 1,01 | 12,10% |
La soglia di 0,80 non è adattata ai dati: la copertura più alta tra le esecuzioni troncate è 0,75 e la più bassa tra quelle regolari è 0,82, quindi qualsiasi soglia in quell'intervallo vuoto dà la stessa risposta. In produzione: confronta l'istante dell'ultimo segmento restituito con la durata del file, sul computer dell'utente, senza nulla con cui confrontarlo.
Il tasso di errore
Il troncamento gonfia il tasso di errore
Circa 9,4 punti del suo tasso di errore non dipendono dal modello che sente male. Dipendono dal modello che non c'è.
Anche senza troncamenti, Large V3 non raggiunge il modello turbo più piccolo
Cosa significa per i modelli offerti da Lesskeys
In quella versione non c'è nessun controllo di copertura. Il controllo descritto sopra è una proposta per essa, non una funzione già distribuita.
Stato al 15 ottobre 2026, per la versione per App Store in vendita (3.1.4 )
Detto chiaramente, perché è il motivo per cui questa pagina vale la pena di essere pubblicata invece che archiviata:
- Entrambe le varianti large-v3 sono
offerte nel selettore dei modelli di , e rappresentano 9 delle 10 esecuzioni troncate. Chi ragiona «download più grande, risultato migliore» sta scegliendo l'opzione meno affidabile dell'elenco.Lesskeys La quantizzazione da non è nel selettore di quella versione. In questo test era raggiungibile solo perché la cartella dei modelli viene letta all'avvio.834 MB , che ha ottenuto il tasso di errore medio più basso (un divario rispetto alle altre esecuzioni turbo che dipende per lo più da una riga di hindi) e zero troncamenti,Il modello predefinito ( 547 MB ) ha troncato una volta su 29 lingue, sull'hindi (molto probabilmente un vero troncamento; vedi la nota sotto l'elenco della copertura). Quell'esecuzione e quella delLarge V3 Q5 in ceco sono state eseguite nella parte della matrice da12 GB , con poca memoria di scorta (vedi i limiti).- In quella versione non c'è nessun controllo di copertura. Il controllo descritto sopra è una proposta per essa, non una funzione già distribuita. Quando verrà distribuito, questa sezione verrà riscritta invece di essere cancellata in silenzio.
Cosa significa su Windows
I dati
Il metodo, la tabella e i limiti
Come sono state fatte le esecuzioni e cosa non possono dirti, sezione chiusa.
Come è stato misurato il troncamento
Ogni esecuzione è passata attraverso l'applicazione distribuitawhisper-cli. Conta: rilevamento dell'attività vocale, filtro antiallucinazioni, normalizzazione del volume e vincolo sulla lingua erano tutti nel percorso, esattamente come li avrebbe un utente. La lingua è stata imposta per ogni esecuzione e rispettata in tutte le 143 celle; il modello effettivamente caricato corrispondeva a quello richiesto in tutte le 143. Le due celle assenti sono l'hindi sulle due varianti large-v3, che non sono state completate affatto.
I cinque modelli: dimensione, errore medio, esecuzioni troncate
| Modello | Dimensione | Lingue | Errore medio | Mediana | Esecuzioni troncate |
|---|---|---|---|---|---|
| 29 | 9,16% | 6,80% | nessuna | ||
| 29 | 9,52% | 7,23% | nessuna | ||
| 29 | 9,99% | 7,81% | 1 su 29 | ||
| 28 | 24,64% | 15,80% | 5 su 28 | ||
| 28 | 26,66% | 18,66% | 4 su 28 |
I limiti di questo test
- Parlato letto, non riunioni. FLEURS è prosa registrata pulita. L'audio conversazionale e con voci sovrapposte è sensibilmente più difficile, e questi tassi non vanno letti come quello che otterresti in una chiamata vera.
- Un passaggio per cella. 143 celle, un'esecuzione ciascuna. Il troncamento si è riprodotto sulle due versioni large-v3 e in due indagini separate, ma questa matrice non stabilisce una frequenza; stabilisce che succede.
- Una macchina, due dimensioni di memoria.
Le celle sono state eseguite su una macchina virtuale Apple Silicon la cui memoria era di12 GB per le prime 33 celle e di24 GB per le altre; tutte le 29 celle del modello predefinito e le prime quattro delLarge V3 Q5 (arabo, ceco, danese, tedesco) sono state eseguite nella parte da12 GB . Due esecuzioni troncate ci ricadono: l'hindi sul modello predefinito (241 MB di memoria disponibile nel punto più basso) e il ceco sulLarge V3 Q5 (60 MB ). Ogni altra esecuzione troncata aveva più di6.000 MB disponibili. La poca memoria potrebbe aver contribuito a quelle due, e questa matrice non può separarlo dal modello. La decodifica è stata lasciata alle impostazioni predefinite dell'applicazione per i file, non a quelle dello strumento da riga di comando. - I tassi assoluti sono in parte gonfiati dalle scelte di normalizzazione di punteggiatura e maiuscole. A reggere il peso sono i confronti tra modelli, non le percentuali assolute.
Questa volta le trascrizioni sono state conservate. In una misurazione precedente erano state sovrascritte dal passaggio di configurazione dell'esecuzione successiva, e il troncamento doveva essere dedotto dal numero di parole, ed è esattamente per questo che è passato inosservato così a lungo. «Tasso di errore peggiore» e «fermata prima» sembrano identici in una tabella di risultati.
Domande
Domande su Whisper che si ferma prima
Cos'è il troncamento silenzioso nel riconoscimento vocale?
Un modello restituisce una trascrizione che copre solo una parte dell'audio e la pipeline che lo circonda segnala il successo. Il testo presente di solito è corretto, quindi nulla sembra sbagliato finché qualcuno non confronta la trascrizione con la registrazione. In questa matrice ha riguardato 10 esecuzioni su 143, 9 delle quali sui due file large-v3.
Come riconosco una trascrizione troncata senza un riferimento?
Confronta ciò che è uscito con ciò che è entrato: l'istante finale dell'ultimo segmento rispetto alla durata del file audio, oppure la lunghezza della trascrizione rispetto a quella attesa. Nessuno dei due richiede una trascrizione di riferimento, ed è questo a rendere il controllo utilizzabile in produzione. In questi dati le esecuzioni troncate avevano una copertura media di 0,44 contro 1,01 di quelle regolari.
Un modello Whisper più grande dà risultati migliori?
È un difetto di Whisper o dell'app?
Non stabilito, e la pagina non pretende di saperlo. Ciò che è misurato è che la condizione si verifica e che la pipeline circostante non se n'è accorta. Il controllo di copertura proposto è una mitigazione a livello di applicazione, il livello che controlliamo noi; non diagnostica la causa di fondo.
Altro