LesskeysQuando o Whisper para antes da hora e diz que terminou
Última revisão em
O que é
O que é truncamento silencioso
O texto que ele produziu estava correto. Ele só parou, e o pipeline disse que tinha terminado.
Um modelo de fala pode devolver as palavras erradas, ou pode parar no meio e entregar uma transcrição correta da primeira parte como se estivesse completa. Na nossa pior execução, em norueguês, ele devolveu 113 de 521 palavras de referência depois de 30 minutos de processamento e parou após 9 segmentos. Nosso próprio pipeline registrou essa execução como CONCLUÍDA: sem erro, sem aviso, sem sinalização de resultado parcial.
- 10 de 143execuções pararam cedo
- 22%do áudio na pior execução
- 9 de 10nos dois arquivos large-v3
Quais execuções
Quais idiomas pararam cedo
9 das 10 estão nos dois arquivos large-v3.
Cobertura é o tamanho da transcrição dividido pelo tamanho da referência: 1,00 é uma transcrição completa. Cada barra é uma execução truncada; a linha tracejada é o limite de 0,80.
- Norueguês0,22
- Malaio0,32
- Vietnamita0,34
- Coreano0,40
- Holandês0,74
- Tcheco0,22
- Português (Brasil)0,35
- Vietnamita0,37
- Malaio0,75
- Hindi†0,72
Hindi: uma ressalva sobre a pontuação
† Esta é a execução do modelo padrão: 886 unidades contra uma referência de 1.237, a mesma contagem inflada que a correção em
Sempre curta, nunca longa
Toda célula extrema desta matriz é curta, nunca longa. Nenhuma das 143 execuções passou da referência em mais da metade. É o sinal oposto ao da falha de loop de repetição, em que o modelo trava e emite a mesma frase por minutos, com cobertura de cinco vezes a referência ou mais. As duas são catastróficas e invisíveis a uma checagem por amostragem, mas se distinguem pelo sinal do mesmo número, e é isso que permite que uma única verificação pegue as duas.
Flagre o problema
Flagre o problema sem uma referência
Compare quanta transcrição voltou com a duração do áudio.
A taxa de erro de palavras exige uma transcrição de referência, que em produção você nunca tem. A cobertura não. Nesta matriz, as duas populações se separam com nitidez:
| Item | Execuções | Cobertura média | Taxa de erro média |
|---|---|---|---|
| Truncadas | 10 | 0,44 | 65,90% |
| Saudáveis | 133 | 1,01 | 12,10% |
O limite de 0,80 não foi ajustado aos dados: a maior cobertura entre as execuções truncadas é 0,75 e a menor entre as saudáveis é 0,82, então qualquer corte dentro dessa faixa vazia dá a mesma resposta. Em produção: compare o horário do último segmento devolvido com a duração do arquivo, na máquina da pessoa, sem nenhuma referência para comparar.
A taxa de erro
O truncamento infla a taxa de erro
Cerca de 9,4 pontos da sua taxa de erro não são o modelo ouvindo errado. São o modelo que simplesmente não está lá.
Mesmo sem truncamento, o Large V3 não alcança o modelo turbo menor
O que isto significa para os modelos que o Lesskeys oferece
Essa versão não tem verificação de cobertura. A checagem descrita acima é uma proposta para ela, não um recurso lançado.
Situação em 15 de outubro de 2026, para a versão da App Store à venda (3.1.4 )
- Os dois artefatos large-v3 são
oferecidos no seletor de modelos do e respondem por 9 das 10 execuções truncadas. Quem raciocina “download maior, resultado melhor” está escolhendo a opção menos confiável da lista.Lesskeys A quantização de não está no seletor dessa versão. Ela só pôde ser usada neste teste porque a pasta de modelos é verificada na inicialização.834 MB , que teve o menor erro médio (uma diferença para as outras execuções turbo que é em grande parte uma linha do hindi) e zero truncamentos,O modelo padrão ( 547 MB ) truncou uma vez em 29 idiomas, no hindi (muito provavelmente um truncamento real; veja a nota abaixo da lista de cobertura). Essa execução e a doLarge V3 Q5 em tcheco rodaram na parte da matriz com12 GB , com pouca memória sobrando (veja os limites).- Essa versão não tem verificação de cobertura. A checagem descrita acima é uma proposta para ela, não um recurso lançado. Quando for lançada, esta seção será reescrita em vez de apagada em silêncio.
O que isto significa no Windows
Os dados
O método, a tabela e os limites
Como as execuções foram feitas e o que elas não conseguem dizer, recolhido.
Como o truncamento foi medido
Toda execução passou pelo aplicativo na versão publicadawhisper-cli. Isso importa: a detecção de atividade de voz, o filtro de alucinações, a normalização de volume e a trava de idioma estavam todos no caminho, exatamente como uma pessoa os teria. O idioma foi forçado em cada execução e respeitado nas 143 células; o modelo realmente carregado correspondeu ao modelo pedido nas 143. As duas células ausentes são o hindi nos dois artefatos large-v3, que não chegaram a terminar.
Os cinco modelos: tamanho, erro médio, execuções truncadas
| Modelo | Tamanho | Idiomas | Erro médio | Mediana | Execuções truncadas |
|---|---|---|---|---|---|
| 29 | 9,16% | 6,80% | nenhuma | ||
| 29 | 9,52% | 7,23% | nenhuma | ||
| 29 | 9,99% | 7,81% | 1 de 29 | ||
| 28 | 24,64% | 15,80% | 5 de 28 | ||
| 28 | 26,66% | 18,66% | 4 de 28 |
Os limites deste teste
- Fala lida, não reuniões. O FLEURS é prosa gravada e limpa. Áudio de conversa e com vozes sobrepostas é bem mais difícil, e estas taxas não devem ser lidas como o que você teria em uma chamada real.
- Uma passada por célula. 143 células, uma execução cada. O truncamento foi reproduzível nos dois artefatos large-v3 e em duas investigações separadas, mas esta matriz não estabelece uma taxa; ela estabelece que isso acontece.
- Uma máquina, dois tamanhos de memória.
As células rodaram em uma máquina virtual Apple Silicon cuja memória era de12 GB nas primeiras 33 células e de24 GB nas demais; as 29 células do modelo padrão e as quatro primeiras doLarge V3 Q5 (árabe, tcheco, dinamarquês, alemão) rodaram na parte de12 GB . Duas execuções truncadas caem nela: o hindi no padrão (241 MB de memória disponível no ponto mais baixo) e o tcheco noLarge V3 Q5 (60 MB ). Todas as outras execuções truncadas tinham mais de6.000 MB disponíveis. A pouca memória pode ter contribuído nessas duas, e esta matriz não consegue separar isso do modelo. A decodificação ficou nos padrões do caminho de arquivos do aplicativo, e não nos da ferramenta de linha de comando. - As taxas absolutas trazem alguma inflação das escolhas de normalização de pontuação e de maiúsculas. As comparações entre modelos são a parte que sustenta a conclusão, não os percentuais absolutos.
Desta vez as transcrições foram guardadas. Em uma varredura anterior, elas foram sobrescritas pela etapa de configuração da execução seguinte, e o truncamento teve de ser deduzido pela contagem de palavras, que é justamente o motivo de ele ter passado despercebido por tanto tempo. “Taxa de erro pior” e “parou cedo” parecem idênticos em uma tabela de resultados.
Perguntas
Perguntas sobre o Whisper parando cedo
O que é truncamento silencioso em reconhecimento de fala?
Um modelo devolve uma transcrição que cobre só parte do áudio e o pipeline em volta informa sucesso. O texto que existe costuma estar correto, então nada parece errado até alguém comparar a transcrição com a gravação. Nesta matriz, isso afetou 10 de 143 execuções, 9 delas nos dois artefatos large-v3.
Como detectar uma transcrição truncada sem uma referência?
Compare o que voltou com o que entrou: o horário de fim do último segmento contra a duração do arquivo de áudio, ou o tamanho da transcrição contra o tamanho esperado. Nenhuma das duas exige uma transcrição de referência, e é isso que torna a checagem utilizável em produção. Nestes dados, as execuções truncadas tiveram cobertura média de 0,44, contra 1,01 das saudáveis.
Um modelo maior do Whisper dá resultados melhores?
Isso é um bug do Whisper ou do app?
Indeterminado, e a página não afirma saber. O que foi medido é que a condição ocorre e que o pipeline em volta não percebeu. A verificação de cobertura proposta é uma mitigação na camada do aplicativo, a camada que controlamos; ela não diagnostica a causa de fundo.
Mais