Precisão do Whisper em 29 idiomas
Última revisão em
Leia isto primeiro
Linhas em nova medição
Correção, datada de 28 de agosto de 2026
O avaliador por trás desta tabela normalizava o texto com [^\w\s], e o \w
Isso infla a referência e, como os fragmentos não conseguem se alinhar, o número de erros junto com ela. Portanto, as linhas de hindi, árabe, hebraico e das outras escritas com marcas combinatórias exageram a taxa de erro em um valor que varia por idioma, e a afirmação sobre o “pior idioma”, mais abaixo, não é segura para essas linhas. Uma varredura corrigida em 83 idiomas está rodando agora e esta página será regenerada a partir dela.
Isso fica registrado aqui em vez de ser apagado em silêncio, pelo mesmo motivo da retratação mais abaixo: um normalizador que estraga escritas não latinas sem avisar é exatamente o tipo de falha sobre o qual quem lê um teste multilíngue deveria ser avisado, e ela não aparece em nenhum número publicado.
Situação em 15 de outubro de 2026
A nova medição cobre 83 idiomas e seis modelos, tanto para transcrição de arquivos quanto para ditado. Ela ainda não está nesta página, porque não terminou: 89 das suas 996 execuções de teste falharam, todas nos maiores modelos e em 17 idiomas, e as execuções não usaram todas a mesma quantidade de memória do computador nem a mesma versão da ferramenta de teste. Até que termine, a tabela abaixo continua sendo a de 29 idiomas descrita acima, então as linhas marcadas com † (hindi, árabe e hebraico, citados na correção) ainda trazem taxas de erro infladas, e outras escritas com marcas combinatórias também podem trazer. As comparações nas linhas em escrita latina, cirílica e CJK não são afetadas.
A resposta
O modelo de 547 MB se sustenta
- 23 de 29idiomas: nenhum modelo maior é claramente melhor
- 6idiomas em que um modelo maior compensa o tamanho
- 9 de 29
idiomas em que o modelo turbo de 1,6 GB tem resultado pior
Exceções
Onde um modelo maior compensa o tamanho
Se você trabalha em tailandês, japonês, finlandês, francês, holandês ou coreano, o download maior vale a pena.
| Idioma | Modelo melhor | Ganho | |
|---|---|---|---|
| Tailandês | 20,8% | v3: 12,6% | |
| Japonês | 18,5% | v3-q5: 14,2% | |
| Finlandês | 10,8% | v3-q5: 7,7% | |
| Francês | 10,0% | v3: 7,5% | |
| Holandês | 10,8% | v3-q5: 8,3% | |
| Coreano | 11,3% | v3-q5: 9,4% |
O v3-q5v3
Nem sempre maior
Modelos maiores nem sempre são mais precisos
Quais idiomas e por quanto
Hindi† (42,1% contra 34,4%), tailandês (24,6% contra 20,8%), chinês (simplificado) (16,8% contra 13,7%), malaio (9,8% contra 7,1%), vietnamita (10,3% contra 9,8%), indonésio (7,8% contra 7,4%), turco (15,5% contra 15,2%), grego (11,3% contra 11,2%), francês (10,1% contra 10,0%). Margens tão pequenas não são todas significativas individualmente com este tamanho de amostra; o que importa é a direção, que o tamanho sozinho não previria. Recorrer ao modelo maior seguinte não é um padrão seguro.
Extremos
O mais fácil e o mais difícil
Melhor resultado: espanhol, 2,8%.
A maior taxa de erro que nenhum modelo melhora é a do hebraico†, que não cai abaixo de 48,3% em nenhuma
Retratação
Uma retratação, mantida no lugar
Retratação
Uma versão anterior desta varredura informou que o large-v3 era significativamente melhor que o padrão para o ucraniano. Isso estava errado. Foi medido com beam 5, que é o padrão do whisper-cli, mas não o que o app entrega. Refeito com greedy, a configuração real, o padrão e o v3 ficam num empate completo. A diferença estava no decodificador, não no modelo.
Os dados
A tabela completa, o método e os limites
A tabela completa, o método e os limites, recolhidos: abra qualquer um deles.
Taxa de erro por idioma e modelo (29 idiomas, 6 modelos)
Taxa de erro por idioma e modelo (29 idiomas, 6 modelos)
| Idioma | Métrica | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Árabe† ar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Chinês (simplificado) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Tcheco cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Dinamarquês da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Holandês nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Inglês en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Finlandês fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Francês fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Alemão de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Grego el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Hebraico† he | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Hindi† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Húngaro hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Indonésio id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Italiano it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Japonês ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Coreano ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Malaio ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Norueguês no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Polonês pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Português (BR) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Romeno ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Russo ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Espanhol es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Sueco sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Tailandês th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Turco tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Ucraniano uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| Vietnamita vi | WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Como foi medido
Os limites deste teste
- Um trecho por idioma (cerca de 1.000 palavras, ou cerca de 2.000 caracteres nos idiomas medidos por erro de caracteres). Basta para separar grandes diferenças, não para apontar as pequenas. Quando esta página diz que um modelo “se sustenta”, leia como não separado com este tamanho de amostra, não como comprovadamente idêntico.
whisper -cli com o contexto e as configurações de decodificação do app, não o pipeline completo do Lesskeys , que acrescenta detecção de atividade de voz, um filtro de alucinações, normalização de volume e uma trava de idioma. Esta tabela não mede esse pipeline.- Fala lida, não reuniões. Áudio de conversa e com vozes sobrepostas é bem mais difícil.
- As taxas absolutas trazem alguma inflação de diferenças de formatação de números e pontuação que uma pessoa lendo não contaria como erros. As comparações entre modelos no mesmo idioma são a parte confiável; as comparações entre idiomas são mais ruidosas.
Perguntas
Perguntas sobre a precisão do Whisper por idioma
Qual modelo do Whisper devo rodar no Mac ?
Quantizar um modelo do Whisper prejudica a precisão?
Um modelo maior do Whisper é sempre mais preciso?
Isso foi medido na nuvem?
Mais