Lesskeys
Idioma
GuiaMac

Precisão do Whisper em 29 idiomas

Resposta curta

Use o modelo Large V3 Turbo Q5 de 547 MB: em 29 idiomas, nenhum modelo maior foi significativamente melhor em 23 deles. As linhas de hindi, árabe e hebraico exageram suas taxas de erro e estão sendo medidas de novo, então leia-as junto com a correção no topo.

macOS 13+ em Apple Silicon · Sem assinatura

Última revisão em

Este guia é para Mac. Para Windows, veja Whisper no Windows.

Ilustração: 23 de 29 idiomas mostrados como blocos. Os blocos verdes são idiomas em que nenhum modelo maior é claramente melhor que o padrão de 547 MB; os amarelos (6) são idiomas em que um modelo maior o supera com clareza. Hindi, árabe e hebraico levam o sinal †: suas linhas estão em nova medição.
Os resultados da própria página, um bloco por idioma. Os blocos marcados com † estão em nova medição: leia a correção abaixo.

Leia isto primeiro

Linhas em nova medição

Correção, datada de 28 de agosto de 2026

O avaliador por trás desta tabela normalizava o texto com [^\w\s], e o \w do Python não reconhece marcas combinatórias do Unicode. Cada sinal de vogal do devanágari, nukta do bengali e diacrítico do árabe era, por isso, trocado por um espaço, dividindo uma palavra em várias. Medido nas mesmas referências que esta página usou: o tâmil marcou 1.520 unidades contra 437 palavras reais, o hindi 1.237 contra 683 e o assamês 1.220 contra 498. As linhas em escrita latina, cirílica e CJK não são afetadas, porque essas escritas não têm marcas combinatórias, e as conclusões que se apoiam nelas também não.

Isso infla a referência e, como os fragmentos não conseguem se alinhar, o número de erros junto com ela. Portanto, as linhas de hindi, árabe, hebraico e das outras escritas com marcas combinatórias exageram a taxa de erro em um valor que varia por idioma, e a afirmação sobre o “pior idioma”, mais abaixo, não é segura para essas linhas. Uma varredura corrigida em 83 idiomas está rodando agora e esta página será regenerada a partir dela.

Isso fica registrado aqui em vez de ser apagado em silêncio, pelo mesmo motivo da retratação mais abaixo: um normalizador que estraga escritas não latinas sem avisar é exatamente o tipo de falha sobre o qual quem lê um teste multilíngue deveria ser avisado, e ela não aparece em nenhum número publicado.

Situação em 15 de outubro de 2026

A nova medição cobre 83 idiomas e seis modelos, tanto para transcrição de arquivos quanto para ditado. Ela ainda não está nesta página, porque não terminou: 89 das suas 996 execuções de teste falharam, todas nos maiores modelos e em 17 idiomas, e as execuções não usaram todas a mesma quantidade de memória do computador nem a mesma versão da ferramenta de teste. Até que termine, a tabela abaixo continua sendo a de 29 idiomas descrita acima, então as linhas marcadas com † (hindi, árabe e hebraico, citados na correção) ainda trazem taxas de erro infladas, e outras escritas com marcas combinatórias também podem trazer. As comparações nas linhas em escrita latina, cirílica e CJK não são afetadas.

A resposta

O modelo de 547 MB se sustenta

Em 23 dos 29 idiomas, nenhum modelo do conjunto é significativamente melhor que o padrão de 547 MB.

  • 23 de 29idiomas: nenhum modelo maior é claramente melhor
  • 6idiomas em que um modelo maior compensa o tamanho
  • 9 de 29idiomas em que o modelo turbo de 1,6 GB tem resultado pior

Significativamente quer dizer um teste z de duas proporções com z ≤ −2 contra o padrão. Leia os outros 23 como não separados, não como comprovadamente iguais.

Exceções

Onde um modelo maior compensa o tamanho

Se você trabalha em tailandês, japonês, finlandês, francês, holandês ou coreano, o download maior vale a pena.

Idiomas em que um modelo maior supera com clareza o padrão de 547 MB
IdiomaPadrão (547 MB)Modelo melhorGanho
Tailandês20,8%v3: 12,6%−8,2 p.p.
Japonês18,5%v3-q5: 14,2%−4,3 p.p.
Finlandês10,8%v3-q5: 7,7%−3,1 p.p.
Francês10,0%v3: 7,5%−2,5 p.p.
Holandês10,8%v3-q5: 8,3%−2,5 p.p.
Coreano11,3%v3-q5: 9,4%−1,9 p.p.

O v3-q5 (1,0 GB) fica com quase todo o ganho: o v3 de 3 GB nunca melhora sobre ele em mais de 1,2 ponto percentual.

Nem sempre maior

Modelos maiores nem sempre são mais precisos

O modelo turbo de 1,6 GB tem resultado numericamente pior que o padrão de 547 MB em 9 dos 29 idiomas.

O modelo de 75 MB não é utilizável fora do inglês: hindi† 100,0%, dinamarquês 87,2%, húngaro 84,8%, tcheco 84,0%, hebraico† 81,9%.

Quais idiomas e por quanto

Hindi† (42,1% contra 34,4%), tailandês (24,6% contra 20,8%), chinês (simplificado) (16,8% contra 13,7%), malaio (9,8% contra 7,1%), vietnamita (10,3% contra 9,8%), indonésio (7,8% contra 7,4%), turco (15,5% contra 15,2%), grego (11,3% contra 11,2%), francês (10,1% contra 10,0%). Margens tão pequenas não são todas significativas individualmente com este tamanho de amostra; o que importa é a direção, que o tamanho sozinho não previria. Recorrer ao modelo maior seguinte não é um padrão seguro.

Extremos

O mais fácil e o mais difícil

Melhor resultado: espanhol, 2,8%.

A maior taxa de erro que nenhum modelo melhora é a do hebraico†, que não cai abaixo de 48,3% em nenhuma configuração testada. A correção diz que essa leitura não é segura para escritas com marcas combinatórias, como o hebraico, então trate-a como não confirmada até que a varredura corrigida esteja nesta página.

Retratação

Uma retratação, mantida no lugar

Retratação

Uma versão anterior desta varredura informou que o large-v3 era significativamente melhor que o padrão para o ucraniano. Isso estava errado. Foi medido com beam 5, que é o padrão do whisper-cli, mas não o que o app entrega. Refeito com greedy, a configuração real, o padrão e o v3 ficam num empate completo. A diferença estava no decodificador, não no modelo. Fica registrado aqui em vez de ser apagado em silêncio, porque a configuração do decodificador é justamente a variável que a maioria das comparações de Whisper local deixa sem informar.

Os dados

A tabela completa, o método e os limites

A tabela completa, o método e os limites, recolhidos: abra qualquer um deles.

Taxa de erro por idioma e modelo (29 idiomas, 6 modelos)

Taxa de erro por idioma e modelo (29 idiomas, 6 modelos)

IdiomaMétricatiny
75 MB
small
466 MB
turbo-q5
547 MB
turbo
1,6 GB
v3-q5
1,0 GB
v3
3 GB
Árabe† ar-SAWER67,0%36,9%22,9%22,4%22,3%22,2% ●
Chinês (simplificado) zh-HansCER55,0%24,8%13,7%16,8%13,1%12,6% ●
Tcheco csWER84,0%40,4%13,2%12,8%13,1%11,9% ●
Dinamarquês daWER87,2%35,0%13,4%13,0%12,6% ●13,3%
Holandês nl-NLWER74,8%28,8%10,8%9,8%8,3% ●8,4%
Inglês en-USWER31,9%10,7%9,1%8,9%7,0% ●8,9%
Finlandês fiWER64,4%31,8%10,8%10,1%7,7% ●7,7% ●
Francês fr-FRWER50,1%26,1%10,0%10,1%7,7%7,5% ●
Alemão de-DEWER35,0%11,9%5,2%4,7% ●5,2%5,2%
Grego elWER74,7%32,9%11,2% ●11,3%11,8%12,3%
Hebraico† heWER81,9%63,2%51,0%48,4%48,3% ●48,3% ●
Hindi† hiWER100,0%68,3%34,4%42,1%33,4%32,4% ●
Húngaro huWER84,8%48,7%17,9%17,9%17,0%16,3% ●
Indonésio idWER59,2%21,8%7,4% ●7,8%8,1%9,4%
Italiano itWER31,8%8,2%4,0%2,9% ●4,6%4,5%
Japonês jaCER54,3%25,4%18,5%15,6%14,2% ●17,0%
Coreano koCER33,9%24,6%11,3%11,3%9,4% ●9,5%
Malaio msWER62,5%25,1%7,1%9,8%6,0%5,9% ●
Norueguês noWER64,0%24,2%10,0%9,8% ●10,0%9,8% ●
Polonês plWER57,0%17,7%6,7%6,4% ●7,4%7,6%
Português (BR) pt-BRWER25,4%7,9%5,2%5,1%5,0%4,9% ●
Romeno roWER79,1%33,4%10,2%9,9%9,5%9,2% ●
Russo ruWER38,7%12,9%6,4%6,3% ●6,8%7,3%
Espanhol es-ESWER19,3%7,0%3,5%3,5%3,0%2,8% ●
Sueco svWER57,2%21,4%8,3%8,1%7,1% ●7,3%
Tailandês thCER62,4%27,5%20,8%24,6%13,2%12,6% ●
Turco trWER62,1%30,5%15,2%15,5%13,1% ●13,5%
Ucraniano ukWER68,3%39,2%23,1%21,0% ●23,3%23,1%
Vietnamita viWER64,1%26,6%9,8% ●10,3%10,2%10,2%
Como foi medido

Seis variantes de modelo do Whisper transcreveram o mesmo corpus de fala lida em 29 idiomas, todos os idiomas em que a listagem do Lesskeys na App Store é oferecida, em Apple Silicon, com as mesmas configurações de decodificação que o próprio app usa (greedy, sem beam search). As taxas são a taxa de erro de palavras, exceto para japonês, coreano, tailandês e chinês, em que as palavras não são separadas por espaços e se usa a taxa de erro de caracteres. Menor é melhor.

● marca o melhor modelo de cada idioma. A coluna destacada é o modelo de 547 MB, o padrão do Lesskeys 3.1.4 e a base de tudo o que está acima. † marca uma linha que está em nova medição. Role a tabela para o lado no celular; o idioma continua à vista.

Os limites deste teste
  • Um trecho por idioma (cerca de 1.000 palavras, ou cerca de 2.000 caracteres nos idiomas medidos por erro de caracteres). Basta para separar grandes diferenças, não para apontar as pequenas. Quando esta página diz que um modelo “se sustenta”, leia como não separado com este tamanho de amostra, não como comprovadamente idêntico.
  • whisper-cli com o contexto e as configurações de decodificação do app, não o pipeline completo do Lesskeys, que acrescenta detecção de atividade de voz, um filtro de alucinações, normalização de volume e uma trava de idioma. Esta tabela não mede esse pipeline.
  • Fala lida, não reuniões. Áudio de conversa e com vozes sobrepostas é bem mais difícil.
  • As taxas absolutas trazem alguma inflação de diferenças de formatação de números e pontuação que uma pessoa lendo não contaria como erros. As comparações entre modelos no mesmo idioma são a parte confiável; as comparações entre idiomas são mais ruidosas.

Perguntas

Perguntas sobre a precisão do Whisper por idioma

Qual modelo do Whisper devo rodar no Mac?

Em 23 dos 29 idiomas medidos, o modelo Large V3 Turbo quantizado de 547 MB é tão preciso quanto qualquer um maior, então é o padrão sensato. As exceções estão listadas nesta página; nesses idiomas, o modelo v3-q5 de 1,0 GB vale o download extra.

Quantizar um modelo do Whisper prejudica a precisão?

Quase nada. Nos 29 idiomas, o modelo de 3 GB em precisão total nunca supera o quantizado de 1,0 GB por mais de 1,2 ponto percentual, e o padrão quantizado de 547 MB se iguala a modelos bem maiores na maioria dos idiomas.

Um modelo maior do Whisper é sempre mais preciso?

Não. O modelo turbo de 1,6 GB tem resultado numericamente pior que o padrão de 547 MB em 9 dos 29 idiomas medidos. O tamanho do modelo não é um indicador confiável de precisão em um determinado idioma.

Isso foi medido na nuvem?

Não. Todos os números foram gerados localmente em Apple Silicon, que é também como o Lesskeys faz a transcrição: o áudio nunca sai da máquina.

Mais

Leia a seguir