Qual modelo do Whisper você deve rodar no Mac?

Seis dos modelos do Whisper que o Lesskeys oferece foram executados nas mesmas 300 falas (37 minutos de áudio) do LibriSpeech test-clean, o conjunto público padrão de testes, que traz suas próprias transcrições feitas por pessoas. Calculamos a taxa de erro de palavras contra essas transcrições, cronometramos cada execução e registramos o tamanho do download. Quanto menor o erro, melhor; cada barra é desenhada em proporção ao maior valor da sua coluna.

Seis modelos do Whisper em 6.086 palavras do LibriSpeech test-clean (Apple M1 Max)

Medido em um Apple M1 Max com whisper.cpp, GPU Metal e flash attention ligados, padrões do whisper.cpp (beam size 5), idioma forçado em en, 8 threads. ● marca os modelos que tratamos como empatados na melhor posição. “89 vezes o tempo real” significa que uma hora de áudio é transcrita em cerca de 1 minuto. Os tamanhos desta tabela são tamanhos de arquivo medidos, em unidades decimais, então diferem dos rótulos do app e das outras páginas: o arquivo de 574 MB do Large V3 Turbo Q5 aparece lá como 547 MB, o Small tem 466 MB (aqui 488 MB), o Tiny tem 75 MB (aqui 78 MB), o Large V3 Q5 tem 1,0 GB e o Large V3 tem 3 GB.

Large V3 Q5, Large V3, Large V3 Turbo e Large V3 Turbo Q5 terminaram a menos de 13 palavras uns dos outros em 6.086 palavras de texto de referência. Esse é o piso de ruído da medição, não uma diferença. Tratamos como empatado qualquer modelo a até 0,5 ponto percentual do melhor, porque o ruído do ranking faria esta página parecer mais decisiva e ser menos verdadeira.

O conjunto de dados é público (OpenSLR), os modelos são as versões ggml padrão do Whisper e o código de teste é um único arquivo Python. A amostra é escolhida de forma determinística (ids de falas ordenados, espaçados por igual, sem semente aleatória), então uma execução independente escolhe as mesmas falas.

O normalizador usado na avaliação é a parte que vale conferir, porque uma taxa de erro de palavras não significa nada sem ele. O nosso ignora diferenças que são de formatação e não de reconhecimento (maiúsculas, pontuação, hifenização, 23 contra vinte e três, Sr. contra senhor) e ainda conta toda substituição, omissão e inserção reais. Ele é coberto por onze casos de teste, incluindo alguns que garantem que erros reais não sejam eliminados pela normalização. Sem essa etapa, os modelos são punidos pelo estilo de pontuação em vez de pela precisão.

Os números de velocidade vêm de uma única máquina; outro chip Apple Silicon ficará em outro ponto: a ordem deve se manter, os números absolutos não. Isso mede apenas os modelos de transcrição, não a rotulagem de falantes, que é uma etapa separada, com sua própria taxa de erro.