LesskeysPrecisión de Whisper en 29 idiomas
Última revisión:
Lee esto primero
Filas en nueva medición
Corrección, con fecha 28 de agosto de 2026
El evaluador de esta tabla normalizaba el texto con [^\w\s], y el \w
Esto infla la referencia y, como los fragmentos no se pueden alinear, también el recuento de errores. Por eso las filas de hindi, árabe, hebreo y de las demás escrituras con marcas combinantes exageran la tasa de error en una cantidad que varía según el idioma, y la afirmación del «peor idioma» que aparece más abajo no es segura para esas filas. Ahora se está ejecutando un barrido corregido en 83 idiomas y esta página se regenerará a partir de él.
Queda anotado aquí en lugar de borrarse en silencio, por la misma razón que la retractación de más abajo: un normalizador que destroza en silencio las escrituras no latinas es justo el fallo del que debe enterarse quien lea un benchmark multilingüe, y no se ve en ninguna cifra publicada.
Estado, 15 de octubre de 2026
La nueva medición cubre 83 idiomas y seis modelos, tanto para la transcripción de archivos como para el dictado. Todavía no está en esta página porque no ha terminado: 89 de sus 996 ejecuciones de prueba fallaron, todas en los modelos más grandes y en 17 idiomas, y no todas las ejecuciones usaron la misma cantidad de memoria del ordenador ni la misma versión de la herramienta de pruebas. Hasta que termine, la tabla de abajo sigue siendo la de 29 idiomas descrita antes, así que las filas marcadas con † (hindi, árabe y hebreo, citados en la corrección) siguen teniendo tasas de error infladas, y quizá también otras escrituras con marcas combinantes. Las comparaciones en las filas de alfabeto latino, cirílico y CJK no se ven afectadas.
La respuesta
El modelo de 547 MB aguanta
- 23 de 29idiomas: ningún modelo mayor es claramente mejor
- 6idiomas en los que un modelo mayor compensa su tamaño
- 9 de 29
idiomas en los que el modelo turbo de 1,6 GB puntúa peor
Excepciones
Dónde un modelo mayor compensa su tamaño
Si trabajas en tailandés, japonés, finés, francés, neerlandés o coreano, la descarga mayor compensa.
| Aspecto | Modelo mejor | Mejora | |
|---|---|---|---|
| Tailandés | 20,8 % | v3: 12,6 % | |
| Japonés | 18,5 % | v3-q5: 14,2 % | |
| Finés | 10,8 % | v3-q5: 7,7 % | |
| Francés | 10,0 % | v3: 7,5 % | |
| Neerlandés | 10,8 % | v3-q5: 8,3 % | |
| Coreano | 11,3 % | v3-q5: 9,4 % |
v3-q5v3
No siempre más grande
Los modelos mayores no siempre son más precisos
Qué idiomas, y por cuánto
Hindi† (42,1 % frente a 34,4 %), tailandés (24,6 % frente a 20,8 %), chino (simplificado) (16,8 % frente a 13,7 %), malayo (9,8 % frente a 7,1 %), vietnamita (10,3 % frente a 9,8 %), indonesio (7,8 % frente a 7,4 %), turco (15,5 % frente a 15,2 %), griego (11,3 % frente a 11,2 %), francés (10,1 % frente a 10,0 %). Márgenes tan pequeños no son todos significativos por separado con este tamaño de muestra; lo que importa es la dirección, que el tamaño por sí solo no predeciría. Subir al siguiente modelo no es una opción predeterminada segura.
Extremos
Lo más fácil y lo más difícil
Mejor resultado: español, 2,8 %.
La tasa de error más alta que ningún modelo logra reducir es la del hebreo†, que no baja de 48,3 % en ninguna configuración probada. La corrección dice que esta lectura no es segura para escrituras con marcas combinantes como el hebreo, así que tómala como no confirmada hasta que el barrido corregido esté en esta página.
Retractación
Una retractación, dejada a la vista
Retractación
Una versión anterior de este barrido indicaba que large-v3 era significativamente mejor que el modelo predeterminado para el ucraniano. Era un error. Se midió con beam 5, que es el valor por defecto de whisper-cli pero no el que usa la app. Al repetirlo en modo greedy (el ajuste real), el predeterminado y v3 quedan en un empate total. La diferencia era el decodificador, no el modelo.
Los datos
La tabla completa, el método y los límites
La tabla completa, el método y los límites, plegados: abre cualquiera de ellos.
Tasa de error por idioma y modelo (29 idiomas, 6 modelos)
Tasa de error por idioma y modelo (29 idiomas, 6 modelos)
| Idioma | Métrica | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Árabe† ar-SA | WER | 67,0 % | 36,9 % | 22,9 % | 22,4 % | 22,3 % | 22,2 % ● |
| Chino (simplificado) zh-Hans | CER | 55,0 % | 24,8 % | 13,7 % | 16,8 % | 13,1 % | 12,6 % ● |
| Checo cs | WER | 84,0 % | 40,4 % | 13,2 % | 12,8 % | 13,1 % | 11,9 % ● |
| Danés da | WER | 87,2 % | 35,0 % | 13,4 % | 13,0 % | 12,6 % ● | 13,3 % |
| Neerlandés nl-NL | WER | 74,8 % | 28,8 % | 10,8 % | 9,8 % | 8,3 % ● | 8,4 % |
| Inglés en-US | WER | 31,9 % | 10,7 % | 9,1 % | 8,9 % | 7,0 % ● | 8,9 % |
| Finés fi | WER | 64,4 % | 31,8 % | 10,8 % | 10,1 % | 7,7 % ● | 7,7 % ● |
| Francés fr-FR | WER | 50,1 % | 26,1 % | 10,0 % | 10,1 % | 7,7 % | 7,5 % ● |
| Alemán de-DE | WER | 35,0 % | 11,9 % | 5,2 % | 4,7 % ● | 5,2 % | 5,2 % |
| Griego el | WER | 74,7 % | 32,9 % | 11,2 % ● | 11,3 % | 11,8 % | 12,3 % |
| Hebreo† he | WER | 81,9 % | 63,2 % | 51,0 % | 48,4 % | 48,3 % ● | 48,3 % ● |
| Hindi† hi | WER | 100,0 % | 68,3 % | 34,4 % | 42,1 % | 33,4 % | 32,4 % ● |
| Húngaro hu | WER | 84,8 % | 48,7 % | 17,9 % | 17,9 % | 17,0 % | 16,3 % ● |
| Indonesio id | WER | 59,2 % | 21,8 % | 7,4 % ● | 7,8 % | 8,1 % | 9,4 % |
| Italiano it | WER | 31,8 % | 8,2 % | 4,0 % | 2,9 % ● | 4,6 % | 4,5 % |
| Japonés ja | CER | 54,3 % | 25,4 % | 18,5 % | 15,6 % | 14,2 % ● | 17,0 % |
| Coreano ko | CER | 33,9 % | 24,6 % | 11,3 % | 11,3 % | 9,4 % ● | 9,5 % |
| Malayo ms | WER | 62,5 % | 25,1 % | 7,1 % | 9,8 % | 6,0 % | 5,9 % ● |
| Noruego no | WER | 64,0 % | 24,2 % | 10,0 % | 9,8 % ● | 10,0 % | 9,8 % ● |
| Polaco pl | WER | 57,0 % | 17,7 % | 6,7 % | 6,4 % ● | 7,4 % | 7,6 % |
| Portugués (BR) pt-BR | WER | 25,4 % | 7,9 % | 5,2 % | 5,1 % | 5,0 % | 4,9 % ● |
| Rumano ro | WER | 79,1 % | 33,4 % | 10,2 % | 9,9 % | 9,5 % | 9,2 % ● |
| Ruso ru | WER | 38,7 % | 12,9 % | 6,4 % | 6,3 % ● | 6,8 % | 7,3 % |
| Español es-ES | WER | 19,3 % | 7,0 % | 3,5 % | 3,5 % | 3,0 % | 2,8 % ● |
| Sueco sv | WER | 57,2 % | 21,4 % | 8,3 % | 8,1 % | 7,1 % ● | 7,3 % |
| Tailandés th | CER | 62,4 % | 27,5 % | 20,8 % | 24,6 % | 13,2 % | 12,6 % ● |
| Turco tr | WER | 62,1 % | 30,5 % | 15,2 % | 15,5 % | 13,1 % ● | 13,5 % |
| Ucraniano uk | WER | 68,3 % | 39,2 % | 23,1 % | 21,0 % ● | 23,3 % | 23,1 % |
| Vietnamita vi | WER | 64,1 % | 26,6 % | 9,8 % ● | 10,3 % | 10,2 % | 10,2 % |
Cómo se midió
Los límites de esta prueba
- Un fragmento por idioma (unas 1.000 palabras, o unos 2.000 caracteres en los idiomas con tasa de error de caracteres). Basta para separar diferencias grandes, no para decidir las pequeñas. Cuando esta página dice que un modelo «aguanta», léelo como no separado con este tamaño de muestra, no como idéntico demostrado.
whisper -cli con el contexto y los ajustes de decodificación de la app, no el flujo completo de Lesskeys , que añade detección de actividad de voz, un filtro de alucinaciones, normalización de volumen y una restricción de idioma. Esta tabla no mide ese flujo.- Voz leída, no reuniones. El audio conversacional y con voces superpuestas es bastante más difícil.
- Las tasas absolutas llevan cierta inflación por diferencias de formato de números y puntuación que una persona no contaría como errores. Las comparaciones entre modelos en un mismo idioma son la parte fiable; las comparaciones entre idiomas tienen más ruido.
Preguntas
Preguntas sobre la precisión de Whisper por idioma
¿Qué modelo de Whisper debo usar en un Mac ?
¿Cuantizar un modelo de Whisper perjudica la precisión?
¿Un modelo de Whisper más grande es siempre más preciso?
¿Se midió en la nube?
Más