LesskeysPrécision de Whisper dans 29 langues
Dernière vérification :
À lire d’abord
Lignes en cours de nouvelle mesure
Correction, datée du 28 août 2026
Le script d’évaluation derrière ce tableau normalisait le texte avec [^\w\s], et le \w
Cela gonfle la référence et, comme les fragments ne peuvent pas s’aligner, le nombre d’erreurs avec elle. Ainsi, les lignes de l’hindi, de l’arabe, de l’hébreu et des autres écritures à signes combinants surestiment le taux d’erreur, d’une quantité qui varie selon la langue, et l’affirmation sur la « pire langue » plus bas n’est pas fiable pour ces lignes. Une nouvelle série corrigée sur 83 langues est en cours et cette page sera régénérée à partir d’elle.
Elle est consignée ici plutôt que supprimée discrètement, pour la même raison que la rétractation plus bas : un normaliseur qui abîme en silence les écritures non latines est exactement le genre de défaillance dont le lecteur d’un benchmark multilingue doit être informé, et il n’apparaît dans aucun chiffre publié.
Point d’étape, 15 octobre 2026
La nouvelle mesure couvre 83 langues et six modèles, pour la transcription de fichiers comme pour la dictée. Elle n’est pas encore sur cette page, car elle n’est pas terminée : 89 de ses 996 exécutions de test ont échoué, toutes sur les plus gros modèles et dans 17 langues, et les exécutions n’ont pas toutes utilisé la même quantité de mémoire ni la même version de l’outil de test. Tant qu’elle n’est pas terminée, le tableau ci-dessous reste celui des 29 langues décrit plus haut : les lignes marquées † (hindi, arabe et hébreu, nommés dans la correction) portent donc encore les taux d’erreur gonflés, et d’autres écritures à signes combinants peut-être aussi. Les comparaisons sur les lignes en écritures latine, cyrillique et CJK ne sont pas touchées.
La réponse
Le modèle de 547 Mo tient bon
Dans 23 langues sur 29, aucun modèle de l’ensemble n’est significativement meilleur que le modèle par défaut de 547 Mo.
- 23 sur 29langues : aucun modèle plus gros n’est nettement meilleur
- 6langues où un modèle plus gros justifie sa taille
- 9 sur 29langues où le modèle turbo de 1,6 Go obtient un moins bon score
Exceptions
Quand un modèle plus gros justifie sa taille
Si vous travaillez en thaï, en japonais, en finnois, en français, en néerlandais ou en coréen, le téléchargement plus lourd en vaut la peine.
| Élément | Par défaut (547 Mo) | Meilleur modèle | Gain |
|---|---|---|---|
| Thaï | 20,8 % | v3: 12,6 % | |
| Japonais | 18,5 % | v3-q5: 14,2 % | |
| Finnois | 10,8 % | v3-q5: 7,7 % | |
| Français | 10,0 % | v3: 7,5 % | |
| Néerlandais | 10,8 % | v3-q5: 8,3 % | |
| Coréen | 11,3 % | v3-q5: 9,4 % |
v3-q5 (1,0 Go) capte presque tout le gain : le v3 de 3 Go ne l’améliore jamais de plus de 1,2 point de pourcentage.
Pas toujours plus gros
Les modèles plus gros ne sont pas toujours plus précis
Le modèle turbo de 1,6 Go obtient numériquement un moins bon score que le modèle par défaut de 547 Mo dans 9 langues sur 29.
Le modèle de 75 Mo n’est pas utilisable hors de l’anglais : hindi† 100,0 %, danois 87,2 %, hongrois 84,8 %, tchèque 84,0 %, hébreu† 81,9 %.
Quelles langues, et de combien
Hindi† (42,1 % contre 34,4 %), thaï (24,6 % contre 20,8 %), chinois (simplifié) (16,8 % contre 13,7 %), malais (9,8 % contre 7,1 %), vietnamien (10,3 % contre 9,8 %), indonésien (7,8 % contre 7,4 %), turc (15,5 % contre 15,2 %), grec (11,3 % contre 11,2 %), français (10,1 % contre 10,0 %). Des écarts aussi faibles ne sont pas tous significatifs à cette taille d’échantillon, pris individuellement ; ce qui compte, c’est la direction, que la taille seule ne prédirait pas. Passer systématiquement au modèle supérieur n’est pas un choix par défaut sûr.
Extrêmes
Le plus facile et le plus difficile
Meilleur résultat : espagnol, 2,8 %.
Le taux d’erreur le plus élevé qu’aucun modèle n’améliore est celui de l’hébreu†, qui ne descend sous 48,3 % dans aucune
Rétractation
Une rétractation, laissée en place
Rétractation
Une version antérieure de cette série indiquait que large-v3 était significativement meilleur que le modèle par défaut pour l’ukrainien. C’était faux. La mesure avait été faite avec un beam de 5, valeur par défaut de whisper-cli mais pas celle que livre l’application. Refaite en greedy (le vrai réglage), le modèle par défaut et v3 sont à égalité parfaite. L’écart venait du décodeur, pas du modèle.
Les données
Le tableau complet, la méthode et les limites
Le tableau complet, la méthode et les limites, repliés : ouvrez l’un d’eux.
Taux d’erreur par langue et par modèle (29 langues, 6 modèles)
Taux d’erreur par langue et par modèle (29 langues, 6 modèles)
| Langue | Mesure | tiny 75 Mo | small 466 Mo | turbo-q5 547 Mo | turbo 1,6 Go | v3-q5 1,0 Go | v3 3 Go |
|---|---|---|---|---|---|---|---|
| Arabe† ar-SA | WER | 67,0 % | 36,9 % | 22,9 % | 22,4 % | 22,3 % | 22,2 % ● |
| Chinois (simplifié) zh-Hans | CER | 55,0 % | 24,8 % | 13,7 % | 16,8 % | 13,1 % | 12,6 % ● |
| Tchèque cs | WER | 84,0 % | 40,4 % | 13,2 % | 12,8 % | 13,1 % | 11,9 % ● |
| Danois da | WER | 87,2 % | 35,0 % | 13,4 % | 13,0 % | 12,6 % ● | 13,3 % |
| Néerlandais nl-NL | WER | 74,8 % | 28,8 % | 10,8 % | 9,8 % | 8,3 % ● | 8,4 % |
| Anglais en-US | WER | 31,9 % | 10,7 % | 9,1 % | 8,9 % | 7,0 % ● | 8,9 % |
| Finnois fi | WER | 64,4 % | 31,8 % | 10,8 % | 10,1 % | 7,7 % ● | 7,7 % ● |
| Français fr-FR | WER | 50,1 % | 26,1 % | 10,0 % | 10,1 % | 7,7 % | 7,5 % ● |
| Allemand de-DE | WER | 35,0 % | 11,9 % | 5,2 % | 4,7 % ● | 5,2 % | 5,2 % |
| Grec el | WER | 74,7 % | 32,9 % | 11,2 % ● | 11,3 % | 11,8 % | 12,3 % |
| Hébreu† he | WER | 81,9 % | 63,2 % | 51,0 % | 48,4 % | 48,3 % ● | 48,3 % ● |
| Hindi† hi | WER | 100,0 % | 68,3 % | 34,4 % | 42,1 % | 33,4 % | 32,4 % ● |
| Hongrois hu | WER | 84,8 % | 48,7 % | 17,9 % | 17,9 % | 17,0 % | 16,3 % ● |
| Indonésien id | WER | 59,2 % | 21,8 % | 7,4 % ● | 7,8 % | 8,1 % | 9,4 % |
| Italien it | WER | 31,8 % | 8,2 % | 4,0 % | 2,9 % ● | 4,6 % | 4,5 % |
| Japonais ja | CER | 54,3 % | 25,4 % | 18,5 % | 15,6 % | 14,2 % ● | 17,0 % |
| Coréen ko | CER | 33,9 % | 24,6 % | 11,3 % | 11,3 % | 9,4 % ● | 9,5 % |
| Malais ms | WER | 62,5 % | 25,1 % | 7,1 % | 9,8 % | 6,0 % | 5,9 % ● |
| Norvégien no | WER | 64,0 % | 24,2 % | 10,0 % | 9,8 % ● | 10,0 % | 9,8 % ● |
| Polonais pl | WER | 57,0 % | 17,7 % | 6,7 % | 6,4 % ● | 7,4 % | 7,6 % |
| Portugais (Brésil) pt-BR | WER | 25,4 % | 7,9 % | 5,2 % | 5,1 % | 5,0 % | 4,9 % ● |
| Roumain ro | WER | 79,1 % | 33,4 % | 10,2 % | 9,9 % | 9,5 % | 9,2 % ● |
| Russe ru | WER | 38,7 % | 12,9 % | 6,4 % | 6,3 % ● | 6,8 % | 7,3 % |
| Espagnol es-ES | WER | 19,3 % | 7,0 % | 3,5 % | 3,5 % | 3,0 % | 2,8 % ● |
| Suédois sv | WER | 57,2 % | 21,4 % | 8,3 % | 8,1 % | 7,1 % ● | 7,3 % |
| Thaï th | CER | 62,4 % | 27,5 % | 20,8 % | 24,6 % | 13,2 % | 12,6 % ● |
| Turc tr | WER | 62,1 % | 30,5 % | 15,2 % | 15,5 % | 13,1 % ● | 13,5 % |
| Ukrainien uk | WER | 68,3 % | 39,2 % | 23,1 % | 21,0 % ● | 23,3 % | 23,1 % |
| Vietnamien vi | WER | 64,1 % | 26,6 % | 9,8 % ● | 10,3 % | 10,2 % | 10,2 % |
Comment la mesure a été faite
Les limites de ce test
- Un extrait par langue (environ 1 000 mots, ou environ 2 000 caractères pour les langues en taux d’erreur sur les caractères). Assez pour départager de grosses différences, pas pour trancher les petites. Quand cette page dit qu’un modèle « tient », lisez non départagé à cette taille d’échantillon, et non prouvé identique.
whisper -cli avec le contexte et les réglages de décodage de l’application, et non le pipeline Lesskeys complet, qui ajoute la détection d’activité vocale, un filtre d’hallucinations, la normalisation du volume et le forçage de la langue. Ce tableau ne mesure pas ce pipeline.- De la parole lue, pas des réunions. Un audio conversationnel avec chevauchements est nettement plus difficile.
- Les taux absolus sont un peu gonflés par des différences de formatage des nombres et de la ponctuation qu’un lecteur humain ne compterait pas comme des erreurs. Les comparaisons entre modèles sur une même langue sont la partie fiable ; les comparaisons entre langues sont plus bruitées.
Questions
Questions sur la précision de Whisper selon la langue
Quel modèle Whisper utiliser sur un Mac ?
La quantification d’un modèle Whisper nuit-elle à la précision ?
À peine. Sur les 29 langues, le modèle de 3 Go en pleine précision ne dépasse jamais le modèle quantifié de 1,0 Go de plus de 1,2 point de pourcentage, et le modèle par défaut quantifié de 547 Mo égale des modèles bien plus gros dans la plupart des langues.
Un modèle Whisper plus gros est-il toujours plus précis ?
Non. Le modèle turbo de 1,6 Go obtient numériquement un moins bon score que le modèle par défaut de 547 Mo dans 9 des 29 langues mesurées. La taille du modèle n’est pas un indicateur fiable de la précision dans une langue donnée.
Cette mesure a-t-elle été faite dans le cloud ?
Pour aller plus loin