Quel modèle Whisper utiliser sur un Mac ?

Six des modèles Whisper proposés par Lesskeys ont traité les mêmes 300 énoncés (37 minutes d’audio) de LibriSpeech test-clean, l’ensemble de référence public standard, livré avec ses propres transcriptions humaines. Nous avons calculé le taux d’erreur sur les mots par rapport à ces transcriptions, chronométré chaque exécution et relevé la taille du téléchargement. Plus l’erreur est basse, mieux c’est ; une barre est tracée proportionnellement à la plus grande valeur de sa colonne.

Six modèles Whisper sur 6 086 mots de LibriSpeech test-clean (Apple M1 Max)

Mesuré sur un Apple M1 Max avec whisper.cpp, GPU Metal et flash attention activés, réglages par défaut de whisper.cpp (taille de beam 5), langue forcée sur en, 8 threads. ● marque les modèles que nous considérons à égalité pour le meilleur. « 89 fois le temps réel » signifie qu’une heure d’audio est transcrite en environ 1 minute. Les tailles de ce tableau sont des tailles de fichier mesurées en unités décimales ; elles diffèrent donc des libellés de l’application et des autres pages : le fichier de 574 Mo de Large V3 Turbo Q5 y est affiché 547 Mo, Small y est à 466 Mo (ici 488 Mo), Tiny à 75 Mo (ici 78 Mo), Large V3 Q5 à 1,0 Go et Large V3 à 3 Go.

Large V3 Q5, Large V3, Large V3 Turbo et Large V3 Turbo Q5 ont fini à 13 mots les uns des autres sur 6 086 mots de texte de référence. C’est le seuil de bruit de la mesure, pas une différence. Nous considérons tout modèle à moins de 0,5 point de pourcentage du meilleur comme à égalité, car le bruit de classement rendrait cette page plus tranchée et moins vraie.

Le jeu de données est public (OpenSLR), les modèles sont les builds ggml standard de Whisper et le script de test tient dans un seul fichier Python. L’échantillon est choisi de façon déterministe (identifiants d’énoncés triés, échantillonnés à intervalle régulier, sans graine aléatoire) : une exécution indépendante retient donc les mêmes énoncés.

Le normaliseur de notation est la partie à vérifier, car un taux d’erreur sur les mots ne signifie rien sans lui. Le nôtre ignore les différences qui relèvent de la mise en forme plutôt que de la reconnaissance (casse, ponctuation, trait d’union, 23 contre vingt-trois, M. contre monsieur) et compte toujours chaque vraie substitution, suppression et insertion. Il est verrouillé par onze cas de test, dont certains vérifient que les vraies erreurs ne sont pas normalisées. Sans cette étape, les modèles sont pénalisés pour leur style de ponctuation plutôt que pour leur précision.

Les chiffres de vitesse viennent d’une seule machine ; une autre puce Apple Silicon donnera autre chose : l’ordre devrait tenir, pas les valeurs absolues. Cela ne mesure que les modèles de transcription, pas l’étiquetage des locuteurs, qui est une étape distincte avec son propre taux d’erreur.