LesskeysPrecisione di Whisper in 29 lingue
Ultima verifica:
Da leggere prima
Righe in nuova misurazione
Correzione del 28 agosto 2026
Lo script di valutazione dietro questa tabella normalizzava il testo con [^\w\s], e il \w
Questo gonfia il riferimento e, poiché i frammenti non possono allinearsi, anche il numero di errori. Quindi le righe di hindi, arabo, ebraico e delle altre scritture con segni combinati sovrastimano il tasso di errore di una quantità che varia per lingua, e l'affermazione sulla «lingua peggiore» più sotto non è affidabile per quelle righe. È in corso una nuova misurazione corretta su 83 lingue e questa pagina verrà rigenerata a partire da essa.
È registrata qui invece di essere cancellata in silenzio, per lo stesso motivo della ritrattazione più sotto: un normalizzatore che rovina in silenzio le scritture non latine è esattamente il difetto di cui chi legge un benchmark multilingue va informato, e non si vede in nessun numero pubblicato.
Stato al 15 ottobre 2026
La nuova misurazione copre 83 lingue e sei modelli, sia per la trascrizione di file sia per la dettatura. Non è ancora in questa pagina, perché non è finita: 89 delle sue 996 esecuzioni di prova sono fallite, tutte sui modelli più grandi e in 17 lingue, e le esecuzioni non hanno usato tutte la stessa quantità di memoria del computer né la stessa versione dello strumento di prova. Finché non è finita, la tabella qui sotto resta quella a 29 lingue descritta sopra, quindi le righe segnate con † (hindi, arabo ed ebraico, indicate nella correzione) hanno ancora i tassi di errore gonfiati, e forse anche altre scritture con segni combinati. I confronti sulle righe in alfabeto latino, cirillico e CJK non sono interessati.
La risposta
Il modello da 547 MB regge
- 23 su 29lingue: nessun modello più grande è chiaramente migliore
- 6lingue in cui un modello più grande vale la pena
- 9 su 29
lingue in cui il modello turbo da 1,6 GB ottiene un risultato peggiore
Eccezioni
Dove vale la pena un modello più grande
Se lavori in tailandese, giapponese, finlandese, francese, olandese o coreano, il download più grande vale la pena.
| Cosa | Modello migliore | Miglioramento | |
|---|---|---|---|
| Tailandese | 20,8% | v3: 12,6% | |
| Giapponese | 18,5% | v3-q5: 14,2% | |
| Finlandese | 10,8% | v3-q5: 7,7% | |
| Francese | 10,0% | v3: 7,5% | |
| Olandese | 10,8% | v3-q5: 8,3% | |
| Coreano | 11,3% | v3-q5: 9,4% |
v3-q5v3
Non sempre più grande
I modelli più grandi non sono sempre più precisi
Quali lingue e di quanto
Hindi† (42,1% contro 34,4%), tailandese (24,6% contro 20,8%), cinese (semplificato) (16,8% contro 13,7%), malese (9,8% contro 7,1%), vietnamita (10,3% contro 9,8%), indonesiano (7,8% contro 7,4%), turco (15,5% contro 15,2%), greco (11,3% contro 11,2%), francese (10,1% contro 10,0%). Margini così piccoli non sono tutti significativi singolarmente con questa dimensione del campione; ciò che conta è la direzione, che la sola dimensione non farebbe prevedere. Puntare al modello subito più grande non è una scelta predefinita sicura.
Estremi
I più facili e i più difficili
Miglior risultato: spagnolo, 2,8%.
Il tasso di errore più alto che nessun modello migliora è quello dell'ebraico†, che non scende sotto il 48,3% in nessuna configurazione provata. La correzione dice che questa lettura non è affidabile per le scritture con segni combinati come l'ebraico, quindi consideralo non confermato finché la nuova misurazione corretta non sarà in questa pagina.
Ritrattazione
Una ritrattazione, lasciata dov'è
Ritrattazione
Una versione precedente di questa misurazione indicava large-v3 come significativamente migliore del modello predefinito per l'ucraino. Era sbagliato. Era stato misurato con beam 5, che è l'impostazione predefinita di whisper-cli ma non quella con cui viene distribuita l'app. Rieseguito in greedy — l'impostazione reale — il modello predefinito e v3 finiscono in un pareggio netto. La differenza era nel decodificatore, non nel modello.
I dati
La tabella completa, il metodo e i limiti
La tabella completa, il metodo e i limiti sono richiusi: apri quello che ti serve.
Tasso di errore per lingua e modello (29 lingue, 6 modelli)
Tasso di errore per lingua e modello (29 lingue, 6 modelli)
| Lingua | Metrica | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Arabo† ar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Cinese (semplificato) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Ceco cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Danese da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Olandese nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Inglese en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Finlandese fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Francese fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Tedesco de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Greco el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Ebraico† he | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Hindi† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Ungherese hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Indonesiano id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Italiano it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Giapponese ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Coreano ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Malese ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Norvegese no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Polacco pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Portoghese (BR) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Rumeno ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Russo ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Spagnolo es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Svedese sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Tailandese th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Turco tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Ucraino uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| Vietnamita vi | WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Come è stato misurato
I limiti di questo test
- Un solo blocco per lingua (circa 1.000 parole, o circa 2.000 caratteri per le lingue misurate a caratteri). Basta per distinguere le differenze grandi, non per giudicare quelle piccole. Dove questa pagina dice che un modello «regge», leggilo come non distinto con questa dimensione del campione, non come dimostrato identico.
whisper -cli con le impostazioni di contesto e decodifica dell'app, non l'intera pipeline di Lesskeys , che aggiunge il rilevamento dell'attività vocale, un filtro antiallucinazioni, la normalizzazione del volume e un vincolo sulla lingua. Questa tabella non misura quella pipeline.- Parlato letto, non riunioni. L'audio conversazionale e con voci sovrapposte è sensibilmente più difficile.
- I tassi assoluti sono in parte gonfiati da differenze di formattazione di numeri e punteggiatura che chi legge non conterebbe come errori. I confronti tra modelli sulla stessa lingua sono la parte affidabile; i confronti tra lingue sono più rumorosi.
Domande
Domande sulla precisione di Whisper per lingua
Quale modello Whisper devo usare su un Mac ?
Quantizzare un modello Whisper ne peggiora la precisione?
Un modello Whisper più grande è sempre più preciso?
È stato misurato nel cloud?
Altro