Η ακρίβεια του Whisper σε 29 γλώσσες
Τελευταίος έλεγχος
Διαβάστε πρώτα αυτό
Γραμμές που μετριούνται ξανά
Διόρθωση της 28 Αυγούστου 2026
Ο βαθμολογητής πίσω από αυτόν τον πίνακα κανονικοποιούσε το κείμενο με [^\w\s], και το \w
Αυτό διογκώνει το κείμενο αναφοράς και, επειδή τα θραύσματα δεν μπορούν να ευθυγραμμιστούν, και τον αριθμό σφαλμάτων. Άρα οι γραμμές για Χίντι, Αραβικά, Εβραϊκά και τις άλλες γραφές με συνδυαστικούς χαρακτήρες υπερεκτιμούν το ποσοστό σφάλματος κατά ποσό που διαφέρει ανά γλώσσα, και ο ισχυρισμός «χειρότερη γλώσσα» παρακάτω δεν είναι ασφαλής για αυτές τις γραμμές. Μια διορθωμένη μέτρηση σε 83 γλώσσες τρέχει τώρα και η σελίδα αυτή θα αναδημιουργηθεί από αυτήν.
Καταγράφεται εδώ αντί να διαγραφεί αθόρυβα, για τον ίδιο λόγο με την ανάκληση παρακάτω: ένας κανονικοποιητής που αλλοιώνει σιωπηλά τη μη λατινική γραφή είναι ακριβώς η αστοχία για την οποία πρέπει να ενημερώνεται ο αναγνώστης μιας πολύγλωσσης δοκιμής, και δεν φαίνεται σε κανέναν δημοσιευμένο αριθμό.
Κατάσταση, 15 Οκτωβρίου 2026
Η νέα μέτρηση καλύπτει 83 γλώσσες και έξι μοντέλα, τόσο για απομαγνητοφώνηση αρχείων όσο και για υπαγόρευση. Δεν είναι ακόμη σε αυτή τη σελίδα, γιατί δεν έχει ολοκληρωθεί: 89 από τις 996 εκτελέσεις δοκιμής απέτυχαν, όλες στα μεγαλύτερα μοντέλα και σε 17 γλώσσες, και οι εκτελέσεις δεν χρησιμοποίησαν όλες την ίδια ποσότητα μνήμης υπολογιστή ή την ίδια έκδοση του εργαλείου δοκιμής. Μέχρι να ολοκληρωθεί, ο πίνακας παρακάτω παραμένει ο πίνακας των 29 γλωσσών που περιγράφεται παραπάνω, άρα οι γραμμές με † (Χίντι, Αραβικά και Εβραϊκά, που αναφέρονται στη διόρθωση) εξακολουθούν να έχουν τα διογκωμένα ποσοστά σφάλματος, όπως ίσως και άλλες γραφές με συνδυαστικούς χαρακτήρες. Οι συγκρίσεις στις γραμμές με λατινική, κυριλλική και CJK γραφή δεν επηρεάζονται.
Η απάντηση
Το μοντέλο των 547 MB αντέχει
- 23 από 29γλώσσες: κανένα μεγαλύτερο μοντέλο δεν είναι σαφώς καλύτερο
- 6γλώσσες όπου ένα μεγαλύτερο μοντέλο δικαιολογεί το μέγεθός του
- 9 από 29
γλώσσες όπου το μοντέλο turbo των 1,6 GB έχει χειρότερο σκορ
Εξαιρέσεις
Πού ένα μεγαλύτερο μοντέλο δικαιολογεί το μέγεθός του
Αν εργάζεστε σε ταϊλανδικά, ιαπωνικά, φινλανδικά, γαλλικά, ολλανδικά ή κορεατικά, η μεγαλύτερη λήψη αξίζει.
| Γλώσσα | Καλύτερο μοντέλο | Κέρδος | |
|---|---|---|---|
| Ταϊλανδικά | 20,8% | v3: 12,6% | |
| Ιαπωνικά | 18,5% | v3-q5: 14,2% | |
| Φινλανδικά | 10,8% | v3-q5: 7,7% | |
| Γαλλικά | 10,0% | v3: 7,5% | |
| Ολλανδικά | 10,8% | v3-q5: 8,3% | |
| Κορεατικά | 11,3% | v3-q5: 9,4% |
Το v3-q5v3
Όχι πάντα μεγαλύτερο
Τα μεγαλύτερα μοντέλα δεν είναι πάντα πιο ακριβή
Ποιες γλώσσες και κατά πόσο
Χίντι† (42,1% έναντι 34,4%), Ταϊλανδικά (24,6% έναντι 20,8%), Κινεζικά (απλοποιημένα) (16,8% έναντι 13,7%), Μαλαισιανά (9,8% έναντι 7,1%), Βιετναμικά (10,3% έναντι 9,8%), Ινδονησιακά (7,8% έναντι 7,4%), Τουρκικά (15,5% έναντι 15,2%), Ελληνικά (11,3% έναντι 11,2%), Γαλλικά (10,1% έναντι 10,0%). Τόσο μικρές διαφορές δεν είναι όλες στατιστικά σημαντικές μία μία σε αυτό το μέγεθος δείγματος· το ζητούμενο είναι η κατεύθυνση, που το μέγεθος μόνο του δεν θα προέβλεπε. Το να καταφεύγετε στο επόμενο μεγαλύτερο μοντέλο δεν είναι ασφαλής προεπιλογή.
Ακραίες τιμές
Ευκολότερες και δυσκολότερες
Καλύτερο αποτέλεσμα: Ισπανικά, 2,8%.
Το υψηλότερο ποσοστό σφάλματος που κανένα μοντέλο δεν βελτιώνει είναι τα Εβραϊκά†, που δεν πέφτουν κάτω από 48,3% σε καμία ρύθμιση που δοκιμάστηκε. Η διόρθωση λέει ότι αυτή η ανάγνωση δεν είναι ασφαλής για γραφές με συνδυαστικούς χαρακτήρες όπως τα Εβραϊκά, οπότε θεωρήστε την ανεπιβεβαίωτη μέχρι να μπει στη σελίδα η διορθωμένη μέτρηση.
Ανάκληση
Μια ανάκληση, που παραμένει στη θέση της
Ανάκληση
Μια προηγούμενη έκδοση αυτής της μέτρησης ανέφερε το large-v3 ως σημαντικά καλύτερο από την προεπιλογή για τα Ουκρανικά. Αυτό ήταν λάθος. Μετρήθηκε με beam 5, που είναι η προεπιλογή του whisper-cli αλλά όχι αυτή που χρησιμοποιεί η εφαρμογή. Όταν επαναλήφθηκε με greedy, την πραγματική ρύθμιση, η προεπιλογή και το v3 βγήκαν ισόπαλα. Η διαφορά ήταν ο αποκωδικοποιητής, όχι το μοντέλο.
Τα δεδομένα
Ο πλήρης πίνακας, η μέθοδος και τα όρια
Ο πλήρης πίνακας, η μέθοδος και τα όρια, συμπτυγμένα: ανοίξτε όποιο θέλετε.
Ποσοστό σφάλματος ανά γλώσσα και μοντέλο (29 γλώσσες, 6 μοντέλα)
Ποσοστό σφάλματος ανά γλώσσα και μοντέλο (29 γλώσσες, 6 μοντέλα)
| Γλώσσα | Μέτρηση | tiny | small | turbo-q5 | turbo | v3-q5 | v3 |
|---|---|---|---|---|---|---|---|
| Αραβικά† ar-SA | WER | 67,0% | 36,9% | 22,9% | 22,4% | 22,3% | 22,2% ● |
| Κινεζικά (απλοποιημένα) zh-Hans | CER | 55,0% | 24,8% | 13,7% | 16,8% | 13,1% | 12,6% ● |
| Τσεχικά cs | WER | 84,0% | 40,4% | 13,2% | 12,8% | 13,1% | 11,9% ● |
| Δανικά da | WER | 87,2% | 35,0% | 13,4% | 13,0% | 12,6% ● | 13,3% |
| Ολλανδικά nl-NL | WER | 74,8% | 28,8% | 10,8% | 9,8% | 8,3% ● | 8,4% |
| Αγγλικά en-US | WER | 31,9% | 10,7% | 9,1% | 8,9% | 7,0% ● | 8,9% |
| Φινλανδικά fi | WER | 64,4% | 31,8% | 10,8% | 10,1% | 7,7% ● | 7,7% ● |
| Γαλλικά fr-FR | WER | 50,1% | 26,1% | 10,0% | 10,1% | 7,7% | 7,5% ● |
| Γερμανικά de-DE | WER | 35,0% | 11,9% | 5,2% | 4,7% ● | 5,2% | 5,2% |
| Ελληνικά el | WER | 74,7% | 32,9% | 11,2% ● | 11,3% | 11,8% | 12,3% |
| Εβραϊκά† he | WER | 81,9% | 63,2% | 51,0% | 48,4% | 48,3% ● | 48,3% ● |
| Χίντι† hi | WER | 100,0% | 68,3% | 34,4% | 42,1% | 33,4% | 32,4% ● |
| Ουγγρικά hu | WER | 84,8% | 48,7% | 17,9% | 17,9% | 17,0% | 16,3% ● |
| Ινδονησιακά id | WER | 59,2% | 21,8% | 7,4% ● | 7,8% | 8,1% | 9,4% |
| Ιταλικά it | WER | 31,8% | 8,2% | 4,0% | 2,9% ● | 4,6% | 4,5% |
| Ιαπωνικά ja | CER | 54,3% | 25,4% | 18,5% | 15,6% | 14,2% ● | 17,0% |
| Κορεατικά ko | CER | 33,9% | 24,6% | 11,3% | 11,3% | 9,4% ● | 9,5% |
| Μαλαισιανά ms | WER | 62,5% | 25,1% | 7,1% | 9,8% | 6,0% | 5,9% ● |
| Νορβηγικά no | WER | 64,0% | 24,2% | 10,0% | 9,8% ● | 10,0% | 9,8% ● |
| Πολωνικά pl | WER | 57,0% | 17,7% | 6,7% | 6,4% ● | 7,4% | 7,6% |
| Πορτογαλικά (Βραζιλίας) pt-BR | WER | 25,4% | 7,9% | 5,2% | 5,1% | 5,0% | 4,9% ● |
| Ρουμανικά ro | WER | 79,1% | 33,4% | 10,2% | 9,9% | 9,5% | 9,2% ● |
| Ρωσικά ru | WER | 38,7% | 12,9% | 6,4% | 6,3% ● | 6,8% | 7,3% |
| Ισπανικά es-ES | WER | 19,3% | 7,0% | 3,5% | 3,5% | 3,0% | 2,8% ● |
| Σουηδικά sv | WER | 57,2% | 21,4% | 8,3% | 8,1% | 7,1% ● | 7,3% |
| Ταϊλανδικά th | CER | 62,4% | 27,5% | 20,8% | 24,6% | 13,2% | 12,6% ● |
| Τουρκικά tr | WER | 62,1% | 30,5% | 15,2% | 15,5% | 13,1% ● | 13,5% |
| Ουκρανικά uk | WER | 68,3% | 39,2% | 23,1% | 21,0% ● | 23,3% | 23,1% |
| Βιετναμικά vi | WER | 64,1% | 26,6% | 9,8% ● | 10,3% | 10,2% | 10,2% |
Πώς μετρήθηκε
Τα όρια αυτής της δοκιμής
- Ένα τμήμα ανά γλώσσα (περίπου 1.000 λέξεις, ή περίπου 2.000 χαρακτήρες για τις γλώσσες με σφάλμα χαρακτήρων). Αρκεί για να ξεχωρίσουν οι μεγάλες διαφορές, όχι για να κριθούν οι μικρές. Όπου αυτή η σελίδα λέει ότι ένα μοντέλο «αντέχει», διαβάστε «δεν διαχωρίζεται σε αυτό το μέγεθος δείγματος», όχι «αποδεδειγμένα πανομοιότυπο».
whisper -cli με τις ρυθμίσεις περιβάλλοντος και αποκωδικοποίησης της εφαρμογής, όχι ολόκληρη η ροή του Lesskeys , που προσθέτει ανίχνευση φωνητικής δραστηριότητας, φίλτρο παραισθήσεων, εξομάλυνση έντασης και περιορισμό γλώσσας. Αυτός ο πίνακας δεν μετρά εκείνη τη ροή.- Ομιλία από ανάγνωση κειμένου, όχι συσκέψεις. Ο συνομιλιακός λόγος με αλληλοκαλύψεις είναι σημαντικά δυσκολότερος.
- Τα απόλυτα ποσοστά περιέχουν κάποια διόγκωση από διαφορές μορφοποίησης αριθμών και στίξης που ένας ανθρώπινος αναγνώστης δεν θα μετρούσε ως λάθη. Οι συγκρίσεις ανάμεσα σε μοντέλα στην ίδια γλώσσα είναι το αξιόπιστο μέρος· οι συγκρίσεις μεταξύ γλωσσών έχουν περισσότερο θόρυβο.
Ερωτήσεις
Ερωτήσεις για την ακρίβεια του Whisper ανά γλώσσα
Ποιο μοντέλο Whisper να εκτελώ σε Mac ;
Βλάπτει η κβάντιση την ακρίβεια ενός μοντέλου Whisper ;
Είναι πάντα πιο ακριβές ένα μεγαλύτερο μοντέλο Whisper ;
Μετρήθηκε στο cloud;
Περισσότερα