LesskeysΌταν το Whisper σταματά νωρίς και λέει ότι τελείωσε
Τελευταίος έλεγχος
Τι είναι
Τι είναι η σιωπηλή περικοπή
Το κείμενο που παρήγαγε ήταν σωστό. Απλώς σταμάτησε, και η ροή είπε ότι τελείωσε.
Ένα μοντέλο ομιλίας μπορεί να επιστρέψει λάθος λέξεις, ή μπορεί να σταματήσει στη μέση και να επιστρέψει μια σωστή απομαγνητοφώνηση του πρώτου μέρους σαν να ήταν πλήρης. Στη χειρότερη εκτέλεσή μας, τα Νορβηγικά, επέστρεψε 113 από 521 λέξεις αναφοράς μετά από 30 λεπτά υπολογισμού και σταμάτησε μετά από 9 τμήματα. Η δική μας ροή κατέγραψε αυτή την εκτέλεση ως COMPLETED: κανένα σφάλμα, καμία προειδοποίηση, καμία σημαία μερικού αποτελέσματος.
- 10 από 143εκτελέσεις σταμάτησαν νωρίς
- 22%του ήχου στη χειρότερη εκτέλεση
- 9 από 10στα δύο αρχεία large-v3
Ποιες εκτελέσεις
Ποιες γλώσσες σταμάτησαν νωρίς
Οι 9 από τις 10 είναι στα δύο αρχεία large-v3.
Κάλυψη είναι το μήκος της απομαγνητοφώνησης διαιρεμένο με το μήκος της αναφοράς: 1,00 είναι μια πλήρης απομαγνητοφώνηση. Κάθε ράβδος είναι μία περικομμένη εκτέλεση· η διακεκομμένη γραμμή είναι το όριο 0,80.
- Νορβηγικά0,22
- Μαλαισιανά0,32
- Βιετναμικά0,34
- Κορεατικά0,40
- Ολλανδικά0,74
- Τσεχικά0,22
- Πορτογαλικά (Βραζιλίας)0,35
- Βιετναμικά0,37
- Μαλαισιανά0,75
- Χίντι†0,72
Χίντι: μια επιφύλαξη βαθμολόγησης
† Αυτή είναι η εκτέλεση του προεπιλεγμένου μοντέλου: 886 μονάδες έναντι αναφοράς 1.237, ο ίδιος διογκωμένος αριθμός που κατονομάζει η διόρθωση στη σελίδα
Πάντα μικρότερη, ποτέ μεγαλύτερη
Κάθε ακραίο κελί σε αυτόν τον πίνακα είναι μικρότερο, ποτέ μεγαλύτερο. Ούτε μία εκτέλεση στις 143 δεν ξεπέρασε το κείμενο αναφοράς της κατά περισσότερο από το μισό. Αυτό είναι το αντίθετο πρόσημο από την αστοχία βρόχου επανάληψης, όπου ένα μοντέλο κολλά και επαναλαμβάνει την ίδια φράση για λεπτά, δίνοντας κάλυψη πέντε φορές μεγαλύτερη από την αναφορά ή και περισσότερο. Και τα δύο είναι καταστροφικά και αόρατα σε έναν δειγματοληπτικό έλεγχο, αλλά διακρίνονται από το πρόσημο του ίδιου αριθμού, και γι’ αυτό ένας μόνο έλεγχος εντοπίζει και τα δύο.
Εντοπίστε το
Εντοπίστε το χωρίς κείμενο αναφοράς
Συγκρίνετε πόση απομαγνητοφώνηση επέστρεψε με τη διάρκεια του ήχου.
Το ποσοστό σφάλματος λέξεων χρειάζεται απομαγνητοφώνηση αναφοράς, που στην πράξη δεν έχετε ποτέ. Η κάλυψη δεν τη χρειάζεται. Σε αυτόν τον πίνακα οι δύο ομάδες ξεχωρίζουν καθαρά:
| Θέμα | Εκτελέσεις | Μέση κάλυψη | Μέσο ποσοστό σφάλματος |
|---|---|---|---|
| Περικομμένες | 10 | 0,44 | 65,90% |
| Υγιείς | 133 | 1,01 | 12,10% |
Το όριο 0,80 δεν είναι προσαρμοσμένο στα δεδομένα: η υψηλότερη κάλυψη ανάμεσα στις περικομμένες εκτελέσεις είναι 0,75 και η χαμηλότερη ανάμεσα στις υγιείς είναι 0,82, άρα οποιοδήποτε όριο μέσα σε αυτό το κενό δίνει την ίδια απάντηση. Στην πράξη: συγκρίνετε τη χρονική σήμανση του τελευταίου τμήματος που επέστρεψε με τη διάρκεια του αρχείου, στο μηχάνημα του χρήστη, χωρίς τίποτα άλλο για σύγκριση.
Το ποσοστό σφάλματος
Η περικοπή διογκώνει το ποσοστό σφάλματος
Περίπου 9,4 μονάδες του ποσοστού σφάλματος δεν οφείλονται στο ότι το μοντέλο ακούει λάθος. Οφείλονται στο ότι το μοντέλο δεν είναι εκεί.
Ακόμη και χωρίς περικοπή, το Large V3 δεν φτάνει το μικρότερο μοντέλο turbo
Τι σημαίνει αυτό για τα μοντέλα που προσφέρει το Lesskeys
Δεν υπάρχει έλεγχος κάλυψης σε αυτή την έκδοση. Ο έλεγχος που περιγράφεται παραπάνω είναι πρόταση γι’ αυτήν, όχι δυνατότητα που κυκλοφορεί.
Κατάσταση στις 15 Οκτωβρίου 2026, για την έκδοση του App Store που πωλείται (3.1.4 )
Το λέμε ξεκάθαρα, γιατί είναι ο λόγος που αυτή η σελίδα αξίζει να δημοσιευτεί και όχι να αρχειοθετηθεί:
- Και τα δύο αρχεία large-v3
προσφέρονται στον επιλογέα μοντέλων του και αντιστοιχούν σε 9 από τις 10 περικομμένες εκτελέσεις. Ένας χρήστης που σκέφτεται «μεγαλύτερη λήψη, καλύτερο αποτέλεσμα» διαλέγει την πιο αναξιόπιστη επιλογή της λίστας.Lesskeys Η κβάντιση των δεν υπάρχει στον επιλογέα αυτής της έκδοσης. Ήταν προσβάσιμη σε αυτή τη δοκιμή μόνο επειδή ο φάκελος μοντέλων σαρώνεται κατά την εκκίνηση.834 MB που είχε το χαμηλότερο μέσο ποσοστό σφάλματος (χάσμα από τις άλλες εκτελέσεις turbo που οφείλεται κυρίως σε μία γραμμή των Χίντι) και μηδέν περικοπέςΤο προεπιλεγμένο μοντέλο ( 547 MB ) περικόπηκε μία φορά σε 29 γλώσσες, στα Χίντι (πιθανότατα πραγματική περικοπή· δείτε τη σημείωση κάτω από τη λίστα κάλυψης). Αυτή η εκτέλεση και η εκτέλεση τουLarge V3 Q5 στα Τσεχικά έτρεξαν και οι δύο στο τμήμα των12 GB του πίνακα, με λίγη μνήμη να περισσεύει (δείτε τα όρια).- Δεν υπάρχει έλεγχος κάλυψης σε αυτή την έκδοση. Ο έλεγχος που περιγράφεται παραπάνω είναι πρόταση γι’ αυτήν, όχι δυνατότητα που κυκλοφορεί. Όταν κυκλοφορήσει, αυτή η ενότητα θα ξαναγραφτεί αντί να διαγραφεί αθόρυβα.
Τι σημαίνει αυτό στα Windows
Τα δεδομένα
Η μέθοδος, ο πίνακας και τα όρια
Πώς έγιναν οι εκτελέσεις και τι δεν μπορούν να σας πουν, συμπτυγμένα.
Πώς μετρήθηκε η περικοπή
Κάθε εκτέλεση πέρασε από την εφαρμογή που κυκλοφορείwhisper-cli. Αυτό έχει σημασία: η ανίχνευση φωνητικής δραστηριότητας, το φίλτρο παραισθήσεων, η εξομάλυνση έντασης και ο περιορισμός γλώσσας ήταν όλα στη διαδρομή, ακριβώς όπως θα τα είχε ένας χρήστης. Η γλώσσα ορίστηκε αυστηρά για κάθε εκτέλεση και τηρήθηκε και στα 143 κελιά· το μοντέλο που φορτώθηκε ήταν πράγματι αυτό που ζητήθηκε και στα 143. Τα δύο κελιά που λείπουν είναι τα Χίντι και στα δύο αρχεία large-v3, που δεν ολοκληρώθηκαν καθόλου.
Τα πέντε μοντέλα: μέγεθος, μέσο σφάλμα, περικομμένες εκτελέσεις
| Μοντέλο | Μέγεθος | Γλώσσες | Μέσο σφάλμα | Διάμεσος | Περικομμένες εκτελέσεις |
|---|---|---|---|---|---|
| 29 | 9,16% | 6,80% | καμία | ||
| 29 | 9,52% | 7,23% | καμία | ||
| 29 | 9,99% | 7,81% | 1 από 29 | ||
| 28 | 24,64% | 15,80% | 5 από 28 | ||
| 28 | 26,66% | 18,66% | 4 από 28 |
Τα όρια αυτής της δοκιμής
- Ομιλία από ανάγνωση κειμένου, όχι συσκέψεις. Το FLEURS είναι καθαρός ηχογραφημένος γραπτός λόγος. Ο συνομιλιακός λόγος με αλληλοκαλύψεις είναι σημαντικά δυσκολότερος, και αυτά τα ποσοστά δεν πρέπει να διαβαστούν ως το αποτέλεσμα που θα είχατε σε μια πραγματική κλήση.
- Μία εκτέλεση ανά κελί. 143 κελιά, μία εκτέλεση το καθένα. Η περικοπή αναπαράχθηκε στα δύο αρχεία large-v3 και σε δύο ξεχωριστές διερευνήσεις, αλλά αυτός ο πίνακας δεν θεμελιώνει ποσοστό· θεμελιώνει ότι συμβαίνει.
- Ένα μηχάνημα, δύο μεγέθη μνήμης.
Τα κελιά έτρεξαν σε μία εικονική μηχανή Apple Silicon με μνήμη12 GB για τα πρώτα 33 κελιά και24 GB για τα υπόλοιπα· και τα 29 κελιά του προεπιλεγμένου μοντέλου και τα πρώτα τέσσερα κελιά τουLarge V3 Q5 (Αραβικά, Τσεχικά, Δανικά, Γερμανικά) έτρεξαν στο τμήμα των12 GB . Δύο περικομμένες εκτελέσεις βρίσκονται εκεί: τα Χίντι στην προεπιλογή (241 MB μνήμης διαθέσιμα στο χαμηλότερο σημείο) και τα Τσεχικά στοLarge V3 Q5 (60 MB ). Κάθε άλλη περικομμένη εκτέλεση είχε πάνω από6.000 MB διαθέσιμα. Η χαμηλή μνήμη μπορεί να συνέβαλε σε αυτές τις δύο, και αυτός ο πίνακας δεν μπορεί να το ξεχωρίσει από το μοντέλο. Η αποκωδικοποίηση αφέθηκε στις προεπιλογές διαδρομής αρχείου της εφαρμογής και όχι του εργαλείου γραμμής εντολών. - Τα απόλυτα ποσοστά περιέχουν κάποια διόγκωση από επιλογές κανονικοποίησης στίξης και πεζών/κεφαλαίων. Οι συγκρίσεις μεταξύ μοντέλων είναι το σημαντικό μέρος, όχι τα απόλυτα ποσοστά.
Οι απομαγνητοφωνήσεις κρατήθηκαν αυτή τη φορά. Σε μια προηγούμενη μέτρηση είχαν αντικατασταθεί από το βήμα ρύθμισης της επόμενης εκτέλεσης, και η περικοπή έπρεπε να συναχθεί από τον αριθμό λέξεων, που είναι ακριβώς ο λόγος που έμεινε απαρατήρητη τόσο καιρό. Ένα «χειρότερο ποσοστό σφάλματος» και ένα «σταμάτησε νωρίς» μοιάζουν ίδια σε έναν πίνακα αποτελεσμάτων.
Ερωτήσεις
Ερωτήσεις για το Whisper που σταματά νωρίς
Τι είναι η σιωπηλή περικοπή στην αναγνώριση ομιλίας;
Ένα μοντέλο επιστρέφει απομαγνητοφώνηση που καλύπτει μόνο μέρος του ήχου και η ροή γύρω του αναφέρει επιτυχία. Το κείμενο που υπάρχει συνήθως είναι σωστό, οπότε τίποτα δεν φαίνεται λάθος μέχρι να συγκρίνει κάποιος την απομαγνητοφώνηση με την ηχογράφηση. Σε αυτόν τον πίνακα επηρέασε 10 από 143 εκτελέσεις, 9 από αυτές στα δύο αρχεία large-v3.
Πώς εντοπίζω μια περικομμένη απομαγνητοφώνηση χωρίς κείμενο αναφοράς;
Συγκρίνετε αυτό που επέστρεψε με αυτό που μπήκε: τη χρονική σήμανση λήξης του τελευταίου τμήματος έναντι της διάρκειας του αρχείου ήχου, ή το μήκος της απομαγνητοφώνησης έναντι του αναμενόμενου μήκους. Κανένα από τα δύο δεν χρειάζεται απομαγνητοφώνηση αναφοράς, και γι’ αυτό ο έλεγχος είναι χρήσιμος στην πράξη. Σε αυτά τα δεδομένα, οι περικομμένες εκτελέσεις είχαν μέση κάλυψη 0,44 έναντι 1,01 για τις υγιείς.
Δίνει ένα μεγαλύτερο μοντέλο Whisper καλύτερα αποτελέσματα;
Είναι σφάλμα του Whisper ή της εφαρμογής;
Απροσδιόριστο, και η σελίδα δεν ισχυρίζεται ότι ξέρει. Αυτό που μετρήθηκε είναι ότι η κατάσταση εμφανίζεται και ότι η ροή γύρω της δεν την πρόσεξε. Ο προτεινόμενος έλεγχος κάλυψης είναι μια μετριαστική λύση στο επίπεδο της εφαρμογής, που είναι το επίπεδο που ελέγχουμε· δεν διαγιγνώσκει την υποκείμενη αιτία.
Περισσότερα