Ποιο μοντέλο Whisper να εκτελείτε σε Mac;

Έξι από τα μοντέλα Whisper που προσφέρει το Lesskeys εκτελέστηκαν στις ίδιες 300 εκφωνήσεις (37 λεπτά ήχου) από το LibriSpeech test-clean, το πρότυπο δημόσιο σύνολο δοκιμών, που διατίθεται με δικές του ανθρώπινες απομαγνητοφωνήσεις. Βαθμολογήσαμε το ποσοστό σφάλματος λέξεων έναντι αυτών των απομαγνητοφωνήσεων, χρονομετρήσαμε κάθε εκτέλεση και καταγράψαμε το μέγεθος λήψης. Όσο χαμηλότερο το σφάλμα, τόσο καλύτερο· κάθε ράβδος σχεδιάζεται ανάλογα με τη μεγαλύτερη τιμή της στήλης της.

Έξι μοντέλα Whisper σε 6.086 λέξεις του LibriSpeech test-clean (Apple M1 Max)

Μετρήθηκε σε Apple M1 Max με whisper.cpp, GPU Metal και flash attention ενεργό, προεπιλογές του whisper.cpp (beam size 5), γλώσσα σταθερά ορισμένη σε en, 8 νήματα. Το ● σημειώνει τα μοντέλα που θεωρούμε ισόβαθμα για το καλύτερο. Το «89 φορές τον πραγματικό χρόνο» σημαίνει ότι μία ώρα ήχου απομαγνητοφωνείται σε περίπου 1 λεπτό. Τα μεγέθη σε αυτόν τον πίνακα είναι μετρημένα μεγέθη αρχείων σε δεκαδικές μονάδες, γι’ αυτό διαφέρουν από τις ετικέτες στην εφαρμογή και στις άλλες σελίδες: το αρχείο των 574 MB του Large V3 Turbo Q5 είναι 547 MB εκεί, το Small είναι 466 MB (εδώ 488 MB), το Tiny είναι 75 MB (εδώ 78 MB), το Large V3 Q5 είναι 1,0 GB και το Large V3 είναι 3 GB.

Τα Large V3 Q5, Large V3, Large V3 Turbo, Large V3 Turbo Q5 τερμάτισαν σε απόσταση 13 λέξεων μεταξύ τους στις 6.086 λέξεις κειμένου αναφοράς. Αυτό είναι το όριο θορύβου της μέτρησης, όχι διαφορά. Θεωρούμε ισόβαθμο κάθε μοντέλο μέσα σε 0,5 ποσοστιαίες μονάδες από το καλύτερο, γιατί ο θόρυβος κατάταξης θα έκανε αυτή τη σελίδα να φαίνεται πιο αποφασιστική και θα την έκανε λιγότερο αληθινή.

Το σύνολο δεδομένων είναι δημόσιο (OpenSLR), τα μοντέλα είναι οι τυπικές εκδόσεις ggml του Whisper και το πρόγραμμα δοκιμής είναι ένα μόνο αρχείο Python. Το δείγμα επιλέγεται ντετερμινιστικά (ταξινομημένα αναγνωριστικά εκφωνήσεων, σταθερό βήμα, χωρίς τυχαίο seed), ώστε μια ανεξάρτητη εκτέλεση να επιλέξει τις ίδιες εκφωνήσεις.

Ο κανονικοποιητής βαθμολόγησης είναι το μέρος που αξίζει έλεγχο, γιατί ένα ποσοστό σφάλματος λέξεων δεν σημαίνει τίποτα χωρίς αυτόν. Ο δικός μας αγνοεί διαφορές που είναι μορφοποίηση και όχι αναγνώριση (πεζά/κεφαλαία, στίξη, παύλες, 23 έναντι twenty three, Mr. έναντι mister) και εξακολουθεί να μετρά κάθε πραγματική αντικατάσταση, διαγραφή και εισαγωγή. Κλειδώνεται από έντεκα περιπτώσεις δοκιμής, μεταξύ των οποίων και περιπτώσεις που επιβεβαιώνουν ότι τα πραγματικά λάθη δεν κανονικοποιούνται. Χωρίς αυτό το βήμα τα μοντέλα τιμωρούνται για το ύφος της στίξης αντί για την ακρίβεια.

Οι μετρήσεις ταχύτητας προέρχονται από ένα μηχάνημα· ένα άλλο τσιπ Apple Silicon θα δώσει άλλα νούμερα: η σειρά θα πρέπει να ισχύει, οι απόλυτοι αριθμοί όχι. Αυτό μετρά μόνο τα μοντέλα απομαγνητοφώνησης, όχι την επισήμανση ομιλητών, που είναι ξεχωριστό στάδιο με δικό του ποσοστό σφάλματος.