Jaki model Whisper uruchomić na Macu?

Sześć modeli Whisper oferowanych w Lesskeys przepisało te same 300 wypowiedzi (37 minut nagrania) z LibriSpeech test-clean, standardowego publicznego zestawu testowego, który zawiera własne transkrypcje wykonane przez ludzi. Oceniliśmy współczynnik błędów słów względem tych transkrypcji, zmierzyliśmy czas każdego przebiegu i zapisaliśmy rozmiar pobrania. Im niższy błąd, tym lepiej; słupek jest rysowany proporcjonalnie do największej wartości w jego kolumnie.

Sześć modeli Whisper na 6 086 słowach LibriSpeech test-clean (Apple M1 Max)

Zmierzone na Apple M1 Max z whisper.cpp, GPU Metal i flash attention włączone, ustawienia domyślne whisper.cpp (rozmiar wiązki 5), język wymuszony na en, 8 wątków. ● oznacza modele, które uznajemy za remisujące na czele. „89-krotność czasu rzeczywistego” oznacza, że godzina nagrania jest przepisywana w około 1 minutę. Rozmiary w tej tabeli to zmierzone rozmiary plików w jednostkach dziesiętnych, więc różnią się od opisów w aplikacji i na innych stronach: plik 574 MB modelu Large V3 Turbo Q5 to tam 547 MB, Small to 466 MB (tutaj 488 MB), Tiny to 75 MB (tutaj 78 MB), Large V3 Q5 to 1,0 GB, a Large V3 to 3 GB.

Large V3 Q5, Large V3, Large V3 Turbo, Large V3 Turbo Q5 zmieściły się w 13 słowach od siebie na 6 086 słowach tekstu wzorcowego. To poziom szumu pomiaru, a nie różnica. Za remis uznajemy każdy model w granicach 0,5 punktu procentowego od najlepszego, bo szum rankingu sprawiłby, że ta strona wyglądałaby na bardziej rozstrzygającą, a byłaby mniej prawdziwa.

Zbiór danych jest publiczny (OpenSLR), modele to standardowe kompilacje ggml Whisper, a narzędzie testowe to jeden plik Pythona. Próbka jest dobierana deterministycznie (posortowane identyfikatory wypowiedzi, równe odstępy, bez losowego ziarna), więc niezależny przebieg wybiera te same wypowiedzi.

Warto sprawdzić normalizator oceny, bo współczynnik błędów słów bez niego nic nie znaczy. Nasz ignoruje różnice, które są kwestią formatu, a nie rozpoznawania (wielkość liter, interpunkcja, dzielenie wyrazów, 23 wobec dwadzieścia trzy, Mr. wobec mister), a nadal liczy każde prawdziwe podstawienie, usunięcie i wstawienie. Chroni go jedenaście przypadków testowych, w tym takie, które sprawdzają, że prawdziwe błędy nie są normalizowane. Bez tego kroku modele są karane za styl interpunkcji, a nie za dokładność.

Wyniki szybkości pochodzą z jednego komputera; inny układ Apple Silicon da inne wartości: kolejność powinna się utrzymać, wartości bezwzględne nie. To mierzy tylko modele transkrypcji, a nie oznaczanie mówców, które jest osobnym etapem z własnym współczynnikiem błędów.