Který model Whisper byste měli na Macu spustit?

Šest modelů Whisper, které Lesskeys nabízí, zpracovalo stejných 300 promluv (37 minut zvuku) z LibriSpeech test-clean, standardní veřejné sady pro srovnání, která obsahuje vlastní lidské přepisy. Chybovost slov jsme počítali proti těmto přepisům, každý běh jsme změřili časově a zaznamenali velikost stažení. Nižší chybovost je lepší; sloupec je vykreslen v poměru k největší hodnotě ve svém sloupci.

Šest modelů Whisper na 6 086 slovech z LibriSpeech test-clean (Apple M1 Max)

Změřeno na Apple M1 Max s whisper.cpp, GPU Metal a zapnutou flash attention, výchozí nastavení whisper.cpp (šířka paprsku 5, beam size), jazyk vynucený na en, 8 vláken. ● označuje modely, které považujeme za shodné s nejlepším. „89násobek reálného času“ znamená, že hodina zvuku se přepíše asi za 1 minutu. Velikosti v této tabulce jsou naměřené velikosti souborů v desítkových jednotkách, takže se liší od popisků v aplikaci a na ostatních stránkách: soubor Large V3 Turbo Q5 o velikosti 574 MB je tam 547 MB, Small je 466 MB (zde 488 MB), Tiny je 75 MB (zde 78 MB), Large V3 Q5 je 1,0 GB a Large V3 je 3 GB.

Large V3 Q5, Large V3, Large V3 Turbo a Large V3 Turbo Q5 skončily do 13 slov od sebe na 6 086 slovech referenčního textu. To je šum měření, ne rozdíl. Za shodný s nejlepším považujeme každý model do 0,5 procentního bodu, protože šum v pořadí by tuto stránku činil rozhodnější a méně pravdivou.

Datová sada je veřejná (OpenSLR), modely jsou standardní sestavení ggml z Whisperu a testovací nástroj je jediný soubor v Pythonu. Vzorek se vybírá deterministicky (seřazená čísla promluv, rovnoměrný krok, žádné náhodné semínko), takže nezávislý běh vybere stejné promluvy.

Normalizace při vyhodnocení je část, kterou stojí za to zkontrolovat, protože chybovost slov bez ní nic neznamená. Ta naše ignoruje rozdíly, které jsou věcí formátu, a ne rozpoznání (velká a malá písmena, interpunkce, spojovníky, 23 proti twenty three, Mr. proti mister), a přesto počítá každou skutečnou záměnu, vynechání a vložení. Hlídá ji jedenáct testovacích případů, včetně těch, které ověřují, že se skutečné chyby nenormalizují pryč. Bez tohoto kroku by se modely trestaly za styl interpunkce místo za přesnost.

Údaje o rychlosti pocházejí z jednoho počítače; jiný čip Apple Silicon dopadne jinak: pořadí by mělo platit, absolutní čísla ne. Měří se jen přepisovací modely, ne označování mluvčích, což je samostatná fáze s vlastní chybovostí.