Melyik Whisper-modellt érdemes futtatni Mac-en?

A Lesskeys által kínált Whisper-modellek közül hat futott ugyanazon a 300 megnyilatkozáson (37 perc hang) a LibriSpeech test-clean anyagból, amely a szokásos nyilvános benchmark-készlet, és saját emberi átiratokkal érkezik. A szóhibaarányt ezekhez az átiratokhoz mértük, minden futást időztük, és rögzítettük a letöltési méretet. Minél kisebb a hiba, annál jobb; a sáv hossza az oszlop legnagyobb értékéhez arányos.

Hat Whisper-modell a LibriSpeech test-clean 6 086 szaván (Apple M1 Max)

Apple M1 Max gépen mérve whisper.cpp-vel, Metal GPU-val és bekapcsolt flash attentionnel, whisper.cpp-alapértelmezésekkel (beam size 5), a nyelv angolra kényszerítve, 8 szállal. A ● a legjobbként holtversenyben kezelt modelleket jelöli. Ha azt írjuk, hogy a valós idő 89-szerese, az azt jelenti, hogy egy óra hang nagyjából 1 perc alatt készül el. A táblázat méretei mért fájlméretek tízes alapú egységekben, ezért eltérnek az alkalmazás és a többi oldal feliratától: a Large V3 Turbo Q5 574 MB-os fájlja ott 547 MB, a Small 466 MB (itt 488 MB), a Tiny 75 MB (itt 78 MB), a Large V3 Q5 1,0 GB, a Large V3 pedig 3 GB.

A Large V3 Q5, a Large V3, a Large V3 Turbo és a Large V3 Turbo Q5 a 6 086 szónyi referenciaszövegen 13 szón belül végzett egymáshoz képest. Ez a mérés zajszintje, nem különbség. Holtversenyesnek tekintjük minden modellt, amely 0,5 százalékponton belül van a legjobbtól, mert a rangsorolási zaj ezt az oldalt határozottabbá, de kevésbé igazzá tenné.

Az adathalmaz nyilvános (OpenSLR), a modellek a Whisper szabványos ggml-változatai, a mérőkeret pedig egyetlen Python-fájl. A mintát determinisztikusan választjuk (rendezett megnyilatkozás-azonosítók, egyenletes lépésközzel, véletlenmag nélkül), így egy független futtatás ugyanazokat a megnyilatkozásokat veszi.

A pontozó normalizáló az a rész, amit érdemes ellenőrizni, mert normalizálás nélkül a szóhibaarány semmit sem ér. A miénk figyelmen kívül hagyja a pusztán formázási, nem felismerési különbségeket (kis- és nagybetű, írásjelek, kötőjelezés, 23 és twenty three, Mr. és mister), és minden valódi cserét, kihagyást és beszúrást számolja. Tizenegy tesztesettel van rögzítve, köztük olyanokkal, amelyek azt állítják, hogy a valódi hibákat nem normalizálja el. E lépés nélkül a modelleket az írásjelezési stílusért büntetnék a pontosság helyett.

A sebességadatok egyetlen gépről származnak; egy másik Apple Silicon chipen máshová esnek: a sorrend valószínűleg marad, az abszolút számok nem. Ez csak az átírómodelleket méri, a beszélők megjelölését nem, ami külön lépés a saját hibaarányával.