Ce model Whisper să rulezi pe un Mac?

Șase dintre modelele Whisper oferite de Lesskeys au fost rulate pe aceleași 300 de enunțuri (37 de minute de sunet) din LibriSpeech test-clean, setul public standard de testare, care vine cu propriile transcrieri făcute de oameni. Am calculat rata de erori pe cuvânt față de acele transcrieri, am cronometrat fiecare rulare și am notat dimensiunea descărcării. O eroare mai mică e mai bună; o bară este desenată proporțional cu cea mai mare valoare din coloana ei.

Șase modele Whisper pe 6.086 de cuvinte din LibriSpeech test-clean (Apple M1 Max)

Măsurat pe un Apple M1 Max cu whisper.cpp, GPU Metal și flash attention activate, valorile implicite whisper.cpp (dimensiunea beam 5), limba forțată la en, 8 fire de execuție. ● marchează modelele pe care le considerăm la egalitate pentru cel mai bun. „De 89 de ori mai repede decât timpul real” înseamnă că o oră de sunet este transcrisă în cam 1 minut. Dimensiunile din acest tabel sunt mărimi de fișier măsurate, în unități zecimale, deci diferă de etichetele din aplicație și de pe celelalte pagini: fișierul de 574 MB al lui Large V3 Turbo Q5 are acolo 547 MB, Small are 466 MB (aici 488 MB), Tiny are 75 MB (aici 78 MB), Large V3 Q5 are 1,0 GB, iar Large V3 are 3 GB.

Large V3 Q5, Large V3, Large V3 Turbo și Large V3 Turbo Q5 au terminat la cel mult 13 cuvinte unul de altul din 6.086 de cuvinte de text de referință. Asta este pragul de zgomot al măsurătorii, nu o diferență. Considerăm la egalitate orice model aflat la cel mult 0,5 puncte procentuale de cel mai bun, pentru că zgomotul clasamentului ar face pagina să pară mai categorică și mai puțin adevărată.

Setul de date este public (OpenSLR), modelele sunt variantele ggml standard ale Whisper, iar scriptul de testare este un singur fișier Python. Eșantionul este ales determinist (id-uri de enunț sortate, la intervale egale, fără seed aleator), așa că o rulare independentă alege aceleași enunțuri.

Normalizatorul de scor este partea care merită verificată, pentru că o rată de erori pe cuvânt nu înseamnă nimic fără el. Al nostru ignoră diferențele care țin de formatare, nu de recunoaștere (majuscule, punctuație, cratime, 23 față de douăzeci și trei, Mr. față de mister) și tot numără fiecare substituție, omisiune și inserție reală. Este fixat de unsprezece cazuri de test, inclusiv unele care verifică faptul că erorile reale nu sunt normalizate pe ascuns. Fără acest pas, modelele sunt penalizate pentru stilul de punctuație, nu pentru acuratețe.

Cifrele de viteză vin de pe o singură mașină; un alt cip Apple Silicon va ieși altfel: ordinea ar trebui să se păstreze, valorile absolute nu. Testul măsoară doar modelele de transcriere, nu etichetarea vorbitorilor, care este o etapă separată, cu propria rată de erori.