Welk Whisper-model moet je op een Mac draaien?

Zes van de Whisper-modellen die Lesskeys aanbiedt, draaiden over dezelfde 300 uitingen (37 minuten audio) uit LibriSpeech test-clean, de standaard openbare benchmarkset, die zijn eigen transcripten door mensen meelevert. We scoorden het woordfoutpercentage ten opzichte van die transcripten, timeden elke run en noteerden de downloadgrootte. Minder fouten is beter; een balk is getekend in verhouding tot de grootste waarde in zijn kolom.

Zes Whisper-modellen op 6.086 woorden van LibriSpeech test-clean (Apple M1 Max)

Gemeten op een Apple M1 Max met whisper.cpp, Metal-GPU en flash attention aan, standaardinstellingen van whisper.cpp (beam size 5), taal vastgezet op “en”, 8 threads. ● markeert de modellen die we als gedeeld beste beschouwen. “89 keer realtime” betekent dat een uur audio in ongeveer 1 minuut wordt getranscribeerd. De groottes in deze tabel zijn gemeten bestandsgroottes in decimale eenheden, dus ze wijken af van de labels in de app en op de andere pagina’s: het bestand van 574 MB van Large V3 Turbo Q5 is daar 547 MB, Small is 466 MB (hier 488 MB), Tiny is 75 MB (hier 78 MB), Large V3 Q5 is 1,0 GB en Large V3 is 3 GB.

Large V3 Q5, Large V3, Large V3 Turbo en Large V3 Turbo Q5 eindigden binnen 13 woorden van elkaar op 6.086 woorden referentietekst. Dat is de ruisvloer van de meting, geen verschil. We beschouwen elk model binnen 0,5 procentpunt van het beste als gelijk, omdat een rangschikking op basis van ruis deze pagina beslister zou laten lijken en minder waar zou maken.

De dataset is openbaar (OpenSLR), de modellen zijn de standaard ggml-builds van Whisper, en de testomgeving is één Python-bestand. De steekproef wordt deterministisch gekozen (gesorteerde uiting-id’s, gelijkmatig verdeeld, geen willekeurige seed), dus een onafhankelijke run kiest dezelfde uitingen.

De scorenormalisator is het deel dat het controleren waard is, want een woordfoutpercentage betekent niets zonder die normalisator. Die van ons negeert verschillen die opmaak zijn en geen herkenning (hoofdletters, leestekens, afbreekstreepjes, 23 tegenover drieëntwintig, Mr. tegenover mister) en telt elke echte vervanging, weglating en toevoeging nog steeds mee. Hij is vastgelegd in elf testgevallen, waaronder gevallen die controleren dat echte fouten niet worden weggenormaliseerd. Zonder die stap worden modellen gestraft voor leestekenstijl in plaats van nauwkeurigheid.

De snelheidscijfers komen van één machine; een andere Apple Silicon-chip komt ergens anders uit: de volgorde zou moeten kloppen, de absolute getallen niet. Dit meet alleen de transcriptiemodellen, niet het labelen van sprekers, dat een aparte fase is met een eigen foutpercentage.