Vilken Whisper-modell ska du köra på en Mac?

Sex av de Whisper-modeller som Lesskeys erbjuder kördes på samma 300 yttranden (37 minuter ljud) från LibriSpeech test-clean, den offentliga standardbenchmarken, som levereras med egna mänskliga transkript. Vi mätte ordfelsfrekvensen mot de transkripten, tog tid på varje körning och noterade nedladdningsstorleken. Lägre fel är bättre; en stapel ritas i proportion till det största värdet i sin kolumn.

Sex Whisper-modeller på 6 086 ord ur LibriSpeech test-clean (Apple M1 Max)

Uppmätt på en Apple M1 Max med whisper.cpp, Metal-GPU och flash attention på, standardinställningarna i whisper.cpp (beam size 5), språket tvingat till engelska (en), 8 trådar. ● markerar de modeller vi behandlar som lika bäst. ”89 gånger realtid” betyder att en timmes ljud transkriberas på ungefär 1 minut. Storlekarna i den här tabellen är uppmätta filstorlekar i decimala enheter, så de skiljer sig från etiketterna i appen och på de andra sidorna: filen för Large V3 Turbo Q5 på 574 MB är 547 MB där, Small är 466 MB (här 488 MB), Tiny är 75 MB (här 78 MB), Large V3 Q5 är 1,0 GB och Large V3 är 3 GB.

Large V3 Q5, Large V3, Large V3 Turbo och Large V3 Turbo Q5 landade inom 13 ord från varandra på 6 086 ord referenstext. Det är mätningens brusgolv, inte en skillnad. Vi behandlar varje modell inom 0,5 procentenheter från den bästa som lika, eftersom rankingbrus annars skulle få den här sidan att se mer avgörande ut och vara mindre sann.

Datamängden är offentlig (OpenSLR), modellerna är de vanliga ggml-versionerna av Whisper, och testverktyget är en enda Python-fil. Urvalet görs deterministiskt (sorterade yttrande-id, jämnt fördelade steg, inget slumpfrö), så en oberoende körning väljer samma yttranden.

Normaliseraren som används vid poängsättningen är den del som är värd att granska, eftersom en ordfelsfrekvens inte betyder något utan den. Vår bortser från skillnader som är formatering snarare än igenkänning (versaler, skiljetecken, bindestreck, 23 mot tjugotre, Mr. mot mister) och räknar fortfarande varje verklig substitution, borttagning och insättning. Den är låst av elva testfall, bland dem sådana som kontrollerar att verkliga fel inte normaliseras bort. Utan det steget straffas modellerna för skiljeteckenstil i stället för noggrannhet.

Hastighetssiffrorna kommer från en maskin; en annan Apple Silicon-chip hamnar någon annanstans: ordningen bör hålla, de absoluta siffrorna gör det inte. Detta mäter bara transkriberingsmodellerna, inte talarmarkering, som är ett separat steg med egen felfrekvens.