Welches Whisper-Modell sollten Sie am Mac nutzen?

Sechs der von Lesskeys angebotenen Whisper-Modelle verarbeiteten dieselben 300 Äußerungen (37 Minuten Audio) aus LibriSpeech test-clean, dem öffentlichen Standard-Benchmark-Datensatz, der eigene menschliche Transkripte mitbringt. Wir haben die Wortfehlerrate gegen diese Transkripte ermittelt, jeden Durchlauf gestoppt und die Downloadgröße erfasst. Ein niedrigerer Fehlerwert ist besser; ein Balken wird im Verhältnis zum größten Wert seiner Spalte gezeichnet.

Sechs Whisper-Modelle an 6.086 Wörtern von LibriSpeech test-clean (Apple M1 Max)

Gemessen auf einem Apple M1 Max mit whisper.cpp, Metal-GPU und Flash Attention an, Standardwerte von whisper.cpp (Beam-Größe 5), Sprache fest auf en, 8 Threads. ● markiert die Modelle, die wir als gleichauf an der Spitze behandeln. „89-fache Echtzeit“ bedeutet, dass eine Stunde Audio in etwa 1 Minute transkribiert wird. Die Größen in dieser Tabelle sind gemessene Dateigrößen in Dezimaleinheiten und weichen daher von den Angaben in der App und auf den anderen Seiten ab: Die 574-MB-Datei von Large V3 Turbo Q5 ist dort 547 MB, Small ist 466 MB (hier 488 MB), Tiny ist 75 MB (hier 78 MB), Large V3 Q5 ist 1,0 GB und Large V3 ist 3 GB.

Large V3 Q5, Large V3, Large V3 Turbo und Large V3 Turbo Q5 liegen bei 6.086 Wörtern Referenztext innerhalb von 13 Wörtern voneinander. Das ist die Rauschgrenze der Messung, kein Unterschied. Jedes Modell innerhalb von 0,5 Prozentpunkten des besten behandeln wir als gleichauf, denn Rauschen in der Rangfolge würde diese Seite entschiedener wirken lassen und sie weniger wahr machen.

Der Datensatz ist öffentlich (OpenSLR), die Modelle sind die üblichen ggml-Builds von Whisper, und das Testprogramm ist eine einzelne Python-Datei. Die Stichprobe wird deterministisch gewählt (sortierte Äußerungs-IDs, gleichmäßig gestaffelt, kein Zufallswert), sodass ein unabhängiger Lauf dieselben Äußerungen auswählt.

Der Bewertungsnormalisierer ist der Teil, den man prüfen sollte, denn eine Wortfehlerrate bedeutet ohne ihn nichts. Unserer ignoriert Unterschiede, die Formatierung statt Erkennung sind (Groß- und Kleinschreibung, Satzzeichen, Bindestriche, 23 gegenüber twenty three, Mr. gegenüber mister), und zählt weiterhin jede echte Ersetzung, Auslassung und Einfügung. Er ist durch elf Testfälle abgesichert, darunter solche, die prüfen, dass echte Fehler nicht wegnormalisiert werden. Ohne diesen Schritt werden Modelle für ihren Satzzeichenstil bestraft statt für ihre Genauigkeit.

Die Geschwindigkeitswerte stammen von einem Rechner; ein anderer Apple-Silicon-Chip landet woanders: Die Reihenfolge dürfte gleich bleiben, die absoluten Zahlen nicht. Gemessen werden nur die Transkriptionsmodelle, nicht die Sprecherbezeichnung, eine eigene Stufe mit eigener Fehlerrate.