Ratgeber

Mac

Whisper-Genauigkeit in 29 Sprachen

Kurze Antwort

Nutzen Sie das Modell Large V3 Turbo Q5 mit 547 MB: In 23 von 29 Sprachen war kein größeres Modell signifikant besser. Die Zeilen für Hindi, Arabisch und Hebräisch überzeichnen ihre Fehlerraten und werden neu gemessen; lesen Sie sie daher zusammen mit der Korrektur oben.

Download für Mac

Download für Windows

Weitere Downloads

macOS 13+ auf Apple Silicon · Kein Abo

Zuletzt geprüft am 15. Oktober 2026

Dieser Ratgeber gilt für den Mac. Für Windows siehe Whisper unter Windows ausführen.

23 von 29

Sprachen: Kein größeres Modell ist klar besser als der Standard mit 547 MB

Arabisch†
Chinesisch (vereinfacht)
Tschechisch
Dänisch
Niederländisch
Englisch
Finnisch
Französisch
Deutsch
Griechisch
Hebräisch†
Hindi†
Ungarisch
Indonesisch
Italienisch
Japanisch
Koreanisch
Malaiisch
Norwegisch
Polnisch
Portugiesisch (BR)
Rumänisch
Russisch
Spanisch
Schwedisch
Thailändisch
Türkisch
Ukrainisch
Vietnamesisch

Kein größeres Modell klar besser
Ein größeres Modell lohnt sich
†Wird neu gemessen

Illustration: 23 von 29 Sprachen als Kacheln dargestellt. Grüne Kacheln sind Sprachen, in denen kein größeres Modell klar besser ist als der Standard mit 547 MB; gelbe Kacheln (6) sind Sprachen, in denen ein größeres Modell ihn klar übertrifft. Hindi, Arabisch und Hebräisch tragen ein Kreuz (†): Ihre Zeilen werden neu gemessen.

Die Ergebnisse dieser Seite, eine Kachel pro Sprache. Mit einem Kreuz (†) markierte Kacheln werden neu gemessen: Lesen Sie die Korrektur unten.

Zuerst lesen

Zeilen, die neu gemessen werden

Korrektur vom 28. August 2026

Das Bewertungsskript hinter dieser Tabelle hat den Text mit [^\w\s] normalisiert, und das \w von Python erfasst keine kombinierenden Unicode-Zeichen. Jedes Devanagari-Vokalzeichen, jedes bengalische Nukta und jeder arabische Diakritikus wurde daher durch ein Leerzeichen ersetzt, sodass ein Wort in mehrere zerfiel. An denselben Referenztexten gemessen, die diese Seite verwendete: Tamil ergab 1.520 Einheiten gegenüber 437 echten Wörtern, Hindi 1.237 gegenüber 683, Assamesisch 1.220 gegenüber 498. Zeilen in lateinischer, kyrillischer und CJK-Schrift (Chinesisch, Japanisch, Koreanisch) sind nicht betroffen – diese Schriften haben keine kombinierenden Zeichen –, ebenso wenig die Schlussfolgerungen, die darauf beruhen.

Das bläht die Referenz auf und, weil sich Bruchstücke nicht zuordnen lassen, auch die Fehlerzahl. Daher überzeichnen die Zeilen für Hindi, Arabisch, Hebräisch und die übrigen Schriften mit kombinierenden Zeichen die Fehlerrate, und zwar je nach Sprache unterschiedlich stark, und die weiter unten stehende Aussage zur „schlechtesten Sprache“ ist für diese Zeilen nicht belastbar. Eine korrigierte Messreihe über 83 Sprachen läuft gerade, und diese Seite wird daraus neu erzeugt.

Sie ist hier festgehalten und nicht stillschweigend gelöscht, aus demselben Grund wie die Rücknahme weiter unten: Ein Normalisierer, der nicht lateinische Schrift unbemerkt verstümmelt, ist genau der Fehler, über den die Leser eines mehrsprachigen Benchmarks informiert werden sollten, und er ist in keiner veröffentlichten Zahl sichtbar.

Stand: 15. Oktober 2026

Die neue Messung umfasst 83 Sprachen und sechs Modelle, sowohl für die Dateitranskription als auch für das Diktat. Auf dieser Seite steht sie noch nicht, weil sie nicht abgeschlossen ist: 89 ihrer 996 Testläufe sind fehlgeschlagen, alle bei den größten Modellen und in 17 Sprachen, und die Läufe nutzten nicht alle gleich viel Arbeitsspeicher oder dieselbe Version des Testwerkzeugs. Bis sie fertig ist, ist die Tabelle unten weiterhin die oben beschriebene 29-Sprachen-Tabelle; die mit † markierten Zeilen (Hindi, Arabisch und Hebräisch, in der Korrektur genannt) tragen also weiterhin die überhöhten Fehlerraten, und andere Schriften mit kombinierenden Zeichen möglicherweise ebenfalls. Die Vergleiche bei den lateinischen, kyrillischen und CJK-Zeilen sind nicht betroffen.

Die Antwort

Das Modell mit 547 MB hält stand

In 23 von 29 Sprachen ist kein Modell im Test signifikant besser als der Standard mit 547 MB.

23 von 29Sprachen: Kein größeres Modell klar besser
6Sprachen, in denen sich ein größeres Modell lohnt
9 von 29Sprachen, in denen das Turbo-Modell mit 1,6 GB schlechter abschneidet

Signifikant bedeutet ein Zwei-Proportionen-z-Test mit z ≤ −2 gegenüber dem Standard. Lesen Sie die übrigen 23 als nicht getrennt, nicht als erwiesen gleich.

Ausnahmen

Wo sich ein größeres Modell lohnt

Wenn Sie auf Thailändisch, Japanisch, Finnisch, Französisch, Niederländisch oder Koreanisch arbeiten, lohnt sich der größere Download.

Sprachen, in denen ein größeres Modell den Standard mit 547 MB klar schlägt
Was	Standard (547 MB)	Besseres Modell	Verbesserung
Thailändisch	20,8 %	v3: 12,6 %	−8,2 pp
Japanisch	18,5 %	v3-q5: 14,2 %	−4,3 pp
Finnisch	10,8 %	v3-q5: 7,7 %	−3,1 pp
Französisch	10,0 %	v3: 7,5 %	−2,5 pp
Niederländisch	10,8 %	v3-q5: 8,3 %	−2,5 pp
Koreanisch	11,3 %	v3-q5: 9,4 %	−1,9 pp

v3-q5 (1,0 GB) liefert fast den ganzen Gewinn: Das v3 mit 3 GB verbessert es nie um mehr als 1,2 Prozentpunkte.

Nicht immer größer

Größere Modelle sind nicht immer genauer

Das Turbo-Modell mit 1,6 GB schneidet in 9 von 29 Sprachen numerisch schlechter ab als der Standard mit 547 MB.

Das Modell mit 75 MB ist außerhalb des Englischen nicht brauchbar: Hindi† 100,0 %, Dänisch 87,2 %, Ungarisch 84,8 %, Tschechisch 84,0 %, Hebräisch† 81,9 %.

Welche Sprachen und um wie viel

Hindi† (42,1 % gegenüber 34,4 %), Thailändisch (24,6 % gegenüber 20,8 %), Chinesisch (vereinfacht) (16,8 % gegenüber 13,7 %), Malaiisch (9,8 % gegenüber 7,1 %), Vietnamesisch (10,3 % gegenüber 9,8 %), Indonesisch (7,8 % gegenüber 7,4 %), Türkisch (15,5 % gegenüber 15,2 %), Griechisch (11,3 % gegenüber 11,2 %), Französisch (10,1 % gegenüber 10,0 %). Bei dieser Stichprobengröße ist nicht jeder so kleine Abstand einzeln signifikant; entscheidend ist die Richtung, die sich aus der Größe allein nicht vorhersagen ließe. Das nächstgrößere Modell zu nehmen, ist kein sicherer Standard.

Extreme

Am leichtesten und am schwersten

Bestes Ergebnis: Spanisch, 2,8 %.

Die höchste Fehlerrate, die kein Modell verbessert, hat Hebräisch†; sie sinkt in keiner getesteten Konfiguration unter 48,3 %. Laut Korrektur ist diese Lesart für Schriften mit kombinierenden Zeichen wie Hebräisch nicht belastbar; betrachten Sie sie daher als unbestätigt, bis die korrigierte Messreihe auf dieser Seite steht.

Rücknahme

Eine Rücknahme, an Ort und Stelle belassen

Rücknahme

Eine frühere Fassung dieser Messreihe meldete large-v3 für Ukrainisch als signifikant besser als den Standard. Das war falsch. Gemessen wurde mit Beam 5, dem Standard von whisper-cli, aber nicht dem, was die App ausliefert. Mit Greedy, der tatsächlich verwendeten Einstellung, erneut gemessen, liegen der Standard und v3 gleichauf. Der Unterschied lag am Decoder, nicht am Modell. Die Rücknahme steht hier, statt stillschweigend gelöscht zu werden, weil die Decoder-Einstellung genau die Variable ist, die die meisten Vergleiche lokaler Whisper-Modelle unerwähnt lassen.

Die Daten

Die vollständige Tabelle, die Methode und die Grenzen

Die vollständige Tabelle, die Methode und die Grenzen sind eingeklappt: Öffnen Sie einen Abschnitt.

Fehlerrate nach Sprache und Modell (29 Sprachen, 6 Modelle)

Sprache	Messgröße	tiny 75 MB	small 466 MB	turbo-q5 547 MB	turbo 1,6 GB	v3-q5 1,0 GB	v3 3 GB
Arabisch† ar-SA	WER	67,0 %	36,9 %	22,9 %	22,4 %	22,3 %	22,2 % ●
Chinesisch (vereinfacht) zh-Hans	CER	55,0 %	24,8 %	13,7 %	16,8 %	13,1 %	12,6 % ●
Tschechisch cs	WER	84,0 %	40,4 %	13,2 %	12,8 %	13,1 %	11,9 % ●
Dänisch da	WER	87,2 %	35,0 %	13,4 %	13,0 %	12,6 % ●	13,3 %
Niederländisch nl-NL	WER	74,8 %	28,8 %	10,8 %	9,8 %	8,3 % ●	8,4 %
Englisch en-US	WER	31,9 %	10,7 %	9,1 %	8,9 %	7,0 % ●	8,9 %
Finnisch fi	WER	64,4 %	31,8 %	10,8 %	10,1 %	7,7 % ●	7,7 % ●
Französisch fr-FR	WER	50,1 %	26,1 %	10,0 %	10,1 %	7,7 %	7,5 % ●
Deutsch de-DE	WER	35,0 %	11,9 %	5,2 %	4,7 % ●	5,2 %	5,2 %
Griechisch el	WER	74,7 %	32,9 %	11,2 % ●	11,3 %	11,8 %	12,3 %
Hebräisch† he	WER	81,9 %	63,2 %	51,0 %	48,4 %	48,3 % ●	48,3 % ●
Hindi† hi	WER	100,0 %	68,3 %	34,4 %	42,1 %	33,4 %	32,4 % ●
Ungarisch hu	WER	84,8 %	48,7 %	17,9 %	17,9 %	17,0 %	16,3 % ●
Indonesisch id	WER	59,2 %	21,8 %	7,4 % ●	7,8 %	8,1 %	9,4 %
Italienisch it	WER	31,8 %	8,2 %	4,0 %	2,9 % ●	4,6 %	4,5 %
Japanisch ja	CER	54,3 %	25,4 %	18,5 %	15,6 %	14,2 % ●	17,0 %
Koreanisch ko	CER	33,9 %	24,6 %	11,3 %	11,3 %	9,4 % ●	9,5 %
Malaiisch ms	WER	62,5 %	25,1 %	7,1 %	9,8 %	6,0 %	5,9 % ●
Norwegisch no	WER	64,0 %	24,2 %	10,0 %	9,8 % ●	10,0 %	9,8 % ●
Polnisch pl	WER	57,0 %	17,7 %	6,7 %	6,4 % ●	7,4 %	7,6 %
Portugiesisch (BR) pt-BR	WER	25,4 %	7,9 %	5,2 %	5,1 %	5,0 %	4,9 % ●
Rumänisch ro	WER	79,1 %	33,4 %	10,2 %	9,9 %	9,5 %	9,2 % ●
Russisch ru	WER	38,7 %	12,9 %	6,4 %	6,3 % ●	6,8 %	7,3 %
Spanisch es-ES	WER	19,3 %	7,0 %	3,5 %	3,5 %	3,0 %	2,8 % ●
Schwedisch sv	WER	57,2 %	21,4 %	8,3 %	8,1 %	7,1 % ●	7,3 %
Thailändisch th	CER	62,4 %	27,5 %	20,8 %	24,6 %	13,2 %	12,6 % ●
Türkisch tr	WER	62,1 %	30,5 %	15,2 %	15,5 %	13,1 % ●	13,5 %
Ukrainisch uk	WER	68,3 %	39,2 %	23,1 %	21,0 % ●	23,3 %	23,1 %
Vietnamesisch vi	WER	64,1 %	26,6 %	9,8 % ●	10,3 %	10,2 %	10,2 %

So wurde gemessen

Sechs Whisper-Modellvarianten transkribierten denselben Korpus gelesener Sprache in 29 Sprachen, in jeder Sprache, in der der Eintrag von Lesskeys im App Store erscheint, auf Apple Silicon, mit denselben Decoder-Einstellungen wie die App selbst (Greedy, keine Beam-Suche). Angegeben ist die Wortfehlerrate, außer bei Japanisch, Koreanisch, Thailändisch und Chinesisch, wo Wörter nicht durch Leerzeichen getrennt sind und stattdessen die Zeichenfehlerrate verwendet wird. Niedriger ist besser.

● markiert das beste Modell für die jeweilige Sprache. Die hervorgehobene Spalte ist das Modell mit 547 MB, der Standard in Lesskeys 3.1.4 und die Basis für alles oben. † markiert eine Zeile, die neu gemessen wird. Auf dem Smartphone lässt sich die Tabelle seitlich scrollen; die Sprache bleibt dabei sichtbar.

Die Grenzen dieses Tests

Ein Abschnitt pro Sprache (etwa 1.000 Wörter, bei den Sprachen mit Zeichenfehlerrate etwa 2.000 Zeichen). Genug, um große Unterschiede zu trennen, nicht genug, um kleine zu beurteilen. Wo diese Seite sagt, ein Modell „hält stand“, lesen Sie das als bei dieser Stichprobengröße nicht getrennt, nicht als erwiesen identisch.
whisper-cli mit den Kontext- und Decoder-Einstellungen der App, nicht die vollständige Lesskeys-Pipeline, die Sprachaktivitätserkennung, einen Halluzinationsfilter, Lautstärkenormalisierung und eine Sprachbegrenzung ergänzt. Diese Pipeline misst die Tabelle nicht.
Gelesene Sprache, keine Besprechungen. Gesprächsaudio und überlappendes Sprechen sind deutlich schwieriger.
Die absoluten Raten sind etwas überhöht durch Unterschiede bei der Formatierung von Zahlen und Satzzeichen, die ein menschlicher Leser nicht als Fehler zählen würde. Vergleiche zwischen Modellen derselben Sprache sind der verlässliche Teil; Vergleiche zwischen Sprachen sind unschärfer.

Fragen

Fragen zur Whisper-Genauigkeit nach Sprache

Welches Whisper-Modell sollte ich am Mac nutzen?

In 23 der 29 gemessenen Sprachen ist das quantisierte Large-V3-Turbo-Modell mit 547 MB so genau wie alles Größere, es ist also der sinnvolle Standard. Die Ausnahmen stehen auf dieser Seite; in diesen Sprachen lohnt sich der zusätzliche Download des Modells v3-q5 mit 1,0 GB.

Schadet das Quantisieren der Genauigkeit eines Whisper-Modells?

Kaum. Über alle 29 Sprachen schlägt das Modell mit voller Genauigkeit und 3 GB das quantisierte Modell mit 1,0 GB nie um mehr als 1,2 Prozentpunkte, und der quantisierte Standard mit 547 MB hält in den meisten Sprachen mit viel größeren Modellen mit.

Ist ein größeres Whisper-Modell immer genauer?

Nein. Das Turbo-Modell mit 1,6 GB schneidet in 9 der 29 gemessenen Sprachen numerisch schlechter ab als der Standard mit 547 MB. Die Modellgröße ist kein verlässlicher Maßstab für die Genauigkeit in einer bestimmten Sprache.

Wurde das in der Cloud gemessen?

Nein. Jede Zahl wurde lokal auf Apple Silicon ermittelt, und genauso läuft auch die Transkription in Lesskeys: Das Audio verlässt den Rechner nie.

Mehr