Lesskeys29 भाषाओं में Whisper की सटीकता
547 MB का Large V3 Turbo Q5 मॉडल चलाइए: 29 में से 23 भाषाओं में कोई भी बड़ा मॉडल उल्लेखनीय रूप से बेहतर नहीं था। हिंदी, अरबी और हिब्रू की पंक्तियाँ अपनी त्रुटि दरें बढ़ाकर दिखाती हैं और दोबारा मापी जा रही हैं, इसलिए उन्हें शीर्ष पर दिए सुधार के साथ पढ़िए।
Apple Silicon पर macOS 13+ · कोई सब्सक्रिप्शन नहीं
अंतिम समीक्षा:
यह गाइड Mac के लिए है। Windows के लिए Windows पर Whisper चलाना देखिए।
पहले यह पढ़िए
दोबारा मापी जा रही पंक्तियाँ
सुधार, दिनांक 28 अगस्त 2026
इस तालिका के पीछे का स्कोरर टेक्स्ट को [^\w\s] से सामान्य करता था, और Python का \w यूनिकोड के संयोजक चिह्नों से मेल नहीं खाता। इसलिए हर देवनागरी मात्रा, बंगाली नुक़्ता और अरबी उच्चारण-चिह्न (हरकत) की जगह एक स्पेस आ गया, और एक शब्द कई टुकड़ों में बँट गया। इसी पेज के संदर्भ पाठ पर मापने पर: तमिल में 437 असली शब्दों के मुकाबले 1,520 इकाइयाँ निकलीं, हिंदी में 683 के मुकाबले 1,237, असमिया में 498 के मुकाबले 1,220। लैटिन, सिरिलिक और CJK वाली पंक्तियाँ प्रभावित नहीं हैं, क्योंकि उन लिपियों में संयोजक चिह्न नहीं होते, और उन पर टिके निष्कर्ष भी नहीं।
इससे संदर्भ पाठ फूल जाता है और, क्योंकि टुकड़े आपस में मेल नहीं खा सकते, त्रुटियों की गिनती भी। इसलिए हिंदी, अरबी, हिब्रू और संयोजक चिह्न वाली दूसरी लिपियों की पंक्तियाँ त्रुटि दर को ऐसी मात्रा से बढ़ाकर दिखाती हैं जो हर भाषा में अलग है, और नीचे का “सबसे कठिन भाषा” वाला दावा इन पंक्तियों के लिए भरोसेमंद नहीं है। 83 भाषाओं का सुधरा हुआ सर्वे अभी चल रहा है और यह पेज उसी से दोबारा बनाया जाएगा।
इसे चुपचाप हटाने के बजाय यहाँ दर्ज किया गया है, उसी कारण से जिससे नीचे वापस लिया गया दावा दर्ज है: जो नॉर्मलाइज़र गैर-लैटिन लिपि को चुपचाप बिगाड़ दे, वही ऐसी विफलता है जिसके बारे में बहुभाषी बेंचमार्क के पाठक को बताया जाना चाहिए, और वह किसी प्रकाशित आँकड़े में दिखती नहीं।
स्थिति, 15 अक्टूबर 2026
नया माप 83 भाषाओं और छह मॉडलों को कवर करता है, फाइल ट्रांसक्रिप्शन और डिक्टेशन दोनों के लिए। यह अभी इस पेज पर नहीं है, क्योंकि पूरा नहीं हुआ है: इसके 996 टेस्ट रन में से 89 विफल हुए, सब सबसे बड़े मॉडलों पर और 17 भाषाओं में, और सभी रन में कंप्यूटर की मेमोरी की मात्रा या टेस्ट टूल का वर्शन एक जैसा नहीं था। जब तक यह पूरा नहीं होता, नीचे की तालिका वही 29-भाषा वाली तालिका है जिसका ऊपर ज़िक्र है, इसलिए † वाली पंक्तियों (हिंदी, अरबी और हिब्रू, जिनके नाम सुधार में दिए हैं) में अब भी बढ़ी हुई त्रुटि दरें हैं, और संयोजक चिह्न वाली दूसरी लिपियों में भी हो सकती हैं। लैटिन, सिरिलिक और CJK पंक्तियों की तुलनाएँ प्रभावित नहीं हैं।
जवाब
547 MB का मॉडल खरा उतरता है
29 में से 23 भाषाओं में सेट का कोई भी मॉडल 547 MB के डिफॉल्ट से उल्लेखनीय रूप से बेहतर नहीं है।
- 29 में से 23भाषाएँ: कोई बड़ा मॉडल साफ़ तौर पर बेहतर नहीं
- 6भाषाएँ जहाँ बड़ा मॉडल अपना आकार सही ठहराता है
- 29 में से 9भाषाएँ जहाँ 1.6 GB का turbo मॉडल बदतर रहता है
उल्लेखनीय का मतलब है डिफॉल्ट के मुकाबले दो-अनुपात z-परीक्षण में z ≤ −2। बाकी 23 को “अलग नहीं किए जा सके” मानिए, साबित बराबरी नहीं।
अपवाद
जहाँ बड़ा मॉडल अपना बड़ा आकार सही ठहराता है
अगर आप थाई, जापानी, फ़िनिश, फ़्रेंच, डच या कोरियाई में काम करते हैं, तो बड़ा डाउनलोड फ़ायदे का है।
| भाषा | डिफॉल्ट (547 MB) | बेहतर मॉडल | सुधार |
|---|---|---|---|
| थाई | 20.8% | v3: 12.6% | −8.2 अंक |
| जापानी | 18.5% | v3-q5: 14.2% | −4.3 अंक |
| फ़िनिश | 10.8% | v3-q5: 7.7% | −3.1 अंक |
| फ़्रेंच | 10.0% | v3: 7.5% | −2.5 अंक |
| डच | 10.8% | v3-q5: 8.3% | −2.5 अंक |
| कोरियाई | 11.3% | v3-q5: 9.4% | −1.9 अंक |
v3-q5 (1.0 GB) लगभग पूरा फ़ायदा दे देता है: 3 GB का v3 उससे कभी 1.2 प्रतिशत अंक से ज़्यादा बेहतर नहीं होता।
हमेशा बड़ा नहीं
बड़े मॉडल हमेशा ज़्यादा सटीक नहीं होते
1.6 GB का turbo मॉडल 29 में से 9 भाषाओं में 547 MB के डिफॉल्ट से संख्यात्मक रूप से बदतर है।
75 MB का मॉडल अंग्रेज़ी के बाहर इस्तेमाल लायक नहीं है: हिंदी† 100.0%, डेनिश 87.2%, हंगेरियन 84.8%, चेक 84.0%, हिब्रू† 81.9%।
कौन-सी भाषाएँ, और कितना अंतर
हिंदी† (42.1% बनाम 34.4%), थाई (24.6% बनाम 20.8%), चीनी (सरलीकृत) (16.8% बनाम 13.7%), मलय (9.8% बनाम 7.1%), वियतनामी (10.3% बनाम 9.8%), इंडोनेशियाई (7.8% बनाम 7.4%), तुर्की (15.5% बनाम 15.2%), ग्रीक (11.3% बनाम 11.2%), फ़्रेंच (10.1% बनाम 10.0%)। इतने छोटे अंतर इस नमूना आकार पर हर एक अलग से उल्लेखनीय नहीं हैं; मुद्दा दिशा है, जिसका अनुमान सिर्फ़ आकार से नहीं लगता। अगला बड़ा मॉडल ले लेना सुरक्षित डिफॉल्ट नहीं है।
दोनों छोर
सबसे आसान और सबसे कठिन
सबसे अच्छा नतीजा: स्पेनिश, 2.8%।
सबसे ऊँची त्रुटि दर, जिसे कोई मॉडल नहीं सुधारता, हिब्रू† की है, जो परखे गए किसी भी कॉन्फिगरेशन में 48.3% से नीचे नहीं जाती। सुधार कहता है कि संयोजक चिह्न वाली लिपियों, जैसे हिब्रू, के लिए यह पढ़त भरोसेमंद नहीं है, इसलिए सुधरा हुआ सर्वे इस पेज पर आने तक इसे अपुष्ट मानिए।
वापस लिया गया दावा
एक वापस लिया गया दावा, जो यहीं दर्ज रखा गया है
वापस लिया गया दावा
इस सर्वे के एक पुराने संस्करण में यूक्रेनी के लिए large-v3 को डिफॉल्ट से उल्लेखनीय रूप से बेहतर बताया गया था। वह गलत था। उसे beam 5 पर मापा गया था, जो whisper-cli का डिफॉल्ट है पर ऐप में इस्तेमाल नहीं होता। greedy पर, जो असली सेटिंग है, दोबारा चलाने पर डिफॉल्ट और v3 बिल्कुल बराबर निकलते हैं। अंतर डिकोडर का था, मॉडल का नहीं। इसे चुपचाप हटाने के बजाय यहाँ दर्ज किया गया है, क्योंकि डिकोडर की सेटिंग ही वह चर है जिसे लोकल Whisper की ज़्यादातर तुलनाएँ बिना बताए छोड़ देती हैं।
डेटा
पूरी तालिका, तरीका और सीमाएँ
पूरी तालिका, तरीका और सीमाएँ, सिमटे हुए रूप में: किसी को भी खोलिए।
भाषा और मॉडल के अनुसार त्रुटि दर (29 भाषाएँ, 6 मॉडल)
भाषा और मॉडल के अनुसार त्रुटि दर (29 भाषाएँ, 6 मॉडल)
| भाषा | मापदंड | tiny 75 MB | small 466 MB | turbo-q5 547 MB | turbo 1.6 GB | v3-q5 1.0 GB | v3 3 GB |
|---|---|---|---|---|---|---|---|
| अरबी† ar-SA | WER | 67.0% | 36.9% | 22.9% | 22.4% | 22.3% | 22.2% ● |
| चीनी (सरलीकृत) zh-Hans | CER | 55.0% | 24.8% | 13.7% | 16.8% | 13.1% | 12.6% ● |
| चेक cs | WER | 84.0% | 40.4% | 13.2% | 12.8% | 13.1% | 11.9% ● |
| डेनिश da | WER | 87.2% | 35.0% | 13.4% | 13.0% | 12.6% ● | 13.3% |
| डच nl-NL | WER | 74.8% | 28.8% | 10.8% | 9.8% | 8.3% ● | 8.4% |
| अंग्रेज़ी en-US | WER | 31.9% | 10.7% | 9.1% | 8.9% | 7.0% ● | 8.9% |
| फ़िनिश fi | WER | 64.4% | 31.8% | 10.8% | 10.1% | 7.7% ● | 7.7% ● |
| फ़्रेंच fr-FR | WER | 50.1% | 26.1% | 10.0% | 10.1% | 7.7% | 7.5% ● |
| जर्मन de-DE | WER | 35.0% | 11.9% | 5.2% | 4.7% ● | 5.2% | 5.2% |
| ग्रीक el | WER | 74.7% | 32.9% | 11.2% ● | 11.3% | 11.8% | 12.3% |
| हिब्रू† he | WER | 81.9% | 63.2% | 51.0% | 48.4% | 48.3% ● | 48.3% ● |
| हिंदी† hi | WER | 100.0% | 68.3% | 34.4% | 42.1% | 33.4% | 32.4% ● |
| हंगेरियन hu | WER | 84.8% | 48.7% | 17.9% | 17.9% | 17.0% | 16.3% ● |
| इंडोनेशियाई id | WER | 59.2% | 21.8% | 7.4% ● | 7.8% | 8.1% | 9.4% |
| इतालवी it | WER | 31.8% | 8.2% | 4.0% | 2.9% ● | 4.6% | 4.5% |
| जापानी ja | CER | 54.3% | 25.4% | 18.5% | 15.6% | 14.2% ● | 17.0% |
| कोरियाई ko | CER | 33.9% | 24.6% | 11.3% | 11.3% | 9.4% ● | 9.5% |
| मलय ms | WER | 62.5% | 25.1% | 7.1% | 9.8% | 6.0% | 5.9% ● |
| नॉर्वेजियन no | WER | 64.0% | 24.2% | 10.0% | 9.8% ● | 10.0% | 9.8% ● |
| पोलिश pl | WER | 57.0% | 17.7% | 6.7% | 6.4% ● | 7.4% | 7.6% |
| पुर्तगाली (ब्राज़ील) pt-BR | WER | 25.4% | 7.9% | 5.2% | 5.1% | 5.0% | 4.9% ● |
| रोमानियाई ro | WER | 79.1% | 33.4% | 10.2% | 9.9% | 9.5% | 9.2% ● |
| रूसी ru | WER | 38.7% | 12.9% | 6.4% | 6.3% ● | 6.8% | 7.3% |
| स्पेनिश es-ES | WER | 19.3% | 7.0% | 3.5% | 3.5% | 3.0% | 2.8% ● |
| स्वीडिश sv | WER | 57.2% | 21.4% | 8.3% | 8.1% | 7.1% ● | 7.3% |
| थाई th | CER | 62.4% | 27.5% | 20.8% | 24.6% | 13.2% | 12.6% ● |
| तुर्की tr | WER | 62.1% | 30.5% | 15.2% | 15.5% | 13.1% ● | 13.5% |
| यूक्रेनी uk | WER | 68.3% | 39.2% | 23.1% | 21.0% ● | 23.3% | 23.1% |
| वियतनामी vi | WER | 64.1% | 26.6% | 9.8% ● | 10.3% | 10.2% | 10.2% |
इसे कैसे मापा गया
छह Whisper मॉडल वेरिएंट ने 29 भाषाओं में एक ही पढ़े हुए भाषण के कॉर्पस को ट्रांसक्राइब किया, यानी उन सभी भाषाओं में जिनमें Lesskeys की App Store लिस्टिंग आती है, Apple Silicon पर, उन्हीं डिकोडर सेटिंग के साथ जो ऐप खुद इस्तेमाल करता है (greedy, बिना बीम सर्च)। दरें शब्द त्रुटि दर हैं, सिवाय जापानी, कोरियाई, थाई और चीनी के, जहाँ शब्द स्पेस से अलग नहीं होते और इसलिए अक्षर त्रुटि दर इस्तेमाल हुई है। जितनी कम, उतनी बेहतर।
● उस भाषा के सबसे अच्छे मॉडल को दिखाता है। हाइलाइट किया गया कॉलम 547 MB का मॉडल है, जो Lesskeys 3.1.4 में डिफॉल्ट है, और ऊपर की हर बात का आधार। † दोबारा मापी जा रही पंक्ति को दिखाता है। फोन पर तालिका को बगल में सरकाइए; भाषा दिखती रहती है।
इस परीक्षण की सीमाएँ
- हर भाषा का एक हिस्सा (करीब 1,000 शब्द, या अक्षर-त्रुटि वाली भाषाओं के लिए करीब 2,000 अक्षर)। बड़े अंतर अलग करने के लिए काफ़ी, छोटे अंतर बताने के लिए काफ़ी नहीं। जहाँ यह पेज कहता है कि कोई मॉडल “खरा उतरता है”, वहाँ इसे “इस नमूना आकार पर अलग नहीं किया जा सका” पढ़िए, साबित बराबरी नहीं।
- whisper-cli ऐप के कॉन्टेक्स्ट और डिकोड सेटिंग के साथ, पूरी Lesskeys पाइपलाइन नहीं, जो वॉइस-एक्टिविटी डिटेक्शन, हैलुसिनेशन फिल्टर, लाउडनेस नॉर्मलाइज़ेशन और भाषा क्लैंप जोड़ती है। यह तालिका उस पाइपलाइन को नहीं मापती।
- पढ़ा हुआ भाषण, मीटिंग नहीं। बातचीत वाला और एक-दूसरे पर चढ़ता ऑडियो काफ़ी कठिन होता है।
- निरपेक्ष दरें कुछ बढ़ी हुई दिखती हैं, संख्या और विराम-चिह्न के फॉर्मेट के उन अंतरों की वजह से जिन्हें इंसान पाठक गलती नहीं गिनता। एक ही भाषा में मॉडलों के बीच तुलना भरोसेमंद हिस्सा है; भाषाओं के बीच तुलना ज़्यादा शोर वाली है।
सवाल
भाषा के अनुसार Whisper की सटीकता के बारे में सवाल
मुझे Mac पर कौन-सा Whisper मॉडल चलाना चाहिए?
मापी गई 29 में से 23 भाषाओं में 547 MB का क्वांटाइज़्ड Large V3 Turbo मॉडल किसी भी बड़े मॉडल जितना ही सटीक है, इसलिए वही समझदारी भरा डिफॉल्ट है। अपवाद इसी पेज पर सूचीबद्ध हैं; उन भाषाओं में 1.0 GB का v3-q5 मॉडल अतिरिक्त डाउनलोड के लायक है।
क्या Whisper मॉडल को क्वांटाइज़ करने से सटीकता घटती है?
बहुत कम। सभी 29 भाषाओं में पूरी परिशुद्धता वाला 3 GB मॉडल 1.0 GB के क्वांटाइज़्ड मॉडल से कभी 1.2 प्रतिशत अंक से ज़्यादा बेहतर नहीं रहा, और 547 MB का क्वांटाइज़्ड डिफॉल्ट ज़्यादातर भाषाओं में कहीं बड़े मॉडलों की बराबरी करता है।
क्या बड़ा Whisper मॉडल हमेशा ज़्यादा सटीक होता है?
नहीं। 1.6 GB का turbo मॉडल मापी गई 29 में से 9 भाषाओं में 547 MB के डिफॉल्ट से संख्यात्मक रूप से बदतर रहा। किसी भाषा में सटीकता का भरोसेमंद पैमाना मॉडल का आकार नहीं है।
क्या यह क्लाउड में मापा गया था?
नहीं। हर आँकड़ा Apple Silicon पर लोकल तौर पर निकाला गया, और Lesskeys भी ट्रांसक्रिप्शन इसी तरह चलाता है: ऑडियो मशीन से बाहर नहीं जाता।
और