Lesskeysजब Whisper जल्दी रुक जाता है और कहता है कि पूरा हुआ
Whisper मॉडल रिकॉर्डिंग के बीच में रुक सकता है और फिर भी सफलता बता सकता है: हमारे परीक्षण में 143 में से 10 रन ऐसे थे। लौटे ट्रांसक्रिप्ट की मात्रा की तुलना ऑडियो की अवधि से करने पर यह पकड़ में आ जाता है, किसी संदर्भ ट्रांसक्रिप्ट के बिना।
Apple Silicon पर macOS 13+ · कोई सब्सक्रिप्शन नहींWindows 10 और 11 · कोई सब्सक्रिप्शन नहीं
अंतिम समीक्षा:
यह क्या है
साइलेंट ट्रंकेशन क्या है
उसने जो टेक्स्ट बनाया वह सही था। वह बस रुक गया, और पाइपलाइन ने कहा कि काम पूरा हुआ।
स्पीच मॉडल गलत शब्द लौटा सकता है, या बीच में रुककर शुरुआती हिस्से का सही ट्रांसक्रिप्ट ऐसे थमा सकता है मानो वह पूरा हो। हमारे सबसे खराब रन, नॉर्वेजियन, में उसने 521 संदर्भ शब्दों में से 113 लौटाए, 30 मिनट की प्रोसेसिंग के बाद, और 9 सेगमेंट पर रुक गया। हमारी अपनी पाइपलाइन ने उस रन को COMPLETED लिख दिया: कोई त्रुटि नहीं, कोई चेतावनी नहीं, आंशिक नतीजे का कोई संकेत नहीं।
- 143 में से 10रन जल्दी रुक गए
- 22%सबसे खराब रन में ऑडियो का हिस्सा कवर हुआ
- 10 में से 9दोनों large-v3 फाइलों पर
कौन-से रन
कौन-सी भाषाएँ जल्दी रुक गईं
10 में से 9 दोनों large-v3 फाइलों पर हैं।
कवरेज का मतलब है ट्रांसक्रिप्ट की लंबाई को संदर्भ की लंबाई से भाग देना: 1.00 पूरा ट्रांसक्रिप्ट है। हर पट्टी एक अधूरा रन है; डैश वाली रेखा 0.80 की सीमा है।
Large V3: 28 में से 5 रन
- नॉर्वेजियन0.22
- मलय0.32
- वियतनामी0.34
- कोरियाई0.40
- डच0.74
Large V3 Q5: 28 में से 4 रन
- चेक0.22
- पुर्तगाली (ब्राज़ील)0.35
- वियतनामी0.37
- मलय0.75
Large V3 Turbo Q5: 29 में से 1 रन
- हिंदी†0.72
हिंदी: स्कोरिंग से जुड़ी चेतावनी
† यह डिफॉल्ट मॉडल का रन है: 1,237 के संदर्भ के मुकाबले 886 इकाइयाँ। यह वही बढ़ी हुई गिनती है जिसका नाम 29 भाषाओं में Whisper की सटीकता पर दिया सुधार लेता है (हिंदी: 683 असली शब्दों के मुकाबले 1,237 इकाइयाँ, उस स्कोरर से जो शब्दों को संयोजक चिह्नों पर तोड़ देता था), इसलिए 0.72 का निरपेक्ष आँकड़ा भरोसेमंद नहीं है। लेकिन turbo के दूसरे दोनों मॉडलों ने उसी संदर्भ के मुकाबले 1,288 और 1,242 इकाइयाँ दीं (कवरेज 1.04 और 1.00), इसलिए डिफॉल्ट का रन उनसे 29 से 31 प्रतिशत छोटा था। सबसे संभावित पढ़त असली अधूरापन है, जैसा कि उस जॉब का अपना नतीजा-नोट भी दर्ज करता है। यह मैट्रिक्स के 12 GB वाले हिस्से में चला था (नीचे सीमाएँ देखिए)।
हमेशा छोटा, कभी लंबा नहीं
इस मैट्रिक्स का हर चरम खाना छोटा है, कभी लंबा नहीं। 143 में से एक भी रन अपने संदर्भ से आधे से ज़्यादा आगे नहीं निकला। यह दोहराव-लूप वाली विफलता का उलटा संकेत है, जिसमें मॉडल अटक जाता है और मिनटों तक वही वाक्यांश दोहराता है, और कवरेज संदर्भ का पाँच गुना या उससे ज़्यादा हो जाता है। दोनों विनाशकारी हैं और दोनों ऊपरी जाँच में अदृश्य रहती हैं, पर एक ही संख्या के चिह्न से उन्हें अलग पहचाना जा सकता है, इसी से एक ही जाँच दोनों को पकड़ लेती है।
इसे पकड़िए
संदर्भ के बिना इसे पकड़िए
लौटे ट्रांसक्रिप्ट की मात्रा की तुलना ऑडियो की अवधि से कीजिए।
शब्द त्रुटि दर के लिए संदर्भ ट्रांसक्रिप्ट चाहिए, जो प्रोडक्शन में आपके पास कभी नहीं होता। कवरेज को नहीं चाहिए। इस मैट्रिक्स में दोनों समूह साफ़ अलग हो जाते हैं:
| रन का प्रकार | रन | औसत कवरेज | औसत त्रुटि दर |
|---|---|---|---|
| अधूरे | 10 | 0.44 | 65.90% |
| सामान्य | 133 | 1.01 | 12.10% |
0.80 की सीमा डेटा में फिट नहीं की गई है: अधूरे रन में सबसे ऊँचा कवरेज 0.75 है और सामान्य रन में सबसे कम 0.82, इसलिए इस खाली पट्टी के भीतर की कोई भी सीमा वही जवाब देती है। प्रोडक्शन में: आखिरी लौटे सेगमेंट के टाइमस्टैंप की तुलना फाइल की अवधि से कीजिए, यूज़र की अपनी मशीन पर, बिना किसी और चीज़ के साथ मिलान किए।
त्रुटि दर
ट्रंकेशन त्रुटि दर को बढ़ा देता है
Large V3 का औसत 28 भाषाओं में 24.64% है; उसके 5 अधूरे रनों के बिना 15.25%।
उसकी त्रुटि दर का लगभग 9.4 अंक इसलिए नहीं है कि मॉडल ने कुछ गलत सुना। वह इसलिए है कि मॉडल वहाँ था ही नहीं।
ट्रंकेशन हटाने पर भी Large V3 छोटे turbo मॉडल की बराबरी नहीं कर पाता
ट्रंकेशन को निकालने पर भी Large V3, turbo के 834 MB क्वांटाइज़ेशन की बराबरी नहीं कर पाता, जिसका औसत सभी 29 भाषाओं में 9.16% है और जो एक बार भी अधूरा नहीं रहा। उन 28 भाषाओं में जो तीनों turbo रन में साझा हैं (हिंदी को छोड़कर), औसत Q8 के 8.59%, डिफॉल्ट के 8.71% और 1.6 GB turbo के 8.80% हैं, यानी एक-दूसरे से 0.2 अंक के भीतर, इसलिए सुर्खी वाले अंतर का ज़्यादातर हिस्सा एक हिंदी पंक्ति का है। आकार ने यहाँ न भरोसेमंदी का अनुमान दिया, न सटीकता का।
Mac पर
Lesskeys जो मॉडल देता है, उनके लिए इसका मतलब
App Store पर उपलब्ध वर्शन (3.1.4) के मॉडल पिकर में दोनों large-v3 फाइलें हैं, और 10 में से 9 अधूरे रन उन्हीं के हैं।
उस वर्शन में कवरेज की कोई जाँच नहीं है। ऊपर बताई गई जाँच उसके लिए एक प्रस्ताव है, जारी हो चुकी सुविधा नहीं।
15 अक्टूबर 2026 की स्थिति, App Store पर उपलब्ध वर्शन (3.1.4) के लिए
सीधे शब्दों में, क्योंकि यही इस पेज को फाइल में रखने के बजाय प्रकाशित करने लायक बनाता है:
- दोनों large-v3 आर्टिफैक्ट Lesskeys के मॉडल पिकर में दिए गए हैं, और 10 में से 9 अधूरे रन उन्हीं के हैं। “बड़ा डाउनलोड, बेहतर नतीजा” सोचकर चुनने वाला यूज़र सूची का सबसे कम भरोसेमंद विकल्प चुन रहा है।
- सबसे कम औसत त्रुटि (बाकी turbo रनों से जिसका अंतर ज़्यादातर एक हिंदी पंक्ति का है) और शून्य ट्रंकेशन वाला 834 MB क्वांटाइज़ेशन उस वर्शन के पिकर में नहीं है। इस परीक्षण में वह सिर्फ़ इसलिए पहुँच में था क्योंकि मॉडल डायरेक्टरी स्टार्टअप पर स्कैन होती है।
- डिफॉल्ट मॉडल (547 MB) 29 भाषाओं में एक बार अधूरा रहा, हिंदी पर (संभवतः असली ट्रंकेशन; कवरेज सूची के नीचे का नोट देखिए)। वह रन और चेक भाषा वाला Large V3 Q5 रन दोनों मैट्रिक्स के 12 GB वाले हिस्से में चले, जहाँ मेमोरी कम बची थी (सीमाएँ देखिए)।
- उस वर्शन में कवरेज की कोई जाँच नहीं है। ऊपर बताई गई जाँच उसके लिए एक प्रस्ताव है, जारी हो चुकी सुविधा नहीं। जब वह आएगी, यह हिस्सा चुपचाप हटाया नहीं जाएगा, दोबारा लिखा जाएगा।
Windows पर
Windows पर इसका मतलब
परीक्षण Mac ऐप में चलाया गया था। Windows ऐप इसका हिस्सा नहीं था।
जब वक्ता लेबल चालू होते हैं, तब Windows पर Lesskeys के पास ऐसे ट्रांसक्रिप्ट के लिए एक सुरक्षा जाल है जो ऐसी फाइल से खाली लौटे जिसमें बोला गया है: वह फाइल को बिना टाइमस्टैंप के दोबारा डीकोड करता है। बीच में रुके ट्रांसक्रिप्ट के लिए, जो इस पेज का मामला है, उसके पास कोई जाँच नहीं है। लंबी फाइल पर ट्रांसक्रिप्ट की आखिरी पंक्तियों को ऑडियो से मिलाकर पढ़िए, और देखिए कि ट्रांसक्रिप्ट का अंत रिकॉर्डिंग के अंत से मेल खाता है।
डेटा
तरीका, तालिका और सीमाएँ
रन कैसे किए गए और वे क्या नहीं बता सकते, सिमटे हुए रूप में।
ट्रंकेशन को कैसे मापा गया
large-v3 परिवार के 5 Whisper आर्टिफैक्ट, 29 भाषाओं में, 145 में से 143 खाने। ऑडियो FLEURS है, जिसका स्तर सामान्य किया गया है और जिसके टेक्स्ट में अंक नहीं हैं (प्रकाशित संदर्भ ट्रांसक्रिप्ट वाला पढ़ा हुआ भाषण), हर भाषा में लगभग 460 से 2,520 इकाइयाँ।
हर रन एक वर्चुअल मशीन पर, जिसमें macOS Sequoia चल रहा था, असली, रिलीज़ हो चुके ऐप से होकर गया, whisper-cli से नहीं। यह मायने रखता है: वॉइस-एक्टिविटी डिटेक्शन, हैलुसिनेशन फिल्टर, लाउडनेस नॉर्मलाइज़ेशन और भाषा क्लैंप, सब रास्ते में थे, ठीक वैसे जैसे यूज़र के पास होते हैं। हर रन में भाषा तय की गई थी और सभी 143 खानों में मानी गई; जो मॉडल असल में लोड हुआ वह सभी 143 में माँगे गए मॉडल से मेल खाता था। गायब दो खाने दोनों large-v3 आर्टिफैक्ट पर हिंदी के हैं, जो बिल्कुल पूरे नहीं हुए।
पाँच मॉडल: आकार, औसत त्रुटि, अधूरे रन
29 भाषाओं में large-v3 परिवार के पाँच Whisper आर्टिफैक्ट (जिन पंक्तियों में कोई रन अधूरा नहीं रहा, वे हाइलाइट हैं)
| मॉडल | आकार | भाषाएँ | औसत त्रुटि | माध्यिका | अधूरे रन |
|---|---|---|---|---|---|
| मॉडल Large V3 Turbo Q8 ● पिकर में नहीं | 834 MB | 29 | 9.16% | 6.80% | कोई नहीं |
| Large V3 Turbo | 1.6 GB | 29 | 9.52% | 7.23% | कोई नहीं |
| मॉडल Large V3 Turbo Q5 ● ऐप का डिफॉल्ट | 547 MB | 29 | 9.99% | 7.81% | 29 में से 1 |
| Large V3 | 3 GB | 28 | 24.64% | 15.80% | 28 में से 5 |
| Large V3 Q5 | 1.0 GB | 28 | 26.66% | 18.66% | 28 में से 4 |
इस परीक्षण की सीमाएँ
- पढ़ा हुआ भाषण, मीटिंग नहीं। FLEURS साफ़ रिकॉर्ड किया गया गद्य है। बातचीत वाला और एक-दूसरे पर चढ़ता ऑडियो काफ़ी कठिन होता है, और इन दरों को वह नहीं मानना चाहिए जो आपको असली कॉल पर मिलेगा।
- हर खाने में एक बार। 143 खाने, हर एक में एक रन। ट्रंकेशन दोनों large-v3 आर्टिफैक्ट पर और दो अलग जाँचों में दोहराया जा सका, पर यह मैट्रिक्स कोई दर स्थापित नहीं करता; यह स्थापित करता है कि ऐसा होता है।
- एक मशीन, दो मेमोरी आकार। खाने Apple Silicon की एक वर्चुअल मशीन पर चले, जिसकी मेमोरी पहले 33 खानों के लिए 12 GB और बाकी के लिए 24 GB थी; डिफॉल्ट मॉडल के सभी 29 खाने और Large V3 Q5 के पहले चार खाने (अरबी, चेक, डेनिश, जर्मन) 12 GB वाले हिस्से में चले। दो अधूरे रन इसी में आते हैं: डिफॉल्ट पर हिंदी (सबसे निचले बिंदु पर 241 MB मेमोरी उपलब्ध) और Large V3 Q5 पर चेक (60 MB)। बाकी हर अधूरे रन में 6,000 MB से ज़्यादा उपलब्ध थी। कम मेमोरी ने इन दो में योगदान दिया हो सकता है, और यह मैट्रिक्स उसे मॉडल से अलग नहीं कर सकता। डिकोडिंग ऐप्लिकेशन के फाइल-पाथ डिफॉल्ट पर छोड़ी गई थी, कमांड-लाइन टूल के नहीं।
- विराम-चिह्न और अक्षर-रूप (केस) के सामान्यीकरण के चुनावों की वजह से निरपेक्ष दरें कुछ बढ़ी हुई दिखती हैं। मॉडलों के बीच की तुलनाएँ ही भरोसे का हिस्सा हैं, निरपेक्ष प्रतिशत नहीं।
ट्रांसक्रिप्ट इस बार सहेजे गए। पिछले सर्वे में अगले रन के कॉन्फिगरेशन चरण ने उन्हें ओवरराइट कर दिया था, और ट्रंकेशन का अंदाज़ा शब्द गिनती से लगाना पड़ा, और यही कारण है कि वह इतने समय तक अनदेखा रहा। “ज़्यादा त्रुटि दर” और “जल्दी रुक गया” नतीजों की तालिका में एक जैसे दिखते हैं।
सवाल
Whisper के जल्दी रुकने के बारे में सवाल
स्पीच रिकग्निशन में साइलेंट ट्रंकेशन क्या है?
मॉडल ऑडियो के सिर्फ़ एक हिस्से का ट्रांसक्रिप्ट लौटाता है और आसपास की पाइपलाइन सफलता बता देती है। जो टेक्स्ट मौजूद होता है वह आमतौर पर सही होता है, इसलिए तब तक कुछ गलत नहीं दिखता जब तक कोई ट्रांसक्रिप्ट की तुलना रिकॉर्डिंग से न करे। इस मैट्रिक्स में इसने 143 में से 10 रन को प्रभावित किया, जिनमें 9 दोनों large-v3 आर्टिफैक्ट पर थे।
बिना संदर्भ के अधूरा ट्रांसक्रिप्ट कैसे पकड़ें?
जो लौटा उसकी तुलना उससे कीजिए जो अंदर गया: आखिरी सेगमेंट का अंतिम टाइमस्टैंप बनाम ऑडियो फाइल की अवधि, या ट्रांसक्रिप्ट की लंबाई बनाम अपेक्षित लंबाई। इनमें से किसी को भी संदर्भ ट्रांसक्रिप्ट नहीं चाहिए, और इसी से यह जाँच प्रोडक्शन में काम की बनती है। इस डेटा में अधूरे रन का औसत कवरेज 0.44 रहा, जबकि सामान्य रन का 1.01।
क्या बड़ा Whisper मॉडल बेहतर नतीजे देता है?
इस मैट्रिक्स में नहीं। दो सबसे बड़े आर्टिफैक्ट की औसत त्रुटि दर सबसे ऊँची रही और 10 में से 9 अधूरे रन उन्हीं के थे, जबकि turbo मॉडल के 834 MB क्वांटाइज़ेशन का औसत सबसे कम रहा (9.16%, हिंदी को अलग रखने पर दूसरे turbo रन से 0.2 अंक के भीतर) और वह कभी अधूरा नहीं रहा। यहाँ डाउनलोड का आकार न सटीकता का अनुमान दे सका, न भरोसेमंदी का।
क्या यह Whisper का बग है या ऐप का?
तय नहीं, और यह पेज जानने का दावा नहीं करता। जो मापा गया है वह यह है कि ऐसी स्थिति आती है और आसपास की पाइपलाइन ने उसे नहीं पहचाना। प्रस्तावित कवरेज गार्ड एप्लिकेशन परत पर एक उपाय है, यानी उस परत पर जो हमारे नियंत्रण में है; यह मूल कारण का निदान नहीं करता।
और