LesskeysMac पर कौन-सा Whisper मॉडल चलाना चाहिए?
Large V3 Turbo Q5 चलाइए। हमारे परीक्षण में छह Whisper मॉडलों में सटीकता के मामले में यह सबसे अच्छे के बराबर रहा (6,086 में से सबसे अच्छे से 13 शब्दों के भीतर), और उस समूह में सबसे छोटा डाउनलोड है, 574 MB, जो Apple M1 Max पर रीयल-टाइम से 12 गुना तेज़ चलता है।
Apple Silicon पर macOS 13+ · कोई सब्सक्रिप्शन नहीं
अंतिम समीक्षा:
यह गाइड Mac के लिए है। Windows के लिए Windows पर Whisper चलाना देखिए।
जवाब
Large V3 Turbo Q5 लीजिए
सटीकता में छह Whisper मॉडलों में यह सबसे अच्छे के बराबर रहा, और बराबरी वाले समूह में सबसे छोटा डाउनलोड है।
- 4 बराबरमॉडल, सटीकता में बराबर
- 574 MBडाउनलोड (ऐप में 547 MB)
- 12गुना रीयल-टाइम
6,086 में से सबसे अच्छे से 13 शब्दों के भीतर। Apple M1 Max पर एक घंटे के ऑडियो में लगभग पाँच मिनट लगते हैं। यहाँ आकार मापी गई फाइल के आकार हैं, दशमलव इकाइयों में; ऐप उसी फाइल को 547 MB लिखता है। अंग्रेज़ी से बाहर कुछ भाषाओं में फ़र्क है: 29 भाषाओं में Whisper की सटीकता।
बराबरी
बड़ा मॉडल ज़्यादा महँगा पड़ता है और बदले में कुछ नहीं देता
13 शब्दों तक वही सटीकता पाने की कीमत है 5.4 गुना डाउनलोड और 1.6 गुना धीमी गति।
बराबरी वाला सबसे बड़ा मॉडल 3.1 GB का Large V3 है। इससे छोटा जाने पर सटीकता सचमुच घटती है: Small सबसे अच्छे से 75 गलतियाँ ज़्यादा करता है, और Tiny 3 गुना।
असली फ़र्क
जहाँ फ़र्क असली हैं
Tiny सबसे अच्छे से 3 गुना गलतियाँ करता है: 141 के मुकाबले 418।
यह थोड़ा खराब नहीं, बल्कि दूसरी किस्म का ट्रांसक्रिप्ट है। जल्दी में, छोटे डाउनलोड से बनाए गए मोटे, खोजने लायक रिकॉर्ड के लिए यह अब भी ठीक है, और जब ट्रांसक्रिप्ट ही असली रिकॉर्ड हो, तब यह गलत चुनाव है।
बराबरी वाले समूह से नीचे के मॉडल
- Small: 3.55%, सबसे अच्छे से 75 गलतियाँ ज़्यादा; Large V3 Turbo Q5 के 12 के मुकाबले रीयल-टाइम से 35 गुना तेज़, 488 MB पर
- Tiny: 6.87%, सबसे अच्छे से 277 गलतियाँ ज़्यादा; Large V3 Turbo Q5 के 12 के मुकाबले रीयल-टाइम से 89 गुना तेज़, 78 MB पर
छोटी फाइल
क्या छोटी फाइल सटीकता घटाती है?
जितना हम माप सके, नहीं।
- Large V3 Turbo Q5 बनाम Large V3 Turbo: 574 MB बनाम 1.6 GB (2.8× छोटा), और 6,086 शब्दों में 4 गलतियाँ ज़्यादा (154 बनाम 150)
- Large V3 Q5 बनाम Large V3: 1.1 GB बनाम 3.1 GB (2.9× छोटा), और 6,086 शब्दों में 2 गलतियाँ कम (141 बनाम 143)
यह क्वांटाइज़ेशन को अपने ही ऑडियो पर परखने का कारण है, कोई सामान्य नियम नहीं।
परखा नहीं गया
यह क्या नहीं बताता
LibriSpeech test-clean आसान मामला है: पढ़कर रिकॉर्ड की गई ऑडियोबुक की आवाज़।
- मीटिंग या फोन कॉल नहीं
- एक-दूसरे की बात काटना या शोर नहीं
- कोई दूसरा Mac नहीं: सिर्फ़ Apple M1 Max
- वक्ता लेबल नहीं
असली मीटिंग ज़्यादा कठिन होती हैं, और उन पर हर आँकड़ा बदतर होगा: यह एक न्यूनतम सीमा है, आपके अगले स्टैंड-अप के बारे में कोई वादा नहीं। कुछ भाषाओं में लंबी फाइल पर मॉडल बीच में ही रुक सकता है और फिर भी सफलता बता सकता है: जब Whisper जल्दी रुक जाता है।
डेटा
पूरी तालिका और इसे दोहराने का तरीका
हर मॉडल की गलतियाँ, गति और डाउनलोड, साथ में तरीका, बस एक क्लिक दूर।
पूरे नतीजों की तालिका
Lesskeys जो Whisper मॉडल देता है, उनमें से छह को LibriSpeech test-clean के उन्हीं 300 वाक्यों (37 मिनट के ऑडियो) पर चलाया गया, जो मानक सार्वजनिक बेंचमार्क सेट है और अपने इंसानी ट्रांसक्रिप्ट के साथ आता है। हमने शब्द त्रुटि दर को उन्हीं ट्रांसक्रिप्ट के मुकाबले आँका, हर रन का समय मापा और डाउनलोड आकार दर्ज किया। कम त्रुटि बेहतर है; पट्टी अपने कॉलम के सबसे बड़े मान के अनुपात में खींची गई है।
LibriSpeech test-clean के 6,086 शब्दों पर छह Whisper मॉडल (Apple M1 Max)
| मॉडल | शब्द त्रुटि दर | गलतियाँ | गति | डाउनलोड |
|---|---|---|---|---|
| Large V3 Q5 ● | 2.32% | 141 / 6,086 शब्द | रीयल-टाइम से 7 गुना | 1.1 GB |
| Large V3 ● | 2.35% | 143 / 6,086 शब्द | रीयल-टाइम से 7 गुना | 3.1 GB |
| Large V3 Turbo ● | 2.46% | 150 / 6,086 शब्द | रीयल-टाइम से 12 गुना | 1.6 GB |
| मॉडल Large V3 Turbo Q5 ● | 2.53% | 154 / 6,086 शब्द | रीयल-टाइम से 12 गुना | 574 MB |
| Small | 3.55% | 216 / 6,086 शब्द | रीयल-टाइम से 35 गुना | 488 MB |
| Tiny | 6.87% | 418 / 6,086 शब्द | रीयल-टाइम से 89 गुना | 78 MB |
Apple M1 Max पर whisper.cpp के साथ मापा गया, Metal GPU और flash attention चालू, whisper.cpp के डिफॉल्ट (बीम साइज़ 5), भाषा en पर तय, 8 थ्रेड। ● उन मॉडलों को दिखाता है जिन्हें हम सबसे अच्छे के बराबर मानते हैं। “रीयल-टाइम से 89 गुना” का मतलब है कि एक घंटे का ऑडियो लगभग 1 मिनट में ट्रांसक्राइब होता है। इस तालिका के आकार मापी गई फाइल के आकार हैं, दशमलव इकाइयों में, इसलिए वे ऐप और दूसरे पेजों के लेबल से अलग हैं: Large V3 Turbo Q5 की 574 MB वाली फाइल वहाँ 547 MB है, Small 466 MB है (यहाँ 488 MB), Tiny 75 MB है (यहाँ 78 MB), Large V3 Q5 1.0 GB है और Large V3 3 GB।
क्या ऊपर के 4 मॉडल सचमुच बराबर हैं?
Large V3 Q5, Large V3, Large V3 Turbo और Large V3 Turbo Q5, संदर्भ टेक्स्ट के 6,086 शब्दों में एक-दूसरे से 13 शब्दों के भीतर रहे। यह माप का शोर-स्तर है, कोई अंतर नहीं। हम सबसे अच्छे से 0.5 प्रतिशत अंक के भीतर रहने वाले हर मॉडल को बराबर मानते हैं, क्योंकि रैंकिंग का शोर इस पेज को ज़्यादा निर्णायक दिखाता और कम सच्चा बनाता।
इस बेंचमार्क को दोहराने का तरीका
डेटासेट सार्वजनिक है (OpenSLR), मॉडल Whisper के मानक ggml बिल्ड हैं, और हार्नेस एक ही Python फाइल है। नमूना तय तरीके से चुना जाता है (क्रमबद्ध वाक्य आईडी, बराबर अंतराल पर, कोई रैंडम सीड नहीं), इसलिए स्वतंत्र रन वही वाक्य चुनता है।
स्कोरिंग नॉर्मलाइज़र वह हिस्सा है जो जाँचने लायक है, क्योंकि उसके बिना शब्द त्रुटि दर का कोई मतलब नहीं। हमारा नॉर्मलाइज़र उन अंतरों को नज़रअंदाज़ करता है जो पहचान के नहीं, फॉर्मेटिंग के हैं (बड़े-छोटे अक्षर, विराम-चिह्न, हाइफन, 23 बनाम twenty three, Mr. बनाम mister) और फिर भी हर असली प्रतिस्थापन, लोप और जोड़ को गिनता है। यह ग्यारह टेस्ट केस से बँधा है, जिनमें वे भी हैं जो पक्का करते हैं कि असली गलतियाँ नॉर्मलाइज़ होकर गायब न हों। इस चरण के बिना मॉडलों को सटीकता के बजाय विराम-चिह्न की शैली के लिए दंड मिलता।
गति के आँकड़े एक ही मशीन से आए हैं; दूसरी Apple Silicon चिप पर नतीजे कुछ और होंगे: क्रम वही रहना चाहिए, पर निरपेक्ष आँकड़े नहीं। यह सिर्फ़ ट्रांसक्रिप्शन मॉडलों को मापता है, वक्ता लेबल को नहीं, जो अपनी अलग त्रुटि दर वाला अलग चरण है।
सवाल
Whisper मॉडल चुनने के बारे में सवाल
मुझे अपने Mac पर कौन-सा Whisper मॉडल इस्तेमाल करना चाहिए?
Large V3 Turbo Q5। इस बेंचमार्क में 4 बड़े वेरिएंट 6,086 शब्दों में एक-दूसरे से 13 शब्दों के भीतर रहे, यानी सटीकता में बराबरी पर हैं, और उनमें Large V3 Turbo Q5 सबसे छोटा डाउनलोड है, 574 MB, और रीयल-टाइम से 12 गुना तेज़ चलता है।
क्या सबसे बड़ा Whisper मॉडल सबसे सटीक होता है?
मापने लायक अंतर नहीं। Large V3 का आकार 3.1 GB है, यानी Large V3 Turbo Q5 के डाउनलोड का 5.4 गुना, और 6,086 शब्दों में वह उससे 13 शब्दों के भीतर रहा, जबकि 1.6 गुना धीमा चला।
क्या क्वांटाइज़्ड Whisper मॉडल कमज़ोर होता है?
यहाँ मापने लायक फ़र्क नहीं। Large V3 Turbo Q5, Large V3 Turbo से 2.8 गुना छोटा है और 6,086 शब्दों में उसने 4 गलतियाँ ज़्यादा कीं। यह इस माप के शोर के भीतर है, इसलिए यह क्वांटाइज़ेशन को अपने ही ऑडियो पर परखने का कारण है, इस बात की गारंटी नहीं कि इससे सटीकता कभी नहीं घटती।
सबसे अच्छा Whisper ट्रांसक्रिप्शन ऐप कौन-सा है?
कोई बेंचमार्क किसी एक को विजेता नहीं बना सकता। 4 अग्रणी मॉडल 6,086 शब्दों में एक-दूसरे से 13 शब्दों के भीतर रहे, इसलिए अंदर चलने वाला मॉडल मुश्किल से ही तय करता है। ऐप्स को जो अलग करता है, वह यह है कि वे ऑन-डिवाइस चलते हैं या नहीं, पहले से मौजूद रिकॉर्डिंग ट्रांसक्राइब करते हैं या नहीं, और यह लेबल करते हैं या नहीं कि किसने बोला।
और