Lesskeysأي نموذج Whisper ينبغي أن تشغّله على الماك؟
شغّل Large V3 Turbo Q5. في اختبارنا تعادل في أفضل دقة بين ستة نماذج Whisper (ضمن 13 كلمة من الأفضل، من أصل 6,086)، وهو أصغر تنزيل في تلك المجموعة بحجم 574 MB، ويعمل بسرعة 12 ضعف الزمن الحقيقي على Apple M1 Max.
macOS 13+ على Apple Silicon · بلا اشتراك
آخر مراجعة
هذا الدليل للماك. أما على Windows فراجع تشغيل Whisper على Windows.
الجواب
احصل على Large V3 Turbo Q5
تعادل في أفضل دقة بين ستة نماذج Whisper، وهو أصغر تنزيل في المجموعة المتعادلة.
- 4 نماذجمتعادلة في الدقة
- 574 MBتنزيل (547 MB في التطبيق)
- 12ضعف الزمن الحقيقي
ضمن 13 كلمة من الأفضل، من أصل 6,086. ساعة من الصوت تستغرق نحو خمس دقائق على Apple M1 Max. الأحجام هنا هي أحجام ملفات مقيسة بالوحدات العشرية؛ ويسمّي التطبيق الملف نفسه 547 MB. خارج الإنجليزية تختلف بعض اللغات: دقة Whisper في 29 لغة.
التعادل
الأكبر يكلّف أكثر ولم يعد بشيء
الدقة نفسها ضمن 13 كلمة تكلّف 5.4 أضعاف في التنزيل، ويعمل أبطأ بمقدار 1.6 مرة.
أكبر نموذج متعادل هو Large V3 بحجم 3.1 GB. والنزول إلى نموذج أصغر يكلّف دقة حقيقية: يخطئ Small في 75 كلمة إضافية عن الأفضل، ويخطئ Tiny بما يعادل 3 أضعافه.
فروق حقيقية
أين الفروق حقيقية
يخطئ Tiny بمقدار 3 أضعاف الأفضل: 418 مقابل 141.
هذا نوع آخر من النصوص، لا نص أسوأ قليلًا. ما زال يناسب سجلًا تقريبيًا قابلًا للبحث يُنجز على عجل من تنزيل صغير، لكنه الاختيار الخطأ حين يكون النص هو السجل نفسه.
النماذج الأدنى من المجموعة المتعادلة
- Small: 3.55%، أي 75 خطأ إضافيًا عن الأفضل؛ بسرعة 35 ضعف الزمن الحقيقي مقابل 12 لنموذج Large V3 Turbo Q5، وبحجم 488 MB
- Tiny: 6.87%، أي 277 خطأ إضافيًا عن الأفضل؛ بسرعة 89 ضعف الزمن الحقيقي مقابل 12 لنموذج Large V3 Turbo Q5، وبحجم 78 MB
ملف أصغر
هل يكلّف الملف الأصغر دقةً؟
ليس بقدر ما استطعنا قياسه.
- Large V3 Turbo Q5 مقابل Large V3 Turbo: 574 MB مقابل 1.6 GB (أصغر بمقدار 2.8 مرة)، و4 أخطاء إضافية من أصل 6,086 كلمة (154 مقابل 150)
- Large V3 Q5 مقابل Large V3: 1.1 GB مقابل 3.1 GB (أصغر بمقدار 2.9 مرة)، وخطأين أقل من أصل 6,086 كلمة (141 مقابل 143)
هذا سبب لتجربة التكميم على صوتك أنت، لا قانون عام.
ما لم يُختبر
ما لا يخبرك به هذا الاختبار
LibriSpeech test-clean هي الحالة السهلة: كلام مقروء من كتب صوتية.
- لا اجتماعات ولا مكالمات هاتفية
- لا تداخل أصوات ولا ضجيج
- لا جهاز ماك آخر: Apple M1 Max فقط
- لا تسميات متحدثين
الاجتماعات الحقيقية أصعب، وكل رقم سيكون أسوأ فيها: هذه أرقام الحالة الأسهل، لا وعدًا بشأن اجتماع فريقك القادم. وقد يتوقف النموذج مبكرًا في ملف طويل في بعض اللغات ثم يعلن النجاح: عندما يتوقف Whisper مبكرًا.
البيانات
الجدول الكامل وكيفية إعادة إنتاج الاختبار
الأخطاء والسرعة وحجم التنزيل لكل نموذج، مع المنهج، على بعد نقرة واحدة.
جدول النتائج الكامل
شغّلنا ستة من نماذج Whisper التي يقدّمها Lesskeys على المقاطع الـ300 نفسها (37 دقيقة من الصوت) من LibriSpeech test-clean، مجموعة الاختبار العامة القياسية التي تأتي بنصوصها البشرية. حسبنا معدل الخطأ في الكلمات مقابل تلك النصوص، وقِسنا زمن كل تشغيل، وسجّلنا حجم التنزيل. الخطأ الأقل أفضل؛ ويُرسم الشريط بنسبة أكبر قيمة في عموده.
ستة نماذج Whisper على 6,086 كلمة من LibriSpeech test-clean (Apple M1 Max)
| النموذج | معدل الخطأ في الكلمات | الأخطاء | السرعة | التحميل |
|---|---|---|---|---|
| Large V3 Q5 ● | 2.32% | 141 / 6,086 كلمة | 7 أضعاف الزمن الحقيقي | 1.1 GB |
| Large V3 ● | 2.35% | 143 / 6,086 كلمة | 7 أضعاف الزمن الحقيقي | 3.1 GB |
| Large V3 Turbo ● | 2.46% | 150 / 6,086 كلمة | 12 ضعف الزمن الحقيقي | 1.6 GB |
| نموذج Large V3 Turbo Q5 ● | 2.53% | 154 / 6,086 كلمة | 12 ضعف الزمن الحقيقي | 574 MB |
| Small | 3.55% | 216 / 6,086 كلمة | 35 ضعف الزمن الحقيقي | 488 MB |
| Tiny | 6.87% | 418 / 6,086 كلمة | 89 ضعف الزمن الحقيقي | 78 MB |
قيس على Apple M1 Max باستخدام whisper.cpp مع GPU عبر Metal وتفعيل flash attention، وبإعدادات whisper.cpp الافتراضية (حجم الحزمة 5)، واللغة مفروضة على en، و8 خيوط معالجة. العلامة ● تشير إلى النماذج التي نعدّها متعادلة في الأفضل. معنى «89 ضعف الزمن الحقيقي» أن ساعة من الصوت تُفرَّغ في نحو دقيقة واحدة. الأحجام في هذا الجدول هي أحجام ملفات مقيسة بالوحدات العشرية، لذلك تختلف عن التسميات في التطبيق وفي الصفحات الأخرى: ملف Large V3 Turbo Q5 البالغ 574 MB هو 547 MB هناك، وSmall هو 466 MB (هنا 488 MB)، وTiny هو 75 MB (هنا 78 MB)، وLarge V3 Q5 هو 1.0 GB وLarge V3 هو 3 GB.
هل أفضل 4 نماذج متعادلة فعلًا؟
أنهت Large V3 Q5 وLarge V3 وLarge V3 Turbo وLarge V3 Turbo Q5 ضمن 13 كلمة بينها على 6,086 كلمة من النص المرجعي. هذا هو حدّ الضجيج في القياس، لا فرقًا حقيقيًا. نعدّ أي نموذج ضمن 0.5 نقطة مئوية من الأفضل متعادلًا، لأن ضجيج الترتيب كان سيجعل هذه الصفحة تبدو أكثر حسمًا وأقل صدقًا.
كيف تعيد إنتاج هذا الاختبار
مجموعة البيانات عامة (OpenSLR)، والنماذج هي بنى ggml القياسية من Whisper، وأداة الاختبار ملف Python واحد. تُختار العيّنة اختيارًا حتميًا (معرّفات المقاطع مرتبة، وبخطوة متساوية، دون بذرة عشوائية)، فيختار أي تشغيل مستقل المقاطع نفسها.
أداة التطبيع المستخدمة في التقييم هي الجزء الجدير بالفحص، لأن معدل الخطأ في الكلمات لا معنى له بدونها. وأداتنا تتجاهل الفروق التي هي تنسيق لا تعرّف (حالة الأحرف، وعلامات الترقيم، والشرطات، و23 مقابل twenty three، وMr. مقابل mister) ومع ذلك تحتسب كل استبدال وحذف وإدراج حقيقي. وتحميها إحدى عشرة حالة اختبار، بينها حالات تتحقق من أن الأخطاء الحقيقية لا تُمحى بالتطبيع. وبدون هذه الخطوة تُعاقَب النماذج على أسلوب الترقيم بدل الدقة.
أرقام السرعة تأتي من جهاز واحد؛ وستعطي شريحة Apple Silicon مختلفة نتائج مختلفة: الترتيب ينبغي أن يصمد، أما الأرقام المطلقة فلا. هذا يقيس نماذج التفريغ فقط، لا تسمية المتحدثين، وهي مرحلة منفصلة لها معدل خطئها الخاص.
الأسئلة
أسئلة عن اختيار نموذج Whisper
أي نموذج Whisper أستخدم على الماك؟
Large V3 Turbo Q5. في هذا الاختبار أنهت النماذج الكبيرة الـ4 ضمن فارق 13 كلمة بينها على 6,086 كلمة، فهي متعادلة في الدقة، وأصغرها تنزيلًا Large V3 Turbo Q5 بحجم 574 MB، ويعمل بسرعة 12 ضعف الزمن الحقيقي.
هل أكبر نموذج Whisper هو الأدق؟
ليس بما يمكن قياسه. حجم Large V3 هو 3.1 GB، أي 5.4 أضعاف تنزيل Large V3 Turbo Q5، وجاءت نتيجته ضمن 13 كلمة منه على 6,086 كلمة، بينما يعمل أبطأ بمقدار 1.6 مرة.
هل نموذج Whisper المكمَّم أسوأ؟
ليس بما يمكن قياسه هنا. Large V3 Turbo Q5 أصغر بمقدار 2.8 مرة من Large V3 Turbo، وأخطأ في 4 كلمات إضافية من أصل 6,086. هذا ضمن هامش الضجيج في هذا القياس، فهو سبب لتجربة التكميم على صوتك أنت، لا ضمان بأنه لا يكلّف دقة أبدًا.
ما أفضل تطبيق لتفريغ الصوت باستخدام Whisper؟
لا يستطيع أي اختبار أن يتوّج تطبيقًا واحدًا. النماذج الـ4 الأولى تنتهي ضمن 13 كلمة من بعضها على 6,086 كلمة، فالنموذج الكامن وراء التطبيق لا يحسم الأمر تقريبًا. ما يفرّق بين التطبيقات هو ما إذا كانت تعمل على الجهاز، وما إذا كانت تفرّغ تسجيلات موجودة، وما إذا كانت تميّز من تحدّث.
المزيد