ความแม่นยำ ของ Whisper ใน 29 ภาษา
แถว ที่ อยู่ ระหว่าง วัด ใหม่
[^\w\s]\w
โมเดล 547 MB ยัง ใช้ได้ ดี
23 จาก 29ภาษา: ไม่ มี โมเดล ที่ ใหญ่ กว่า ตัวใด ดีกว่า อย่าง ชัดเจน - 6
ภาษา ที่ โมเดล ใหญ่ กว่า คุ้ม กับ ขนาด 9 จาก 29ภาษา ที่ โมเดล turboขนาด 1.6 GBได้ คะแนน แย่ กว่า
เมื่อ โมเดล ที่ ใหญ่ กว่า คุ้ม กับ ขนาด
| 20.8% | v3: 12.6% | ||
| 18.5% | v3-q5: 14.2% | ||
| 10.8% | v3-q5: 7.7% | ||
| 10.0% | v3: 7.5% | ||
| 10.8% | v3-q5: 8.3% | ||
| 11.3% | v3-q5: 9.4% |
v3-q5v3
โมเดล ที่ ใหญ่ กว่า ไม่ ได้ แม่นยำ กว่า เสมอไป
ภาษา ไหน บ้าง และ ต่างกัน เท่าไร
ง่าย ที่สุด และ ยาก ที่สุด
การถอน ข้อความ ที่เก็บ ไว้ ที่ เดิม
large-v3whisper-cliv3
ตารางเต็ม วิธีวัด และ ข้อจำกัด
อัตราความผิดพลาดแยก ตาม ภาษา และ โมเดล (29 ภาษา 6 โมเดล)
| tiny 75 MB | small 466 MB | turbo-q5 547 MB | turbo 1.6 GB | v3-q5 1.0 GB | v3 3 GB | ||
|---|---|---|---|---|---|---|---|
| WER | 67.0% | 36.9% | 22.9% | 22.4% | 22.3% | 22.2% ● | |
| CER | 55.0% | 24.8% | 13.7% | 16.8% | 13.1% | 12.6% ● | |
| WER | 84.0% | 40.4% | 13.2% | 12.8% | 13.1% | 11.9% ● | |
| WER | 87.2% | 35.0% | 13.4% | 13.0% | 12.6% ● | 13.3% | |
| WER | 74.8% | 28.8% | 10.8% | 9.8% | 8.3% ● | 8.4% | |
| WER | 31.9% | 10.7% | 9.1% | 8.9% | 7.0% ● | 8.9% | |
| WER | 64.4% | 31.8% | 10.8% | 10.1% | 7.7% ● | 7.7% ● | |
| WER | 50.1% | 26.1% | 10.0% | 10.1% | 7.7% | 7.5% ● | |
| WER | 35.0% | 11.9% | 5.2% | 4.7% ● | 5.2% | 5.2% | |
| WER | 74.7% | 32.9% | 11.2% ● | 11.3% | 11.8% | 12.3% | |
| WER | 81.9% | 63.2% | 51.0% | 48.4% | 48.3% ● | 48.3% ● | |
| WER | 100.0% | 68.3% | 34.4% | 42.1% | 33.4% | 32.4% ● | |
| WER | 84.8% | 48.7% | 17.9% | 17.9% | 17.0% | 16.3% ● | |
| WER | 59.2% | 21.8% | 7.4% ● | 7.8% | 8.1% | 9.4% | |
| WER | 31.8% | 8.2% | 4.0% | 2.9% ● | 4.6% | 4.5% | |
| CER | 54.3% | 25.4% | 18.5% | 15.6% | 14.2% ● | 17.0% | |
| CER | 33.9% | 24.6% | 11.3% | 11.3% | 9.4% ● | 9.5% | |
| WER | 62.5% | 25.1% | 7.1% | 9.8% | 6.0% | 5.9% ● | |
| WER | 64.0% | 24.2% | 10.0% | 9.8% ● | 10.0% | 9.8% ● | |
| WER | 57.0% | 17.7% | 6.7% | 6.4% ● | 7.4% | 7.6% | |
| WER | 25.4% | 7.9% | 5.2% | 5.1% | 5.0% | 4.9% ● | |
| WER | 79.1% | 33.4% | 10.2% | 9.9% | 9.5% | 9.2% ● | |
| WER | 38.7% | 12.9% | 6.4% | 6.3% ● | 6.8% | 7.3% | |
| WER | 19.3% | 7.0% | 3.5% | 3.5% | 3.0% | 2.8% ● | |
| WER | 57.2% | 21.4% | 8.3% | 8.1% | 7.1% ● | 7.3% | |
| CER | 62.4% | 27.5% | 20.8% | 24.6% | 13.2% | 12.6% ● | |
| WER | 62.1% | 30.5% | 15.2% | 15.5% | 13.1% ● | 13.5% | |
| WER | 68.3% | 39.2% | 23.1% | 21.0% ● | 23.3% | 23.1% | |
| WER | 64.1% | 26.6% | 9.8% ● | 10.3% | 10.2% | 10.2% |
วิธีวัด
ข้อจำกัด ของ การทด สอบ นี้
หนึ่ง ช่วงเสียง ต่อ ภาษา (ประมาณ 1,000คำ หรือ ประมาณ 2,000ตัวอักษร สำหรับ ภาษา ที่วัด ระดับ ตัวอักษร) พอ แยก ความต่าง ที่ ใหญ่ ได้ แต่ ไม่ พอ ตัดสิน ความต่าง เล็ก ๆ เมื่อ หน้า นี้ บอก ว่า โมเดล “ยัง ใช้ได้ ดี” ให้ อ่าน ว่า แยกกัน ไม่ ออก ที่ ขนาด ตัวอย่าง นี้ ไม่ ใช่ พิสูจน์ แล้ว ว่า เหมือนกัน - whisper-cli
ด้วย การตั้งค่า บริบท และ การถอดรหัส ของ แอป ไม่ ใช่ ไปป์ไลน์ เต็ม ของ Lesskeysซึ่ง เพิ่ม การตรวจจับ ช่วง ที่ มีเสียง พูด ตัวกรอง ข้อความ หลอน การปรับระดับ เสียง และ การจำกัด ภาษา ตาราง นี้ ไม่ ได้ วัด ไปป์ไลน์ นั้น เป็น เสียงอ่าน ไม่ ใช่ การประชุม เสียง สนทนา และ เสียงพูด ทับกัน ยาก กว่า มาก อัตรา สัมบูรณ์ สูง เกิน จริงอยู่ บ้าง จาก ความต่าง ด้าน รูปแบบ ของ ตัวเลข และ เครื่องหมายวรรคตอนที่ คนอ่าน จะ ไม่ นับ เป็น ข้อผิดพลาด ส่วน ที่เชื่อถือได้ คือ การเปรียบ เทียบ ระหว่าง โมเดล ใน ภาษา เดียวกัน การเปรียบ เทียบระหว่าง ภาษา มี ความคลาดเคลื่อนมากกว่า