Lesskeys
ภาษา
คู่มือMac

ควรรันโมเดล Whisper ตัวไหน​บน Mac

คำตอบ​สั้น ๆ

รัน Large V3 Turbo Q5: ใน​การทด​สอบ​ของ​เรา โมเดล​นี้​มี​ความแม่นยำ​สูงสุด​ร่วมกับ​รุ่น​อื่น​จาก​โมเดล Whisper หกรุ่น (ห่าง​จาก​ตัวที่​ดี​ที่สุด​ไม่​เกิน 13 คำ​จาก 6,086 คำ) และ​มี​ขนาด​ดาวน์โหลด​เล็ก​ที่สุด​ใน​กลุ่ม​นั้นที่ 574 MB ถอด​เสียง​ได้ 12 เท่า​ของ​เวลาจริงบน Apple M1 Max

ดาวน์โหลด​สำหรับ Macดาวน์โหลด​สำหรับ Windows
ดาวน์โหลด​อื่น ๆ

macOS 13 ขึ้นไป​บน Apple Silicon · ไม่​มีค่า​บริการ​รายเดือน

ตรวจสอบ​ล่าสุด

คู่มือ​นี้​สำหรับ Mac หาก​ใช้ Windows ดูการรัน Whisper บน Windows

ภาพประกอบผล​จริง: แท่ง​แนวนอนหก​แท่ง หนึ่ง​แท่ง​ต่อโมเดล Whisper หนึ่ง​รุ่น วาด​ตาม​สัดส่วน​ของ​อัตราความผิดพลาด​ระดับ​คำ โมเดล 4 ตัวเสมอกัน​ที่​ดี​ที่สุด​และ​แสดง​เป็น​สี​เขียว ห่าง​กัน​ไม่​เกิน 13 คำ​จาก 6,086 คำ โดย Large V3 Turbo Q5 เล็ก​ที่สุด​ใน​กลุ่ม​และ​มี​ป้าย​ว่า รัน​ตัวนี้ ส่วน Small และ Tiny แสดง​เป็น​สีแดง​ด้วย​แท่ง​ที่​ยาว​กว่า
อัตราความผิดพลาด​ระดับ​คำบน LibriSpeech test-clean วัดบน Apple M1 Max ความยาว​ของ​แท่ง​เป็น​สัดส่วน​กับ​อัตราความผิดพลาด ขนาด​คือ​ขนาด​ไฟล์​ที่วัด​ได้​ใน​หน่วยทศนิยม แอป​แสดง Large V3 Turbo Q5 เป็น 547 MB

คำตอบ

ใช้ Large V3 Turbo Q5

โมเดล​นี้​มี​ความแม่นยำ​สูงสุด​ร่วมกับ​รุ่น​อื่น​จาก​โมเดล Whisper หกรุ่น และ​มี​ขนาด​ดาวน์โหลด​เล็ก​ที่สุด​ใน​กลุ่ม​ที่​เสมอกัน

  • เสมอกัน 4โมเดล ความแม่นยำ​เท่ากัน
  • 574 MBดาวน์โหลด (547 MB ใน​แอป)
  • 12เท่า​ของ​เวลาจริง

ห่าง​จาก​ตัวที่​ดี​ที่สุด​ไม่​เกิน 13 คำ​จาก 6,086 คำ เสียง​หนึ่ง​ชั่วโมง​ใช้เวลาราว​ห้า​นาทีบน Apple M1 Max ขนาด​ใน​หน้า​นี้​คือ​ขนาด​ไฟล์​ที่วัด​ได้​ใน​หน่วยทศนิยม ส่วน​แอประบุไฟล์​เดียวกัน​ว่า 547 MB นอก​ภาษาอังกฤษ​มี​ไม่​กี่​ภาษา​ที่​ต่าง​ออก​ไป: ความแม่นยำ​ของ Whisper ใน 29 ภาษา

เสมอกัน

ใหญ่​กว่า​แพง​กว่า และไม่​ได้​อะไร​กลับมา

ความแม่นยำ​เท่ากัน​ใน​ระดับ​ห่าง​ไม่​เกิน 13 คำ แต่​ต้อง​ดาวน์โหลด​ใหญ่​กว่า 5.4 เท่า​และ​รัน​ช้า​กว่า 1.6 เท่า

โมเดล​ที่​ใหญ่​ที่สุด​ใน​กลุ่ม​ที่​เสมอกัน​คือ Large V3 ขนาด 3.1 GB การเลือก​เล็กลง​ต้อง​แลก​กับ​ความแม่นยำ​จริง ๆ: Small ผิด​มากกว่า​ตัวที่​ดี​ที่สุด 75 คำ และ Tiny ผิด​มาก​เป็น 3 เท่า

ความต่าง​ที่แท้​จริง

ความต่าง​ที่แท้​จริงอยู่​ตรงไหน

Tiny ผิด​มาก​เป็น 3 เท่า​ของ​ตัวที่​ดี​ที่สุด: 418 คำเทียบ​กับ 141 คำ

นั่น​คือ​บทถอด​เสียง​คนละ​ประเภท ไม่​ใช่​แย่​กว่า​เพียง​เล็กน้อย ยัง​เหมาะกับ​บันทึก​คร่าว ๆ ที่​ค้นหา​ได้​ซึ่ง​ทำ​อย่าง​เร่งด่วน​จาก​ไฟล์​ดาวน์โหลด​เล็ก ๆ และ​ไม่​เหมาะ​เมื่อบทถอด​เสียง​นั้น​คือ​บันทึก​ฉบับ​หลัก

โมเดล​ที่อยู่​ต่ำกว่า​กลุ่ม​ที่​เสมอกัน
  • Small: 3.55% ผิด​มากกว่า​ตัวที่​ดี​ที่สุด 75 คำ ถอด​เสียง​ได้ 35 เท่า​ของ​เวลาจริง เทียบ​กับ 12 เท่า​ของ Large V3 Turbo Q5 ขนาด 488 MB
  • Tiny: 6.87% ผิด​มากกว่า​ตัวที่​ดี​ที่สุด 277 คำ ถอด​เสียง​ได้ 89 เท่า​ของ​เวลาจริง เทียบ​กับ 12 เท่า​ของ Large V3 Turbo Q5 ขนาด 78 MB

ไฟล์​ที่​เล็ก​กว่า

ไฟล์​ที่​เล็ก​กว่าเสีย​ความแม่นยำ​ไหม

เท่าที่​เรา​วัด​ได้ ไม่​เสีย

  • Large V3 Turbo Q5 เทียบ​กับ Large V3 Turbo: 574 MB เทียบ​กับ 1.6 GB (เล็ก​กว่า 2.8 เท่า) และผิด​เพิ่ม 4 คำ​จาก 6,086 คำ (154 เทียบ​กับ 150)
  • Large V3 Q5 เทียบ​กับ Large V3: 1.1 GB เทียบ​กับ 3.1 GB (เล็ก​กว่า 2.9 เท่า) และผิด​น้อยลง 2 คำ​จาก 6,086 คำ (141 เทียบ​กับ 143)

นี่​คือ​เหตุผล​ให้​ทดสอบ​การควอนไทซ์​กับ​เสียง​ของ​คุณ​เอง ไม่​ใช่กฎ​ทั่วไป

ที่​ไม่​ได้ทดสอบ

สิ่ง​ที่นี่บอก​คุณ​ไม่​ได้

LibriSpeech test-clean เป็น​กรณี​ที่​ง่าย คือ​เสียงอ่าน​หนังสือ​เสียง

  • ไม่​มี​การประชุม​หรือ​สายโทรศัพท์
  • ไม่​มีเสียง​พูดแทรก​กัน​หรือ​เสียงรบกวน
  • ไม่​มี Mac เครื่องอื่น: มี​แต่ Apple M1 Max
  • ไม่​มี​ป้ายชื่อ​ผู้พูด

การประชุม​จริง​ยาก​กว่า และ​ทุก​ตัวเลข​จะ​แย่​ลง: นี่​คือ​ค่า​ในกรณีที่​ดี​ที่สุด ไม่​ใช่​คำสัญญา​เกี่ยวกับ​การประชุม​รอบ​ถัดไป​ของ​คุณ โมเดล​ยัง​อาจหยุด​ก่อนจบไฟล์​ยาว​ใน​บาง​ภาษา​และ​ยัง​รายงาน​ว่า​สำเร็จ: เมื่อ Whisper หยุด​ก่อนจบ

ข้อมูล

ตารางเต็ม​และ​วิธีทำซ้ำ

ข้อผิดพลาด ความเร็ว และ​ขนาด​ดาวน์โหลด​ของ​ทุก​โมเดล พร้อมวิธีวัด เปิด​ดู​ได้​ใน​คลิก​เดียว

ตารางผลลัพธ์​เต็ม

โมเดล Whisper หกรุ่น​ที่ Lesskeys มี​ให้ ถอด​เสียง​ชุด​เดียวกัน 300 ประโยค (เสียง 37 นาที) จาก LibriSpeech test-clean ชุด​ทดสอบ​สาธารณะ​มาตรฐาน​ที่​มี​บทถอด​เสียง​จากมนุษย์​มา​ด้วย เรา​คิด​อัตราความผิดพลาด​ระดับ​คำเทียบ​กับ​บทถอด​เสียง​เหล่านั้น จับเวลา​แต่ละ​รอบ และ​บันทึก​ขนาด​ดาวน์โหลด ยิ่ง​ผิด​น้อย​ยิ่ง​ดี แท่งวาด​ตาม​สัดส่วน​ของ​ค่าที่​ใหญ่​ที่สุด​ใน​คอลัมน์

โมเดล Whisper หกรุ่น​กับ 6,086 คำ​จาก LibriSpeech test-clean (Apple M1 Max)

โมเดลอัตราความผิดพลาด​ระดับ​คำข้อผิดพลาดความเร็วดาวน์โหลด
Large V3 Q5 ●2.32%141 / 6,086 คำ7 เท่า​ของ​เวลาจริง1.1 GB
Large V3 ●2.35%143 / 6,086 คำ7 เท่า​ของ​เวลาจริง3.1 GB
Large V3 Turbo ●2.46%150 / 6,086 คำ12 เท่า​ของ​เวลาจริง1.6 GB
โมเดล Large V3 Turbo Q5 ●2.53%154 / 6,086 คำ12 เท่า​ของ​เวลาจริง574 MB
Small3.55%216 / 6,086 คำ35 เท่า​ของ​เวลาจริง488 MB
Tiny6.87%418 / 6,086 คำ89 เท่า​ของ​เวลาจริง78 MB

วัดบน Apple M1 Max ด้วย whisper.cpp เปิด Metal GPU และ flash attention ใช้​ค่า​เริ่มต้น​ของ whisper.cpp (beam size 5) บังคับ​ภาษา​เป็น en ใช้ 8 เธรด ● แสดง​โมเดล​ที่​เรา​ถือว่า​เสมอกัน​เป็นอัน​ดับ​สูงสุด “89 เท่า​ของ​เวลาจริง” หมายถึง​เสียง​หนึ่ง​ชั่วโมง​ถูกถอด​เสียง​ใน​เวลา​ประมาณ 1 นาที ขนาด​ใน​ตาราง​นี้​คือ​ขนาด​ไฟล์​ที่วัด​ได้​ใน​หน่วยทศนิยม จึง​ต่าง​จาก​ป้าย​ใน​แอป​และ​ใน​หน้า​อื่น: ไฟล์ 574 MB ของ Large V3 Turbo Q5 คือ 547 MB ที่นั่น Small คือ 466 MB (ที่นี่ 488 MB) Tiny คือ 75 MB (ที่นี่ 78 MB) Large V3 Q5 คือ 1.0 GB และ Large V3 คือ 3 GB

4 โมเดล​อันดับ​ต้นเสมอกัน​จริง​หรือ

Large V3 Q5, Large V3, Large V3 Turbo และ Large V3 Turbo Q5 จบ​ห่าง​กัน​ไม่​เกิน 13 คำ​จาก​ข้อความ​อ้างอิง 6,086 คำ นั่น​คือ​ระดับ​สัญญาณรบกวน​ของ​การวัด ไม่​ใช่​ความต่าง เรา​ถือว่า​โมเดล​ที่​ห่าง​จาก​ตัวที่​ดี​ที่สุด​ไม่​เกิน 0.5 จุด​เปอร์เซ็นต์​เสมอกัน เพราะ​สัญญาณรบกวน​ของ​การจัดอันดับ​จะ​ทำให้​หน้า​นี้​ดู​ฟันธง​กว่า​ความจริง

วิธีทำซ้ำการทด​สอบ​นี้

ชุด​ข้อมูล​เป็น​สาธารณะ (OpenSLR) โมเดล​เป็น ggml build มาตรฐาน​ของ Whisper และ​ตัวทดสอบ​เป็น​ไฟล์ Python ไฟล์​เดียว การเลือก​ตัวอย่าง​เป็น​แบบ​กำหนด​ตายตัว (เรียง​รหัส​ประโยค เว้นระยะ​เท่ากัน ไม่​ใช้​ค่า​สุ่ม) การรัน​โดยอิสระจึง​ได้​ประโยค​ชุด​เดียวกัน

ตัวปรับ​ข้อความ​ก่อน​ให้คะแนน​เป็น​ส่วน​ที่​ควร​ตรวจ เพราะ​อัตราความผิดพลาด​ระดับ​คำ​ไม่​มีความหมาย​ถ้า​ไม่​มี​มัน ของ​เรา​ไม่​นับ​ความต่าง​ที่​เป็นเรื่อง​รูปแบบ​มากกว่า​การรู้จำเสียง (ตัวพิมพ์ เครื่องหมายวรรคตอน ขีดคั่น 23 เทียบ​กับ twenty three Mr. เทียบ​กับ mister) และ​ยังนับ​ทุก​การแทนที่ การตกหล่น และ​การแทรก​คำ​ที่เกิด​ขึ้น​จริง มี​กรณีทดสอบ​สิบเอ็ดกรณีล็อก​ไว้ รวมถึง​กรณี​ที่ยืนยัน​ว่า​ข้อผิดพลาด​จริง​ไม่​ถูกปรับ​ทิ้ง หาก​ไม่​มี​ขั้นตอน​นี้ โมเดล​จะ​ถูกลงโทษ​เพราะ​รูปแบบ​เครื่องหมาย​แทนที่จะ​เป็นความแม่นยำ

ตัวเลขความเร็ว​มาจากเครื่องเดียว ชิป Apple Silicon รุ่น​อื่น​จะ​ได้ผล​ต่าง​ออก​ไป: ลำดับ​น่าจะ​เหมือนเดิม แต่​ตัวเลขจริง​จะ​ไม่​เหมือน การวัด​นี้​ครอบคลุม​เฉพาะ​โมเดล​ถอด​เสียง ไม่​รวม​การติดป้าย​ชื่อ​ผู้พูด ซึ่ง​เป็น​ขั้นตอน​แยก​ที่​มี​อัตราความผิดพลาด​ของ​ตัวเอง

คำถาม

คำถาม​เกี่ยวกับ​การเลือก​โมเดล Whisper

ควร​ใช้​โมเดล Whisper ตัวไหน​บน Mac ของ​ฉัน

Large V3 Turbo Q5: ใน​การทด​สอบ​นี้ รุ่น Large ทั้ง 4 แบบ​จบ​ห่าง​กัน​ไม่​เกิน 13 คำ​จาก 6,086 คำ จึงเสมอกัน​ใน​ด้าน​ความแม่นยำ และ​ใน​กลุ่ม​นั้น Large V3 Turbo Q5 มี​ขนาด​ดาวน์โหลด​เล็ก​ที่สุด​ที่ 574 MB และ​ถอด​เสียง​ได้ 12 เท่า​ของ​เวลาจริง

โมเดล Whisper ที่​ใหญ่​ที่สุด​แม่นยำ​ที่สุด​ไหม

วัด​ความต่าง​ไม่​ได้ Large V3 มี​ขนาด 3.1 GB ซึ่ง​ใหญ่​กว่า Large V3 Turbo Q5 5.4 เท่า และ​ได้ผล​ห่าง​กัน​ไม่​เกิน 13 คำ​จาก 6,086 คำ แต่​รัน​ช้า​กว่า 1.6 เท่า

โมเดล Whisper แบบ​ควอนไทซ์​แย่​กว่า​ไหม

วัด​ความต่าง​ไม่​ได้​ใน​การทด​สอบ​นี้ Large V3 Turbo Q5 เล็ก​กว่า Large V3 Turbo 2.8 เท่า และ​ผิด​เพิ่มขึ้น 4 คำ​จาก 6,086 คำ ซึ่ง​อยู่​ใน​ช่วง​ความคลาดเคลื่อน​ของ​การวัด​นี้ จึง​เป็น​เหตุผล​ให้​ทดสอบ​การควอนไทซ์​กับ​เสียง​ของ​คุณ​เอง ไม่​ใช่​การรับประกัน​ว่า​จะ​ไม่​เสีย​ความแม่นยำเลย

แอป​ถอด​เสียง​ที่​ใช้ Whisper ตัวไหน​ดี​ที่สุด

ไม่​มี​การทด​สอบ​ใด​จัดอันดับ​ที่หนึ่ง​ได้ โมเดล​ชั้นนำ 4 ตัวจบ​ห่าง​กัน​ไม่​เกิน 13 คำ​จาก 6,086 คำ โมเดล​ที่อยู่​ข้างใต้​จึง​แทบ​ไม่​ได้​เป็นตัวตัดสิน สิ่ง​ที่​แยก​แอปออก​จากกัน​คือ​ทำงาน​ใน​เครื่องหรือไม่ ถอด​เสียง​จาก​ไฟล์​บันทึก​ที่​มี​อยู่แล้ว​ได้​หรือไม่ และ​ติดป้าย​ว่า​ใคร​พูด​หรือไม่

เพิ่มเติม

อ่าน​เรื่อง​ถัดไป

Whisper บน Macใช้ Whisper บน Windowsใช้การรู้จำเสียง Whisper แบบ​ออฟไลน์บน Mac: ติดตั้ง​แอป พิมพ์​ด้วย​เสียง​หรือ​เพิ่ม​ไฟล์ แล้ว​ไม่​มี​อะไร​ถูก​อัปโหลดใช้การรู้จำเสียง Whisper แบบ​ออฟไลน์บน​พีซี Windows: ติดตั้ง​แอป พิมพ์​ด้วย​เสียง​หรือ​เพิ่ม​ไฟล์ แล้ว​ไม่​มี​อะไร​ถูก​อัปโหลดอ่านความแม่นยำ​ของ Whisper ใน 29 ภาษาโมเดล​ชุด​เดียวกัน ทดสอบนอก​ภาษาอังกฤษอ่านเมื่อ Whisper หยุด​ก่อนเวลา​แต่​บอก​ว่า​เสร็จ​แล้วข้อผิดพลาด​ที่​รายงาน​ว่า​สำเร็จ และ​วิธี​จับ​ให้ได้อ่านการถอด​เสียง​ใน​เครื่องทำงาน​อย่างไรสิ่ง​ที่เกิด​ขึ้น​ระหว่าง​เสียง​ของ​คุณ​กับ​ข้อความบน​คอมพิวเตอร์ ทีละขั้น และ​ส่วน​ที่​ยัง​ต้อง​ใช้​อินเทอร์เน็ตอ่านการถอด​เสียง​แบบ on-device คือ​อะไร“on-device” หมายถึง​อะไร ต่าง​จาก​เครื่องมือบนคลาวด์​อย่างไร ต้อง​ใช้​อะไร และ​เสียเปรียบ​ตรงไหนอ่านแอป​พิมพ์​ด้วย​เสียง​แบบ​ออฟไลน์บน Mac ที่​ดี​ที่สุดแอป​พิมพ์​ด้วย​เสียง​ที่​ใช้ได้​โดย​ไม่ต้อง​ต่อ​อินเทอร์เน็ต เปรียบเทียบ​ตาม​จุด​ที่​เสียงพูด​ถูก​แปลง​เป็น​ข้อความอ่านวิธี​ถอด​เสียง​จาก​วิดีโอ​โดย​ไม่ต้อง​อัปโหลดแปลง​ไฟล์​วิดีโอ วิดีโอ YouTube ของ​คุณ​เอง หรือ​ตอนพอด​แคสต์​ให้​เป็น​ข้อความบน​คอมพิวเตอร์​ของ​คุณ​เองอ่าน
คู่มือ​ทั้งหมดหน้า​แรก Lesskeys