Lesskeys맥에서 어떤 Whisper 모델을 실행해야 할까요?
Large V3 Turbo Q5를 실행하세요. 저희 테스트에서 Whisper 모델 6종 중 정확도 공동 1위(6,086단어 중 최고와 13단어 이내)였고, 그 그룹에서 다운로드가 574 MB로 가장 작으며 Apple M1 Max에서 실시간 대비 ×12로 실행됩니다.
Apple Silicon 기반 macOS 13 이상 · 구독 없음
최종 검토일
이 가이드는 맥용 가이드입니다. Windows는 Windows에서 Whisper 실행하기를 참고하세요.
답
Large V3 Turbo Q5 받기
Whisper 모델 6종 중 정확도 공동 1위이며, 공동 1위 그룹에서 다운로드가 가장 작습니다.
- 4개 공동 1위모델, 정확도 동일
- 574 MB다운로드 (앱에서는 547 MB)
- 12× 실시간 대비
6,086단어 중 최고와 13단어 이내입니다. 오디오 한 시간은 Apple M1 Max에서 대략 5분 걸립니다. 여기 크기는 십진 단위로 잰 실제 파일 크기이고, 앱은 같은 파일을 547 MB로 표시합니다. 영어 밖에서는 몇몇 언어에서 차이가 납니다: 29개 언어에서의 Whisper 정확도.
공동 1위
더 크면 비용만 더 들고 얻은 것은 없습니다
13단어 이내로 같은 정확도인데, 다운로드는 ×5.4, 처리 시간은 ×1.6이 듭니다.
공동 1위 중 가장 큰 모델은 3.1 GB의 Large V3입니다. 더 작게 가면 정확도를 실제로 잃습니다. Small은 최고보다 75개를 더 틀리고, Tiny는 오류가 최고의 세 배입니다.
실제 차이
차이가 실제로 있는 곳
Tiny의 오류 수는 최고의 세 배(×3)입니다: 418개 대 141개.
이는 조금 나쁜 녹취록이 아니라 다른 종류의 녹취록입니다. 작은 다운로드로 서둘러 만든 대략적인 검색용 기록에는 여전히 쓸 만하지만, 녹취록 자체가 기록이어야 할 때는 맞지 않는 선택입니다.
공동 1위 아래의 모델
- Small: 3.55%, 최고보다 75개 더 틀림. 488 MB, 실시간 대비 ×35 (Large V3 Turbo Q5는 ×12)
- Tiny: 6.87%, 최고보다 277개 더 틀림. 78 MB, 실시간 대비 ×89 (Large V3 Turbo Q5는 ×12)
더 작은 파일
파일이 더 작으면 정확도를 잃을까요?
저희가 측정할 수 있는 범위에서는 아닙니다.
- Large V3 Turbo Q5 대 Large V3 Turbo: 574 MB 대 1.6 GB (크기는 약 2.8분의 1), 6,086단어 중 4개 더 틀림 (154 대 150)
- Large V3 Q5 대 Large V3: 1.1 GB 대 3.1 GB (크기는 2.9분의 1), 6,086단어 중 2개 덜 틀림 (141 대 143)
일반 법칙이 아니라, 내 오디오로 양자화를 직접 시험해 봐야 할 이유입니다.
시험하지 않은 것
이 결과가 말해 주지 않는 것
LibriSpeech test-clean은 쉬운 경우입니다. 오디오북을 낭독한 음성입니다.
- 회의나 전화 통화 없음
- 겹치는 말소리나 소음 없음
- 다른 맥 없음: Apple M1 Max뿐
- 화자 이름표 없음
실제 회의는 더 어렵고, 모든 수치가 더 나빠질 것입니다. 이는 다음 회의에 대한 약속이 아니라 하한선입니다. 일부 언어에서는 긴 파일에서 모델이 중간에 멈추고도 성공이라고 보고할 수 있습니다: Whisper가 일찍 멈출 때.
데이터
전체 표와 재현 방법
모델별 오류, 속도, 다운로드 크기와 측정 방법을 클릭 한 번이면 볼 수 있습니다.
전체 결과 표
Lesskeys가 제공하는 Whisper 모델 6종이 표준 공개 벤치마크 세트인 LibriSpeech test-clean의 같은 발화 300개(오디오 37분)를 처리했습니다. 이 세트는 사람이 쓴 녹취록이 함께 제공됩니다. 그 녹취록을 기준으로 단어 오류율을 채점하고, 실행마다 시간과 다운로드 크기를 기록했습니다. 오류가 낮을수록 좋으며, 막대는 해당 열의 최댓값에 비례해 그려집니다.
LibriSpeech test-clean 6,086단어에서의 Whisper 모델 6종 (Apple M1 Max)
| 모델 | 단어 오류율 | 오류 수 | 속도 | 다운로드 |
|---|---|---|---|---|
| Large V3 Q5 모델 ● | 2.32% | 141 / 6086단어 | 실시간 대비 ×7 | 1.1 GB |
| Large V3 모델 ● | 2.35% | 143 / 6086단어 | 실시간 대비 ×7 | 3.1 GB |
| Large V3 Turbo 모델 ● | 2.46% | 150 / 6086단어 | 실시간 대비 ×12 | 1.6 GB |
| Large V3 Turbo Q5 모델 ● | 2.53% | 154 / 6086단어 | 실시간 대비 ×12 | 574 MB |
| Small 모델 | 3.55% | 216 / 6086단어 | 실시간 대비 ×35 | 488 MB |
| Tiny 모델 | 6.87% | 418 / 6086단어 | 실시간 대비 ×89 | 78 MB |
whisper.cpp, Metal GPU, flash attention 켬, whisper.cpp 기본값(빔 크기 5), 언어를 en으로 고정, 스레드 8개로 Apple M1 Max에서 측정했습니다. ●는 공동 1위로 보는 모델입니다. ‘실시간 대비 ×89’는 오디오 한 시간을 약 1분에 변환한다는 뜻입니다. 이 표의 크기는 십진 단위로 잰 실제 파일 크기라서 앱과 다른 페이지의 표기와 다릅니다. Large V3 Turbo Q5의 574 MB 파일은 거기서는 547 MB, Small은 466 MB(여기서는 488 MB), Tiny는 75 MB(여기서는 78 MB), Large V3 Q5는 1.0 GB, Large V3는 3 GB입니다.
상위 4개 모델은 정말 공동 1위인가요?
Large V3 Q5, Large V3, Large V3 Turbo, Large V3 Turbo Q5는 참조 텍스트 6,086단어에서 서로 13단어 이내로 끝났습니다. 이는 차이가 아니라 측정의 잡음 수준입니다. 최고와 0.5%p 이내인 모델은 모두 공동으로 봅니다. 순위의 잡음 때문에 이 페이지를 더 단정적으로 보이게 하면 사실에서 멀어지기 때문입니다.
이 벤치마크를 재현하는 방법
데이터셋은 공개되어 있고(OpenSLR), 모델은 Whisper의 표준 ggml 빌드이며, 테스트 도구는 Python 파일 하나입니다. 표본은 매번 같은 방식으로 고릅니다(발화 id를 정렬해 고르게 간격을 두고, 무작위 시드 없음). 그래서 독립적으로 돌려도 같은 발화가 뽑힙니다.
채점 정규화기는 확인해 볼 만한 부분입니다. 이것이 없으면 단어 오류율은 아무 의미가 없기 때문입니다. 저희 정규화기는 인식이 아니라 표기에 불과한 차이(대소문자, 문장 부호, 하이픈, 23과 twenty three, Mr.와 mister)는 무시하고, 실제 대체, 삭제, 삽입은 모두 셉니다. 실제 오류가 정규화로 사라지지 않음을 검증하는 것을 포함한 11개의 테스트 케이스로 고정되어 있습니다. 이 단계가 없으면 모델은 정확도가 아니라 문장 부호 스타일로 감점됩니다.
속도 수치는 컴퓨터 한 대에서 나왔습니다. 다른 Apple Silicon 칩에서는 다른 값이 나옵니다. 순서는 유지되겠지만 절대 수치는 그렇지 않습니다. 이것은 텍스트 변환 모델만 측정한 것이며, 별도의 단계로 자체 오류율이 있는 화자 이름표는 측정하지 않았습니다.
질문
Whisper 모델 선택에 대한 질문
내 맥에서 어떤 Whisper 모델을 써야 하나요?
Large V3 Turbo Q5입니다. 이 벤치마크에서 대형 모델 4종은 6,086단어에서 서로 13단어 이내로 끝나 정확도가 같고, 그중 Large V3 Turbo Q5가 574 MB로 다운로드가 가장 작으며 실시간 대비 ×12 속도로 실행됩니다.
가장 큰 Whisper 모델이 가장 정확한가요?
측정 가능한 차이는 없습니다. Large V3는 3.1 GB로 Large V3 Turbo Q5보다 다운로드가 ×5.4 크고 처리 시간도 ×1.6이 걸리지만, 6,086단어에서 최고와 13단어 이내여서 정확도는 같습니다.
양자화된 Whisper 모델은 더 나쁜가요?
여기서는 측정 가능한 차이가 없습니다. Large V3 Turbo Q5는 크기가 Large V3 Turbo의 2.8분의 1이고 6,086단어 중 4개를 더 틀렸습니다. 이는 이 측정의 오차 범위 안이므로, 양자화가 정확도를 절대 해치지 않는다는 보장이 아니라 내 오디오로 직접 시험해 봐야 할 이유입니다.
Whisper 기반 텍스트 변환 앱 중 가장 좋은 것은 무엇인가요?
어떤 벤치마크로도 하나를 꼽을 수는 없습니다. 상위 모델 4종은 6,086단어에서 서로 13단어 이내로 끝나, 바탕이 되는 모델은 결과를 거의 가르지 못합니다. 앱을 가르는 것은 기기 안에서 실행되는지, 이미 있는 녹음을 텍스트로 변환하는지, 누가 말했는지 이름표를 붙이는지입니다.
더 보기