Lesskeys29개 언어에서의 Whisper 정확도
547 MB Large V3 Turbo Q5 모델을 쓰세요. 29개 언어 중 23개에서는 더 큰 모델이 의미 있게 낫지 않았습니다. 힌디어, 아랍어, 히브리어 행은 오류율이 과대 표시되어 재측정 중이므로, 맨 위의 정정 내용과 함께 읽으세요.
Apple Silicon 기반 macOS 13 이상 · 구독 없음
최종 검토일
이 가이드는 맥용 가이드입니다. Windows는 Windows에서 Whisper 실행하기를 참고하세요.
먼저 읽어 주세요
재측정 중인 행
정정, 2026년 8월 28일
이 표를 만든 채점기는 텍스트를 [^\w\s]로 정규화했는데, Python의 \w는 유니코드 결합 부호와 맞지 않습니다. 그 때문에 데바나가리 모음 기호, 벵골 문자의 누크타, 아랍어 발음 부호가 모두 공백으로 바뀌어 한 단어가 여러 개로 쪼개졌습니다. 이 페이지가 쓴 것과 같은 참조 텍스트로 측정하면 타밀어는 실제 단어 437개인데 1,520단위로 집계되었고, 힌디어는 683개에 1,237단위, 아삼어는 498개에 1,220단위였습니다. 라틴, 키릴, CJK 문자 행은 결합 부호가 없는 문자라 영향이 없으며, 그에 기댄 결론도 그대로입니다.
이 때문에 참조 텍스트가 부풀려지고, 조각난 단어는 정렬되지 않아 오류 수도 함께 늘어납니다. 따라서 힌디어, 아랍어, 히브리어를 비롯해 결합 부호를 쓰는 문자의 행은 오류율을 언어마다 다른 폭으로 과대 표시합니다. 아래의 ‘가장 나쁜 언어’라는 주장도 이 행들에는 맞지 않습니다. 83개 언어에 대한 보정된 측정이 지금 진행 중이며, 이 페이지는 그 결과로 다시 만들어집니다.
아래의 철회와 같은 이유로, 이 내용은 슬쩍 지우지 않고 여기에 남깁니다. 비라틴 문자를 조용히 망가뜨리는 정규화기는 다국어 벤치마크를 읽는 사람이 꼭 알아야 할 실패인데, 공개된 어떤 수치에서도 눈에 띄지 않기 때문입니다.
현황, 2026년 10월 15일
새 측정은 파일 텍스트 변환과 받아쓰기 모두에 대해 83개 언어와 모델 6종을 다룹니다. 아직 끝나지 않아서 이 페이지에는 반영되지 않았습니다. 테스트 실행 996건 중 89건이 실패했는데 모두 가장 큰 모델에서, 17개 언어에서 일어났고, 실행마다 컴퓨터 메모리 양이나 테스트 도구 버전이 같지 않았습니다. 끝날 때까지 아래 표는 위에서 설명한 29개 언어 표 그대로이므로, † 표시 행(정정에 이름이 나온 힌디어, 아랍어, 히브리어)은 여전히 부풀려진 오류율을 담고 있고, 결합 부호를 쓰는 다른 문자도 그럴 수 있습니다. 라틴, 키릴, CJK 행의 비교는 영향이 없습니다.
답
547 MB 모델은 충분히 버팁니다
29개 언어 중 23개에서는 이 모델 묶음에 547 MB 기본 모델보다 유의하게 나은 모델이 없습니다.
- 29개 중 23개언어: 더 큰 모델이 분명히 낫지 않음
- 6언어: 큰 모델이 크기만큼 값을 함
- 29개 중 9개언어: 1.6 GB turbo 모델의 점수가 더 나쁨
유의하다는 것은 기본 모델과 비교해 z ≤ −2인 두 비율 z-검정을 뜻합니다. 나머지 23개는 동등함이 증명된 것이 아니라 구분되지 않은 것으로 읽으세요.
예외
큰 모델이 제값을 하는 경우
태국어, 일본어, 핀란드어, 프랑스어, 네덜란드어, 한국어를 쓴다면 더 큰 모델을 내려받을 가치가 있습니다.
| 항목 | 기본 (547 MB) | 더 나은 모델 | 개선폭 |
|---|---|---|---|
| 태국어 | 20.8% | v3: 12.6% | −8.2%p |
| 일본어 | 18.5% | v3-q5: 14.2% | −4.3%p |
| 핀란드어 | 10.8% | v3-q5: 7.7% | −3.1%p |
| 프랑스어 | 10.0% | v3: 7.5% | −2.5%p |
| 네덜란드어 | 10.8% | v3-q5: 8.3% | −2.5%p |
| 한국어 | 11.3% | v3-q5: 9.4% | −1.9%p |
v3-q5(1.0 GB)가 개선분의 거의 전부를 담습니다. 3 GB v3가 이를 앞서는 폭은 1.2%p를 넘지 않습니다.
항상 큰 것이 낫지는 않음
큰 모델이 항상 더 정확한 것은 아닙니다
1.6 GB turbo 모델은 29개 언어 중 9개에서 547 MB 기본 모델보다 수치상 더 나쁩니다.
75 MB 모델은 영어 밖에서는 쓸 수 없습니다. 힌디어† 100.0%, 덴마크어 87.2%, 헝가리어 84.8%, 체코어 84.0%, 히브리어† 81.9%.
어떤 언어이고, 얼마나 차이 나는지
힌디어† (42.1% 대 34.4%), 태국어 (24.6% 대 20.8%), 중국어(간체) (16.8% 대 13.7%), 말레이어 (9.8% 대 7.1%), 베트남어 (10.3% 대 9.8%), 인도네시아어 (7.8% 대 7.4%), 튀르키예어 (15.5% 대 15.2%), 그리스어 (11.3% 대 11.2%), 프랑스어 (10.1% 대 10.0%). 이 정도로 작은 차이는 이 표본 크기에서 하나하나가 모두 유의하지는 않습니다. 중요한 것은 크기만으로는 예측되지 않는 방향입니다. 한 단계 큰 모델로 올리는 것은 안전한 기본값이 아닙니다.
양 끝
가장 쉬운 언어와 가장 어려운 언어
가장 좋은 결과: 스페인어, 2.8%.
어떤 모델도 개선하지 못한 가장 높은 오류율은 히브리어†로, 테스트한 어떤 구성에서도 48.3% 아래로 내려가지 않습니다. 정정 내용에 따르면 히브리어처럼 결합 부호를 쓰는 문자에는 이 해석을 그대로 받아들이면 안 되므로, 보정된 측정이 이 페이지에 올라오기 전까지는 확정되지 않은 것으로 보세요.
철회
그대로 남겨 둔 철회
철회
이 측정의 이전 버전은 우크라이나어에서 large-v3가 기본 모델보다 유의하게 낫다고 보고했습니다. 그것은 틀렸습니다. 앱이 쓰는 설정이 아닌, whisper-cli의 기본값인 빔 5로 측정했기 때문입니다. 실제 설정인 그리디로 다시 돌리면 기본 모델과 v3는 완전히 비깁니다. 차이는 모델이 아니라 디코더에서 났습니다. 슬쩍 지우지 않고 여기에 남기는 이유는, 디코더 설정이 로컬 Whisper 비교 대부분이 밝히지 않는 바로 그 변수이기 때문입니다.
데이터
전체 표, 방법, 한계
전체 표, 방법, 한계는 접혀 있으니 펼쳐서 보세요.
언어와 모델별 오류율 (29개 언어, 6개 모델)
언어와 모델별 오류율 (29개 언어, 6개 모델)
| 언어 | 지표 | tiny 75 MB | small 466 MB | turbo-q5 547 MB | turbo 1.6 GB | v3-q5 1.0 GB | v3 3 GB |
|---|---|---|---|---|---|---|---|
| 아랍어† ar-SA | WER | 67.0% | 36.9% | 22.9% | 22.4% | 22.3% | 22.2% ● |
| 중국어(간체) zh-Hans | CER | 55.0% | 24.8% | 13.7% | 16.8% | 13.1% | 12.6% ● |
| 체코어 cs | WER | 84.0% | 40.4% | 13.2% | 12.8% | 13.1% | 11.9% ● |
| 덴마크어 da | WER | 87.2% | 35.0% | 13.4% | 13.0% | 12.6% ● | 13.3% |
| 네덜란드어 nl-NL | WER | 74.8% | 28.8% | 10.8% | 9.8% | 8.3% ● | 8.4% |
| 영어 en-US | WER | 31.9% | 10.7% | 9.1% | 8.9% | 7.0% ● | 8.9% |
| 핀란드어 fi | WER | 64.4% | 31.8% | 10.8% | 10.1% | 7.7% ● | 7.7% ● |
| 프랑스어 fr-FR | WER | 50.1% | 26.1% | 10.0% | 10.1% | 7.7% | 7.5% ● |
| 독일어 de-DE | WER | 35.0% | 11.9% | 5.2% | 4.7% ● | 5.2% | 5.2% |
| 그리스어 el | WER | 74.7% | 32.9% | 11.2% ● | 11.3% | 11.8% | 12.3% |
| 히브리어† he | WER | 81.9% | 63.2% | 51.0% | 48.4% | 48.3% ● | 48.3% ● |
| 힌디어† hi | WER | 100.0% | 68.3% | 34.4% | 42.1% | 33.4% | 32.4% ● |
| 헝가리어 hu | WER | 84.8% | 48.7% | 17.9% | 17.9% | 17.0% | 16.3% ● |
| 인도네시아어 id | WER | 59.2% | 21.8% | 7.4% ● | 7.8% | 8.1% | 9.4% |
| 이탈리아어 it | WER | 31.8% | 8.2% | 4.0% | 2.9% ● | 4.6% | 4.5% |
| 일본어 ja | CER | 54.3% | 25.4% | 18.5% | 15.6% | 14.2% ● | 17.0% |
| 한국어 ko | CER | 33.9% | 24.6% | 11.3% | 11.3% | 9.4% ● | 9.5% |
| 말레이어 ms | WER | 62.5% | 25.1% | 7.1% | 9.8% | 6.0% | 5.9% ● |
| 노르웨이어 no | WER | 64.0% | 24.2% | 10.0% | 9.8% ● | 10.0% | 9.8% ● |
| 폴란드어 pl | WER | 57.0% | 17.7% | 6.7% | 6.4% ● | 7.4% | 7.6% |
| 포르투갈어(브라질) pt-BR | WER | 25.4% | 7.9% | 5.2% | 5.1% | 5.0% | 4.9% ● |
| 루마니아어 ro | WER | 79.1% | 33.4% | 10.2% | 9.9% | 9.5% | 9.2% ● |
| 러시아어 ru | WER | 38.7% | 12.9% | 6.4% | 6.3% ● | 6.8% | 7.3% |
| 스페인어 es-ES | WER | 19.3% | 7.0% | 3.5% | 3.5% | 3.0% | 2.8% ● |
| 스웨덴어 sv | WER | 57.2% | 21.4% | 8.3% | 8.1% | 7.1% ● | 7.3% |
| 태국어 th | CER | 62.4% | 27.5% | 20.8% | 24.6% | 13.2% | 12.6% ● |
| 튀르키예어 tr | WER | 62.1% | 30.5% | 15.2% | 15.5% | 13.1% ● | 13.5% |
| 우크라이나어 uk | WER | 68.3% | 39.2% | 23.1% | 21.0% ● | 23.3% | 23.1% |
| 베트남어 vi | WER | 64.1% | 26.6% | 9.8% ● | 10.3% | 10.2% | 10.2% |
측정 방법
Whisper 모델 6종이 29개 언어의 같은 낭독 음성 말뭉치를 텍스트로 변환했습니다. 언어는 Lesskeys App Store 등록 정보가 지원하는 전부이며, Apple Silicon에서 앱 자체가 쓰는 것과 같은 디코더 설정(그리디, 빔 서치 없음)으로 실행했습니다. 비율은 단어 오류율이며, 일본어, 한국어, 태국어, 중국어는 단어 단위로 나누어 비교하기 어려워 문자 오류율을 씁니다. 낮을수록 좋습니다.
● 표시는 그 언어에서 가장 좋은 모델입니다. 강조된 열은 Lesskeys 3.1.4의 기본값인 547 MB 모델이며, 위의 모든 비교의 기준입니다. †는 재측정 중인 행입니다. 휴대폰에서는 표를 옆으로 스크롤하세요. 언어 열은 화면에 고정됩니다.
이 테스트의 한계
- 언어마다 구간 하나(약 1,000단어, 문자 오류율을 쓰는 언어는 약 2,000자). 큰 차이를 가르기에는 충분하지만 작은 차이를 판단하기에는 충분하지 않습니다. 이 페이지에서 모델이 ‘버틴다’고 하면 동일함이 증명된 것이 아니라 이 표본 크기에서 구분되지 않았다는 뜻입니다.
- 앱의 컨텍스트와 디코드 설정을 쓴 whisper-cli이지, 음성 구간 검출, 환각 필터, 음량 정규화, 언어 고정을 더하는 Lesskeys 전체 파이프라인이 아닙니다. 이 표는 그 파이프라인을 측정하지 않습니다.
- 회의가 아니라 낭독 음성. 대화체나 겹치는 음성은 훨씬 더 어렵습니다.
- 절대 수치에는 어느 정도 부풀림이 있습니다. 사람 눈에는 오류가 아닌 숫자와 문장 부호 표기 차이가 반영되기 때문입니다. 같은 언어에서 모델 사이의 비교는 믿을 만하고, 언어 사이의 비교는 더 잡음이 큽니다.
질문
언어별 Whisper 정확도에 대한 질문
맥에서 어떤 Whisper 모델을 쓰는 것이 좋을까요?
측정한 29개 언어 중 23개에서 547 MB 양자화 Large V3 Turbo 모델은 더 큰 모델과 정확도가 같아서 기본값으로 알맞습니다. 예외는 이 페이지에 나열되어 있으며, 그 언어에서는 1.0 GB v3-q5 모델을 추가로 내려받을 가치가 있습니다.
Whisper 모델을 양자화하면 정확도가 떨어지나요?
거의 떨어지지 않습니다. 29개 언어 모두에서 전체 정밀도 3 GB 모델이 1.0 GB 양자화 모델을 1.2%p 넘게 앞선 적이 없고, 547 MB 양자화 기본값은 대부분의 언어에서 훨씬 큰 모델과 같은 수준입니다.
큰 Whisper 모델이 항상 더 정확한가요?
아니요. 1.6 GB turbo 모델은 측정한 29개 언어 중 9개에서 547 MB 기본 모델보다 수치상 더 나쁩니다. 모델 크기는 특정 언어의 정확도를 가늠하는 믿을 만한 기준이 아닙니다.
클라우드에서 측정한 것인가요?
아니요. 모든 수치는 Apple Silicon에서 로컬로 얻었으며, Lesskeys가 텍스트 변환을 실행하는 방식과 같아서 오디오가 기기를 벗어나지 않습니다.
더 보기