LesskeysWhisper가 일찍 멈추고 끝났다고 말할 때
Whisper 모델이 녹음 도중에 멈추고도 성공으로 보고할 수 있습니다. 저희 테스트에서는 143회 중 10회가 그랬습니다. 돌려받은 텍스트의 양을 오디오 길이와 비교하면 기준 녹취록 없이도 잡아낼 수 있습니다.
Apple Silicon 기반 macOS 13 이상 · 구독 없음Windows 10, 11 · 구독 없음
최종 검토일
무엇인가
조용한 잘림이란
만들어 낸 텍스트는 맞았습니다. 그냥 멈췄고, 파이프라인은 끝났다고 했습니다.
음성 모델은 틀린 단어를 돌려줄 수도 있고, 중간에 멈춰서 앞부분만 맞게 적은 녹취록을 마치 끝난 것처럼 돌려줄 수도 있습니다. 가장 나쁜 실행인 노르웨이어에서는 30분의 계산 끝에 기준 단어 521개 중 113개를 돌려주고 9개 구간에서 멈췄습니다. 저희 파이프라인은 그 실행을 COMPLETED로 기록했습니다. 오류도, 경고도, 부분 결과 표시도 없었습니다.
- 143회 중 10회실행이 일찍 멈춤
- 22%가장 나쁜 실행에서 오디오 중 다룬 분량
- 10회 중 9회large-v3 파일 두 개에서
어떤 실행
일찍 멈춘 언어
10회 중 9회는 large-v3 파일 두 개에서 나왔습니다.
커버리지는 텍스트 길이를 기준 텍스트 길이로 나눈 값이며, 1.00이 온전한 녹취록입니다. 막대 하나가 잘린 실행 하나이고, 점선은 0.80 기준선입니다.
Large V3: 28회 중 5회
- 노르웨이어0.22
- 말레이어0.32
- 베트남어0.34
- 한국어0.40
- 네덜란드어0.74
Large V3 Q5: 28회 중 4회
- 체코어0.22
- 포르투갈어(브라질)0.35
- 베트남어0.37
- 말레이어0.75
Large V3 Turbo Q5: 29회 중 1회
- 힌디어†0.72
힌디어: 채점 관련 주의
† 기본 모델의 실행입니다. 기준 1,237단위에 대해 886단위였는데, 이는 29개 언어에서의 Whisper 정확도의 정정 내용이 짚은 것과 같은 부풀려진 개수입니다(힌디어: 실제 단어 683개에 1,237단위. 결합 부호에서 단어를 쪼개는 채점기 때문). 그래서 절대값 0.72는 믿을 수 없습니다. 하지만 같은 기준에 대해 turbo 계열 두 모델은 1,288단위와 1,242단위(커버리지 1.04와 1.00)였으므로, 기본 모델의 실행은 이들보다 29에서 31퍼센트 짧았습니다. 가장 그럴듯한 해석은 실제 잘림이며, 이 작업의 결과 메모도 그렇게 기록합니다. 이 실행은 실험의 12 GB 구간에서 돌았습니다(아래 한계 참고).
짧아지기만 하고 길어지지는 않음
이 실험에서 극단적인 값을 보인 칸은 모두 너무 짧은 쪽이었고, 너무 긴 쪽은 없었습니다. 143회 중 기준 텍스트보다 절반 넘게 길어진 실행은 하나도 없습니다. 이는 반복 루프 실패와 반대 부호입니다. 반복 루프에서는 모델이 막혀 같은 구절을 몇 분씩 내놓아 커버리지가 기준의 다섯 배 이상이 됩니다. 둘 다 치명적이고 둘 다 표본 점검으로는 보이지 않지만, 같은 숫자의 부호로 구별할 수 있어서 하나의 점검으로 둘 다 잡을 수 있습니다.
잡아내기
기준 없이 잡아내기
돌려받은 텍스트의 양을 오디오의 길이와 비교하세요.
단어 오류율에는 기준 녹취록이 필요한데, 실제 서비스에는 그런 것이 없습니다. 커버리지는 필요 없습니다. 이 실험에서 두 집단은 깔끔하게 갈립니다.
| 항목 | 실행 횟수 | 평균 커버리지 | 평균 오류율 |
|---|---|---|---|
| 잘림 | 10 | 0.44 | 65.90% |
| 정상 | 133 | 1.01 | 12.10% |
0.80 기준선은 데이터에 맞춘 것이 아닙니다. 잘린 실행의 최고 커버리지는 0.75이고 정상 실행의 최저는 0.82이므로, 이 빈 구간 안 어디에 기준선을 두어도 답이 같습니다. 실제 서비스에서는 사용자의 컴퓨터에서 마지막으로 돌려받은 구간의 타임스탬프를 파일 길이와 비교하면 되고, 따로 비교할 기준은 필요 없습니다.
오류율
잘림은 오류율을 부풀립니다
Large V3의 28개 언어 평균은 24.64%인데, 잘린 5회를 빼면 15.25%입니다.
오류율 중 약 9.4%p는 모델이 잘못 들어서가 아닙니다. 모델이 그 자리에 없었기 때문입니다.
잘림을 빼도 Large V3는 더 작은 turbo 모델을 따라잡지 못함
잘림을 제외하고도 Large V3는 834 MB turbo 양자화본을 따라잡지 못합니다. 이 모델은 29개 언어 전체에서 평균 9.16%이고 한 번도 잘리지 않았습니다. turbo 실행 세 가지가 모두 공유하는 28개 언어(힌디어 제외)에서 평균은 Q8 8.59%, 기본 8.71%, 1.6 GB turbo 8.80%로 서로 0.2%p 이내이므로, 전체 격차의 대부분은 힌디어 한 행에서 나옵니다. 크기는 안정성도, 정확도도 예측하지 못했습니다.
Mac에서
Lesskeys가 제공하는 모델에 이것이 뜻하는 것
large-v3 파일 두 개는 현재 판매 중인 App Store 버전(3.1.4)의 모델 선택 목록에 있으며, 잘린 실행 10건 중 9건을 차지합니다.
그 버전에는 커버리지 점검이 없습니다. 위에서 설명한 점검은 그 버전을 위한 제안이지, 출시된 기능이 아닙니다.
2026년 10월 15일 현황, 판매 중인 App Store 버전(3.1.4) 기준
이 페이지를 묻어 두지 않고 공개하는 이유이므로 분명히 적습니다.
- large-v3 파일 두 개는 둘 다 Lesskeys 모델 선택 목록에 제공되며, 잘린 실행 10건 중 9건을 차지합니다. ‘다운로드가 클수록 결과가 좋다’고 생각하는 사용자는 목록에서 가장 믿을 수 없는 선택지를 고르는 셈입니다.
- 평균 오류율이 가장 낮고(다른 turbo 실행과의 격차는 대부분 힌디어 한 행 때문) 잘림이 0인 834 MB 양자화본은 그 버전의 모델 선택 목록에 없습니다. 이 테스트에서 쓸 수 있었던 것은 모델 폴더를 시작할 때 스캔하기 때문입니다.
- 기본 모델(547 MB)은 29개 언어에서 한 번, 힌디어에서 잘렸습니다(실제 잘림일 가능성이 높음. 커버리지 목록 아래 주석 참고). 그 실행과 체코어 Large V3 Q5 실행은 둘 다 실험의 12 GB 구간에서 메모리 여유가 거의 없는 상태로 돌았습니다(한계 참고).
- 그 버전에는 커버리지 점검이 없습니다. 위에서 설명한 점검은 그 버전을 위한 제안이지, 출시된 기능이 아닙니다. 출시되면 이 부분은 조용히 삭제하지 않고 다시 쓰겠습니다.
Windows에서
Windows에서는 이것이 무엇을 뜻할까요
테스트는 맥 앱에서 실행했습니다. Windows 앱은 포함되지 않았습니다.
화자 이름표가 켜져 있을 때 Windows의 Lesskeys는 말이 들어 있는 파일에서 텍스트가 비어서 돌아오는 경우를 위한 안전장치가 있습니다. 타임스탬프 없이 파일을 다시 디코딩합니다. 중간에 멈추는 녹취록, 즉 이 페이지에서 다루는 경우에 대한 점검은 없습니다. 긴 파일에서는 녹취록의 마지막 줄들을 오디오와 대조하고, 녹취록의 끝이 녹음의 끝과 맞는지 확인하세요.
데이터
방법, 표, 한계
실행 방법과 그 결과가 알려 주지 못하는 것이 접혀 있습니다.
잘림을 측정한 방법
large-v3 계열 Whisper 모델 파일 5종을 29개 언어에서 돌려 145칸 중 143칸을 얻었습니다. 오디오는 음량을 맞춘 FLEURS로, 텍스트에 숫자가 없는 낭독 음성이며 공개된 기준 녹취록이 있고 언어당 약 460에서 2,520단위입니다.
모든 실행은 whisper-cli가 아니라 macOS Sequoia가 돌아가는 가상 머신에서 실제 배포되는 애플리케이션을 거쳤습니다. 이 점이 중요합니다. 음성 구간 검출, 환각 필터, 음량 정규화, 언어 고정이 모두 사용자가 쓰는 것과 똑같이 경로에 들어 있었습니다. 언어는 실행마다 고정되었고 143칸 모두에서 지켜졌으며, 실제로 불러온 모델도 143칸 모두에서 요청한 모델과 일치했습니다. 빠진 두 칸은 두 large-v3 파일의 힌디어로, 끝까지 완료되지 않았습니다.
모델 5종: 크기, 평균 오류, 잘린 실행
large-v3 계열 Whisper 모델 파일 5종, 29개 언어 (잘린 실행이 없는 행은 강조 표시)
| 모델 | 크기 | 언어 | 평균 오류 | 중앙값 | 잘린 실행 |
|---|---|---|---|---|---|
| Large V3 Turbo Q8 모델 ● 선택 목록에 없음 | 834 MB | 29 | 9.16% | 6.80% | 없음 |
| Large V3 Turbo 모델 | 1.6 GB | 29 | 9.52% | 7.23% | 없음 |
| Large V3 Turbo Q5 모델 ● 앱 기본값 | 547 MB | 29 | 9.99% | 7.81% | 29회 중 1회 |
| Large V3 모델 | 3 GB | 28 | 24.64% | 15.80% | 28회 중 5회 |
| Large V3 Q5 모델 | 1.0 GB | 28 | 26.66% | 18.66% | 28회 중 4회 |
이 테스트의 한계
- 회의가 아니라 낭독 음성. FLEURS는 깨끗하게 녹음된 산문입니다. 대화체나 겹치는 음성은 훨씬 더 어려우므로, 이 오류율을 실제 통화에서 얻을 수치로 읽어서는 안 됩니다.
- 칸마다 한 번의 실행. 143칸에 실행은 각각 한 번입니다. 잘림은 large-v3 파일 두 개 모두에서, 그리고 두 차례의 별도 조사에서 재현되었지만, 이 실험으로 비율을 정할 수는 없고, 그런 일이 일어난다는 것만 확인됩니다.
- 컴퓨터 한 대, 메모리 두 가지. 칸들은 Apple Silicon 가상 머신 한 대에서 돌렸고, 메모리는 처음 33칸에서 12 GB, 나머지에서 24 GB였습니다. 기본 모델 29칸 전부와 Large V3 Q5의 처음 4칸(아랍어, 체코어, 덴마크어, 독일어)은 12 GB 구간에서 돌았습니다. 잘린 실행 두 건이 여기에 있습니다. 기본 모델의 힌디어(가장 낮을 때 가용 메모리 241 MB)와 Large V3 Q5의 체코어(60 MB)입니다. 나머지 잘린 실행은 모두 가용 메모리가 6,000 MB를 넘었습니다. 메모리 부족이 이 두 건에 영향을 줬을 수 있고, 이 실험으로는 그것과 모델의 영향을 가를 수 없습니다. 디코딩은 명령줄 도구의 기본값이 아니라 애플리케이션의 파일 경로 기본값으로 두었습니다.
- 절대 수치에는 어느 정도 부풀림이 있습니다. 문장 부호와 대소문자 정규화 선택 때문입니다. 핵심은 모델 사이의 비교이며, 절대 퍼센트가 아닙니다.
이번에는 녹취록을 보관했습니다. 이전 측정에서는 다음 실행의 설정 단계가 녹취록을 덮어써서 단어 수로 잘림을 추정해야 했고, 바로 그래서 그토록 오래 눈에 띄지 않았습니다. ‘더 나쁜 오류율’과 ‘일찍 멈춤’은 결과 표에서 똑같아 보입니다.
질문
Whisper가 일찍 멈추는 문제에 대한 질문
음성 인식에서 조용한 잘림이란 무엇인가요?
모델이 오디오의 일부만 다룬 텍스트를 돌려주는데 주변 파이프라인은 성공으로 보고하는 현상입니다. 있는 텍스트는 대개 맞기 때문에, 누군가 녹취록을 녹음과 비교하기 전까지는 아무 이상이 없어 보입니다. 이 실험에서는 143회 실행 중 10회에서 나타났고, 그중 9회가 large-v3 모델 파일 두 개에서 나왔습니다.
기준 텍스트 없이 잘린 녹취록을 어떻게 알아낼 수 있나요?
돌려받은 결과를 입력한 오디오와 비교하세요. 마지막 구간의 끝 타임스탬프를 오디오 파일의 길이와, 또는 텍스트 길이를 기대 길이와 비교합니다. 둘 다 기준 녹취록이 필요 없어서 실제 서비스에서 쓸 수 있는 검사입니다. 이 데이터에서 잘린 실행의 평균 커버리지는 0.44, 정상 실행은 1.01이었습니다.
큰 Whisper 모델이 더 좋은 결과를 내나요?
이 실험에서는 아닙니다. 가장 큰 두 모델 파일은 평균 오류율이 가장 높았고 잘린 실행 10건 중 9건을 차지했습니다. 반면 turbo 모델의 834 MB 양자화본은 평균 오류율이 가장 낮았고(9.16%, 힌디어를 빼면 다른 turbo 실행과 0.2%p 이내) 한 번도 잘리지 않았습니다. 다운로드 크기는 정확도도 안정성도 예측하지 못했습니다.
이것은 Whisper의 버그인가요, 앱의 버그인가요?
확정되지 않았으며, 이 페이지도 안다고 주장하지 않습니다. 측정된 것은 그런 상태가 발생한다는 것과 주변 파이프라인이 이를 알아채지 못했다는 것입니다. 제안하는 커버리지 점검은 저희가 통제하는 계층인 애플리케이션 계층의 완화책이며, 근본 원인을 진단하지는 않습니다.
더 보기