Whisper 전사의 반복 오류: 30초 샘플의 함정

짧은 샘플 다음에 드러난 문제

한국어 녹음을 Whisper의 큰 모델로 전사하도록 AI에 맡겼다. 모델 다운로드와 캐시는 SSD에 두도록 따로 지시했다. 먼저 짧은 구간으로 실행을 확인하고 전체 녹음으로 넘어갔다.

당시 AI가 보고한 30초 샘플의 처리 시간은 다음과 같았다.

실행 방식	모델	보고된 처리 시간
openai-whisper, MPS 사용	large-v3	약 46초
MLX 방식	large-v3	약 7초

MLX 방식으로 전체 녹음을 처리했지만, 결과 중간에서 같은 짧은 구절이 반복됐다. 파일은 만들어졌는데 읽을 수 있는 전사 결과라고 받아들이기는 어려웠다. 짧은 구간의 실행 확인에서 긴 결과의 문제를 발견하지 못한 셈이다.

위 시간은 그때의 두 실행 기록이다. 동일 조건을 반복 측정한 성능 비교가 아니며, 다른 녹음이나 기기에서도 같은 차이가 난다는 뜻은 아니다.

모델을 바꾸기 전에 설정을 바꿨다

AI는 반복을 확인한 뒤 같은 large-v3 모델로 다시 전사했다. 기록에 남은 설정 변경은 condition_on_previous_text=False다.

여기서 중요한 것은 옵션 이름 자체보다 변경 뒤에 다시 확인한 항목이다. AI는 새 파일이 생겼다는 보고에 그치지 않고, 반복 패턴이 남았는지와 마지막 세그먼트가 녹음 끝에 도달했는지를 확인했다. 두 번째 결과로 문제가 있던 첫 결과를 교체했다고 보고했다.

확인 항목	당시 보고에서 알 수 있는 것
반복 패턴 검사	검사 대상으로 삼은 반복 패턴이 다시 검출되지 않음
마지막 세그먼트의 끝 시각	출력이 녹음의 끝 구간까지 이어짐
원음과 문장별 대조	전체 구간에 대해 완료했다는 근거는 없음

반복 검사가 통과해도 잘못 들은 단어가 있을 수 있다. 끝 시각이 맞아도 중간 발화가 빠졌는지는 따로 봐야 한다. 두 검사는 첫 결과에서 드러난 문제를 확인하는 데 쓸 수 있지만, 전사 정확도 전체를 대신하지는 못한다.

다음 파일에도 이어진 확인

이후 다른 녹음도 처리했고, 같은 설정과 끝 구간 확인을 이어갔다는 기록이 남았다. 한 번의 수정으로 끝내지 않고 다음 입력에서도 결과를 살펴본 것이다.

나는 녹음, 사용할 모델의 크기, 저장 위치를 지정했다. 실행 방식의 비교, 반복 발견, 설정 변경과 재전사는 AI가 수행했다. 완료 보고를 읽을 때는 파일 생성 여부에 더해 반복 검사와 마지막 구간의 시각을 확인할 수 있었다. 원음과 문장별로 맞는지는 그 보고만으로 알 수 없었다.

이 글은 2026년 5월 26일 작업 기록을 바탕으로 썼다. 처리 시간과 검사 결과는 당시 보고이며 이번에 재측정하지 않았다. 녹음 내용과 원본 파일명은 옮기지 않았다. 확인된 것은 특정 반복 오류를 수정하고 끝 구간을 검사한 과정이며, 모든 문장이 정확하다는 결론은 남겨 두었다.