위스퍼 음성 인식 모델, 곧 Whisper에 대한 관심이 꾸준히 이어지고 있습니다. 로컬 컴퓨터에서 음성을 문장으로 변환하려는 분들이 실용적인 whisper 사용법 정보를 자주 찾습니다.
Whisper는 내 컴퓨터 자원을 활용해 실행하므로 외부 업로드 없이 음성을 전사할 수 있습니다. 이번 글에서는 whisper 음성 텍스트 변환 환경을 구축하는 방법부터 한국어 처리 시 부딪히는 한계, 클로바노트나 Subanana 같은 클라우드 도구가 더 알맞은 상황까지 살펴보겠습니다.
Whisper는 어떤 도구인가
Whisper 공식 README에 따르면, Whisper는 OpenAI가 개발하여 공개한 범용 음성 인식 모델입니다. 다국어 음성 인식과 음성 번역, 언어 식별 작업을 수행할 수 있습니다.
코드와 모델 가중치는 모두 MIT 라이선스로 배포되고 있습니다.
로컬 환경에 모델을 직접 내려받아 실행하므로 녹음 파일이 외부 서버로 전송되지 않습니다. 분당 과금이나 월간 구독료가 발생하지 않는다는 점도 로컬 구동의 뚜렷한 장점입니다.
Whisper 사용법: 설치부터 한국어 받아쓰기까지
1. 준비물
Whisper를 실행하려면 Python 환경과 ffmpeg 명령줄 도구가 필요합니다. Whisper 공식 README에 따르면 코드는 파이썬 3.8부터 3.11 버전과 호환될 것으로 안내되어 있습니다.
운영체제에 맞는 패키지 관리자로 ffmpeg 도구를 먼저 설치해야 합니다.
macOS 환경이라면 터미널에서 다음 명령어를 입력합니다.
brew install ffmpeg
Ubuntu나 Debian 계열 Linux 환경에서는 다음 명령어를 실행합니다.
sudo apt update && sudo apt install ffmpeg
Windows에서는 Chocolatey로 설치할 수 있습니다.
choco install ffmpeg
2. Whisper 설치
파이썬 패키지 관리자를 통해 Whisper를 설치합니다.
Homebrew로 설치한 Python이나 최신 Ubuntu처럼 시스템 Python에 바로 설치하는 것을 막는 환경이라면 가상 환경을 먼저 만듭니다.
python3 -m venv whisper-env
source whisper-env/bin/activate
그다음 Whisper를 설치합니다.
pip install -U openai-whisper
Whisper 공식 README에 따르면 tiktoken 패키지와 관련된 설치 오류가 나타날 경우 시스템에 Rust 컴파일러가 설치되어 있어야 할 수 있습니다.
3. 모델 고르기
Whisper는 작업 목적과 컴퓨터 사양에 맞춰 선택할 수 있는 여러 크기의 모델을 제공합니다.
| 모델 | 파라미터 | 필요한 VRAM | 상대 속도 |
|---|---|---|---|
| tiny | 39M | ~1GB | ~10x |
| base | 74M | ~1GB | ~7x |
| small | 244M | ~2GB | ~4x |
| medium | 769M | ~5GB | ~2x |
| large | 1550M | ~10GB | 1x |
| turbo | 809M | ~6GB | ~8x |
turbo 모델은 large-v3 모델을 최적화하여 속도를 끌어올린 버전입니다. 현재 Whisper의 기본 모델로 지정되어 있습니다. 다만 공식 설명에 따르면 turbo 모델은 번역 작업용으로 학습되지 않았습니다.
README에 따르면 표의 상대 속도는 A100 GPU에서 영어 음성으로 잰 값입니다. 한국어 음성과 내 컴퓨터에서는 달라질 수 있습니다.
이름 끝에 .en 표기가 붙은 모델은 영어 전용 모델입니다. 한국어 음성을 전사할 때는 다국어 지원 모델을 골라야 합니다.
4. 한국어로 실행하기
한국어 음성을 전사할 때는 언어 옵션을 직접 지정하는 것이 안정적입니다. 터미널에서 음성 파일이 있는 경로로 이동한 뒤 명령어를 실행합니다.
whisper meeting.mp3 --model turbo --language Korean
처리가 끝나면 기본 설정으로 명령어를 실행한 폴더에 .txt, .vtt, .srt 등의 결과 파일이 저장됩니다.
음성을 영어 텍스트로 번역하고 싶다면 --task translate 옵션을 씁니다. 번역 결과는 영어로만 나옵니다. README는 번역에 turbo 대신 medium이나 large 모델을 쓰라고 안내합니다. turbo는 이 옵션을 붙여도 원래 언어로 결과를 돌려줍니다.
whisper meeting.mp3 --model medium --language Korean --task translate
Whisper 한국어 받아쓰기, 직접 써 보면 부딪히는 점
whisper 한국어 음성 처리를 실제로 진행해 보면 몇 가지 현실적인 장벽을 만나게 됩니다.
- 설치와 환경 설정의 번거로움: 터미널 환경이나 파이썬 패키지 충돌 문제를 직접 해결해야 합니다. 개발 도구에 익숙하지 않다면 초기 구동까지 시간이 걸릴 수 있습니다.
- 그래픽 카드 메모리 부담: 인식률을 높이기 위해 대형 모델을 쓰려면 높은 사양이 필요합니다.
large모델은 약 10GB,turbo모델은 약 6GB 수준의 VRAM을 요구합니다. - 언어별 편차: Whisper 공식 README에 따르면 인식 성능은 언어에 따라 편차가 크게 나타납니다. 공식 안내서에도 언어별 에러율 차트가 수록되어 있으므로, 본인이 가진 한국어 녹음 파일로 직접 변환 품질을 확인해 보아야 합니다.
- 회의록은 직접 정리: Whisper가 기본으로 저장하는 결과는
txt,vtt,srt같은 텍스트와 자막 파일입니다. 발화자 구분이나 회의 안건, 결정 사항, 액션 아이템 정리가 필요하다면 화자 분리용 도구를 따로 연결하거나 결과 텍스트를 직접 다듬어야 합니다.
맥에서 앱으로 쓰고 싶다면
터미널 작업이 낯설고 Mac 환경을 사용한다면 그래픽 인터페이스가 갖춰진 프로그램을 찾아보게 됩니다. 로컬 모델 기반 Mac 프로그램과 클라우드 도구의 기능 차이는 Subanana와 MacWhisper 비교 글에 상세히 정리되어 있습니다.
설치 없이 쓰는 대안: 클로바노트와 Subanana
복잡한 설정 없이 바로 쓰고 싶다면 클라우드 기반 도구가 현실적인 대안이 됩니다.
클로바노트
클로바노트 도움말에 따르면 매월 300분의 무료 사용 시간이 주어지고, 데이터 수집에 동의하면 300분이 더 주어집니다. 180분이 넘는 파일은 180분까지만 변환됩니다. 개인 계정 기준으로는 추가 시간을 별도로 구매할 수 없습니다.
업로드 파일에도 조건이 있습니다. 클로바노트 업로드 안내에 따르면 .m4a, .mp3, .aac, .amr, .wav 확장자를 가진 오디오 파일만 업로드할 수 있으며, 파일당 최대 용량은 300MB로 제한됩니다. 회의 녹음 위주의 짧은 한국어 오디오를 변환할 때 유용합니다.
Subanana
Subanana는 별도 프로그램 설치 없이 웹 브라우저에서 바로 사용하는 클라우드 서비스입니다.
동영상과 오디오 파일(MP4, MOV, WEBM, MP3, M4A, WAV 등)을 형식 변환 없이 바로 업로드할 수 있습니다. 모든 플랜에서 파일당 최대 8시간, 30GB까지 지원합니다. 공개된 유튜브나 인스타그램 링크를 붙여넣어 전사하는 것도 가능합니다.
한국어를 포함하여 95개 이상의 언어를 지원합니다. 전사 모드에서는 참석자 목소리를 구분하는 화자 분리와 불필요한 추임새 정리를 기본으로 처리하며 번역 언어 1개를 추가할 수 있습니다. 화자 분리 음성 전사 기능이 필요할 때 작업 시간을 줄여 줍니다.
자막 모드에서는 화면 표시에 맞춘 타임코드 자막을 만들고 다국어 번역 자막을 생성합니다. 회의 모드를 선택하면 서식에 맞춘 회의 요약과 함께 타임스탬프가 포함된 결정 사항, 할 일 목록까지 도출해 냅니다.
웹 에디터에서 전사된 내용을 확인하고 수정한 뒤, 유료 플랜에서는 SRT, VTT, TXT, DOCX, XLSX, Markdown 형식으로 내보낼 수 있습니다.
무료 플랜에서는 매월 파일 3개까지 올려 파일마다 앞 15분 결과를 미리 확인할 수 있습니다. 내보내기와 복사는 유료 플랜에서 가능합니다.
어떤 방법을 고를까
각 도구의 특성을 비교하여 본인의 작업 흐름에 맞는 방식을 선택할 수 있습니다.
| 항목 | 로컬 Whisper | 클로바노트 | Subanana |
|---|---|---|---|
| 설치 | 필요 (Python·ffmpeg) | — | 불필요 (웹 브라우저) |
| 영상 파일 바로 올리기 | — | 오디오 파일만 | 가능 (MP4·MOV 등) |
| 화자 분리·회의 요약 | — | — | 화자 분리·회의 요약(결정 사항·할 일) |
| 번역 | 영어 번역만 (--task translate) | — | 가능 (자막 모드는 여러 언어) |
| 무료로 할 수 있는 것 | 오픈소스(MIT)로 무료 | 매월 300분 | 월 3개 파일, 파일마다 앞 15분 미리보기 (내보내기는 유료) |
표의 — 표시는 이 글에서 공식 문서로 확인하지 않은 항목이라는 뜻입니다. 해당 기능이 없다는 의미는 아닙니다.
- 로컬 Whisper가 맞는 경우: 외부로 보내면 안 되는 기밀 녹음을 다루고, 고성능 GPU와 파이썬 명령어 환경을 다루는 데 익숙할 때 적합합니다.
- 클로바노트가 맞는 경우: 한국어 대화 음성 위주이고 영상 업로드가 필요 없으며, 매월 주어지는 300분 이내로 가볍게 회의 내용을 기록할 때 알맞습니다.
- Subanana가 맞는 경우: 영상 텍스트 변환 작업을 바로 처리해야 하거나, 긴 녹음 파일에서 화자 구분, 번역, 결정 사항이 정리된 회의록 산출물이 필요할 때 적합합니다.
자주 묻는 질문
Q. Whisper는 무료인가요?
네, Whisper는 MIT 라이선스 기반 오픈소스 프로젝트입니다. 코드와 모델 가중치를 비용 없이 내려받아 자유롭게 사용할 수 있습니다.
Q. 한국어 음성도 정확하게 인식하나요?
Whisper 공식 README에 따르면 음성 인식 성능은 언어에 따라 편차가 크게 나타납니다. 녹음 환경과 화자의 발음, 배경 소음에 따라 결과가 달라지므로 직접 다루는 파일로 테스트해 보아야 합니다.
Q. 외장 GPU가 없는 컴퓨터에서도 쓸 수 있나요?
그래픽 카드(CUDA)가 없으면 Whisper는 기본으로 CPU에서 실행됩니다. 속도는 느려질 수 있습니다. README 표를 보면 tiny와 base 모델은 필요한 VRAM이 약 1GB로 가장 가볍습니다. 사양이 높지 않은 컴퓨터라면 이런 작은 모델부터 시험해 보는 것이 현실적입니다.
Q. Whisper로 한국어를 다른 언어로 번역할 수 있나요?
--task translate 명령어를 사용하면 한국어 음성을 영어 텍스트로 번역할 수 있습니다. 번역 결과는 영어로만 나오며, README는 turbo가 아닌 medium이나 large 모델을 권합니다.
Q. 회의 녹음에서 화자 분리가 자동으로 되나요?
Whisper 공식 README는 음성 인식, 번역, 언어 식별을 중심으로 설명하고, 기본 결과물은 txt, vtt, srt 같은 텍스트와 자막 파일입니다. 참석자별 발언을 나눈 결과가 필요하다면 Subanana의 전사 모드처럼 화자 구분을 기본 지원하는 도구를 쓰는 것이 효율적입니다.