음성인식 AI가 얼마나 정확하냐는 질문에는 보통 모델 이름이나 점수 하나가 따라옵니다. 하지만 실제 결과는 어떤 모델을 쓰느냐보다 녹음 자체의 조건에 더 크게 좌우됩니다. 한국어와 영어를 섞어 말하는지, 여러 명이 겹쳐 말하는지, 배경 소음이 얼마나 섞여 있는지, 억양이나 사투리가 얼마나 강한지, 이 네 가지가 실제 결과를 바꿉니다.
실제로 회의나 인터뷰 녹음을 텍스트로 바꿔본 사람이라면 이 차이를 느껴봤을 것입니다. 이 글에서는 각 요인이 왜 문제가 되는지, 그리고 무엇을 확인하면 되는지를 정리합니다.
음성인식 AI는 어떻게 작동하나요?
음성인식(STT, Speech-to-Text) AI는 회의 내용을 사람처럼 "이해"하는 것이 아닙니다. 입력된 음성 파형을 분석해서, 해당 언어에서 통계적으로 가장 그럴듯한 단어의 배열로 바꾸는 작업을 합니다. 이 배열은 대량의 전사 데이터를 학습해 만들어진 패턴에서 나옵니다. 화자 한 명이 또렷하게 한 가지 언어로만 말하면 이 패턴과 잘 들어맞습니다. 반대로 두 사람이 겹쳐 말하거나, 문장 중간에 언어가 바뀌거나, 녹음 환경에 잡음이 많으면 입력된 음성이 모델이 학습한 패턴에서 점점 멀어집니다. 어떤 모델을 쓰든 마찬가지입니다. 아래 네 가지 요인은 바로 이 지점, 즉 입력이 학습된 패턴에서 얼마나 벗어나는지를 결정하는 조건들입니다.
정확도를 실제로 좌우하는 4가지 요인
1. 한국어와 영어를 섞어 쓰는 경우
한국어 업무 환경에서는 한 문장 안에서 영어 용어를 그대로 쓰거나, 인터뷰 중 긴 영어 인용이 섞이는 일이 흔합니다. 대부분의 전사 서비스는 파일을 업로드할 때 원본 언어를 하나만 지정하도록 요구하는 구조를 갖고 있고, Subanana의 파일 업로드 방식도 마찬가지입니다. 이 구조 자체가 언어 혼용 구간에서 정확도가 흔들리는 근본 원인입니다. 지정한 언어와 다른 언어로 말한 구간이 나오면, 시스템이 그 구간의 언어를 자동으로 감지해서 바꾸지 않고 처음 지정한 언어를 기준으로 계속 처리합니다.
반면 Subanana의 실시간 자막(라이브 캡션) 기능은 이 부분이 다르게 동작합니다. 실시간 세션에서는 한 번에 하나 이상의 언어를 함께 처리할 수 있어서, 문장 중간에 언어가 바뀌는 상황을 그대로 반영합니다. 다만 이건 실시간 세션에서만 해당하는 특성이고, 같은 행사를 녹음한 뒤 일반 파일로 다시 처리하면 실시간 때와 같은 방식으로 언어 전환이 반영되지는 않습니다. 실무적으로는, 녹음에 언어 혼용이 많다는 걸 미리 알고 있다면 업로드 파이프라인이 지정한 언어를 기준으로 고정된다는 점을 감안하고, 다른 언어가 등장하는 구간을 검토 단계에서 따로 확인하는 게 좋습니다.
2. 여러 명이 동시에, 혹은 빠르게 말하는 회의·인터뷰
화자 분리(누가 무슨 말을 했는지 구분하는 것)는 사실 전사 정확도와는 별개의 기술적 문제입니다. 단어 하나하나는 정확히 받아 적었는데 화자 라벨만 틀리는 경우도 있고, 그 반대도 있습니다. 발언이 겹치는 구간, 목소리 톤이 비슷한 화자들, 마이크에서 멀어진 화자는 모두 화자 분리를 어렵게 만드는 조건인데, 이 부분의 세부 원리는 Subanana의 화자 분리 설명 글에서 더 자세히 다루고 있으므로 여기서는 반복하지 않겠습니다.
회의·인터뷰 상황에 특히 해당하는 부분만 짚으면, Subanana의 회의록 도구는 회의록·전사 모드에서 처리 전에 참여 인원수를 직접 지정하거나 자동 감지에 맡길 수 있고, 이 두 모드에서는 문장 부호와 문단 구분이 자동으로 적용됩니다(끌 수 있는 옵션이 아닙니다). 단어 하나하나는 정확해도 문장 부호나 문단 구분이 없는 텍스트는 회의록으로 바로 쓰기 어렵다는 점에서, 이건 별개지만 실무에서는 같이 따라오는 문제입니다.
3. 배경 소음과 녹음 환경
네 가지 요인 중 가장 통제하기 쉬운 항목입니다. 녹음이 시작되기 전에 이미 결정되기 때문입니다. 구글 미트나 마이크로소프트 팀즈로 진행하는 온라인 회의라면, Subanana의 회의 봇이 플랫폼이 이미 믹싱한 오디오를 그대로 받습니다. 회의실 안에 있는 참석자의 음성은 회의실 마이크를 거쳐 플랫폼으로, 원격 참석자의 음성은 플랫폼에서 곧바로 전달되는 구조라서, 하이브리드 회의(일부는 회의실에, 일부는 원격으로 참석)라도 봇 하나만 붙이면 별도 마이크 설정 없이 비교적 깨끗한 오디오를 확보할 수 있습니다.
줌(Zoom)은 이 회의 봇이 지원되지 않지만, 대신 Chrome 확장 프로그램으로 줌 회의를 녹음하는 경로가 따로 있습니다. 확장 프로그램 없이 마이크만으로 줌 하이브리드 회의를 녹음하는 경우라면, 회의실의 잔향, 마이크 위치, 에어컨 소음, 발언 겹침 같은 실제 녹음 환경이 결과 품질의 실질적인 상한선이 됩니다. 이 지점에서는 어떤 모델을 쓰느냐보다 녹음 환경을 어떻게 세팅하느냐가 결과에 더 큰 영향을 줍니다.
4. 억양과 사투리
지역 사투리, 화자의 연령대, 한국어가 모국어가 아닌 화자의 발음 등 억양 변수는 실제로 정확도에 영향을 주는 요인이지만, Subanana에는 별도의 "사투리 모드"가 따로 있지 않습니다. 한국어는 하나의 선택 가능한 원본 언어일 뿐, 사투리별로 나뉘어 있지 않습니다.
사투리마다 별도로 대응하는 전용 모델을 두는 대신, 여러 음성인식 모델을 지속적으로 벤치마크해서 언어별로 가장 성능이 좋은 모델로 라우팅하는 구조로 접근합니다. 특정 구간의 결과물에서 품질 문제(할루시네이션 등)가 감지되면 자동으로 다른 검증된 모델로 재처리하며, 이 재처리에는 추가 요금이 붙지 않습니다. 모델 하나가 어려운 억양에서 실패해도 다음 단계가 있다는 뜻이지만, 특정 결과를 보장하지는 않습니다. Subanana도 억양별 정확도 수치는 공개하지 않습니다. 사투리가 강하거나, 모국어가 아닌 화자가 있거나, 전문 용어가 많은 녹음이라면 짧은 샘플을 무료로 돌려보고 직접 읽어보는 편이 어느 업체의 대표 수치보다 확실합니다.
그래서 정확도를 어떻게 확인해야 할까요?
- 업로드 전에 녹음에 언어 혼용이 많은지 미리 파악하고, 두 번째 언어가 등장하는 구간은 결과에서 따로 확인합니다.
- 모드에서 참여 인원수를 지정할 수 있다면 지정하고, 문장 부호가 없는 텍스트를 회의록으로 바로 쓰려 하지 않습니다.
- 온라인 회의라면 가능한 경우 임시 마이크 녹음보다 플랫폼 회의 봇(미트·팀즈)을 우선합니다. 회의실 음향이라는 변수를 아예 없앨 수 있습니다.
- 사투리가 강하거나, 언어 혼용이 심하거나, 소음이 많은 녹음처럼 특이한 조건이라면 전체를 한 번에 맡기기 전에 짧은 샘플로 먼저 테스트합니다.
Subanana는 이 네 가지 요인을 어떻게 다루나요?
위 네 가지 요인에 대응해 Subanana 안에서 실제로 작동하는 장치는 층이 나뉘어 있습니다. 언어별 모델 라우팅과 품질 문제 발생 시 자동 재처리(요인 4에서 설명한 그 구조)가 첫 번째 층입니다. 전사·회의록 모드에서는 문장 부호와 문단 구분을 자동으로 넣는 가공 단계가 별도로, 항상 켜진 채로 작동합니다(끌 수 있는 옵션이 아닙니다). 이 단계는 인식된 단어 자체를 바꾸지 않고, 받아 적은 결과를 회의록으로 바로 쓸 수 있는 형태로 정리하는 역할만 합니다. 여기에 더해 LLM이 잘못 인식된 단어(오타)와 문장 부호 오류만 대상으로 교정을 제안하고 0~100점 품질 점수를 매기는 단계가 따로 있습니다(빠진 글자를 채워 넣는 기능은 아닙니다). 마지막으로, 자막 한 줄당 글자 수가 읽기에 너무 빽빽하거나 헐거운 구간을 잡아내는 CPS 체크는 규칙 기반으로 작동합니다(AI가 판단하는 신뢰도 점수가 아닙니다).
무료 플랜에서는 업로드한 파일마다 첫 15분을 미리보기로 확인할 수 있어서, 위에서 설명한 조건이 실제로 어떻게 처리되는지 자신의 녹음으로 먼저 확인해볼 수 있습니다. 다만 Subanana도 사용량이 무제한은 아닙니다. Free·Lite·Pro·Max 플랜마다 정해진 분 단위 사용량이 있고, 자막·전사 파일 내보내기는 유료 플랜에서 제공됩니다. Subanana의 AI 받아쓰기 도구에서 파일을 올려 화자별로 정리된 회의록을 직접 만들어볼 수 있습니다. 요금제별 사용량은 요금 안내 페이지에서 확인할 수 있습니다.
자주 묻는 질문
Q. AI는 음성을 인식할 수 있나요? 네, 이게 음성인식 AI의 기본 기능입니다. 관건은 어떤 녹음 조건에서도 정확도가 유지되는가이고, 위에서 다룬 네 가지 요인이 바로 그 조건입니다.
Q. 음성 AI는 어떻게 분석하나요? 음성 파형을 입력받아서, 대량의 전사 데이터를 학습해 만든 언어별 패턴을 바탕으로 가장 그럴듯한 단어 배열로 바꿉니다. 화자가 그 패턴에서 벗어날수록(언어 혼용, 발언 겹침, 소음, 강한 억양) 결과가 흔들리기 쉽습니다.
Q. 여러 명이 동시에 말하면 정확도가 떨어지나요? 발언이 겹치는 구간은 화자 분리와 전사 모두에 영향을 줄 수 있습니다. 화자 분리는 전사와는 별도의 기술 문제라서, 단어는 정확히 받아 적혔는데 화자 라벨만 틀리는 경우도 생깁니다. 자세한 원리는 화자 분리 음성 인식 원리 설명 글에서 다룹니다.
Q. 한국어와 영어를 섞어서 말해도 인식이 되나요? 파이프라인에 따라 다릅니다. 파일 업로드는 원본 언어를 하나 지정해야 하고 파일 중간에 자동으로 언어를 바꾸지 않는 반면, 실시간 세션은 한 번에 여러 언어를 처리하는 방식이 달라 언어가 바뀌는 상황을 더 유연하게 반영합니다. 자세한 내용은 위 1번 요인을 참고하세요.
정확도를 결정하는 벤치마크 점수 자체가 무엇을 재고, 무엇을 놓치는지가 궁금하다면 AI 받아쓰기 정확도, 벤치마크를 믿으면 안 되는 이유 글에서 더 자세히 다룹니다.