在進行多人會議記錄或深度訪談時，錄音轉文字後往往會遇到一個棘手的問題：系統把所有內容混成一整段，分不出哪一句是誰說的。要將錄音檔真正轉化為結構清晰、可以直接交付的會議記錄或訪談逐字稿，關鍵在於「講者分離」（Speaker Diarization）技術：由系統根據聲學特徵，自動標記出「講者 1：⋯⋯」、「講者 2：⋯⋯」。
本文將深入探討講者分離的底層原理、為什麼有時會出現辨識錯誤、如何透過收音技巧提高準確度，並分析目前主流的三條實踐路線。
講者分離與語音轉文字是兩件事
許多人以為語音轉文字工具天生就能辨識不同的人，但實際上這是兩套完全不同的技術流程：
- 語音轉文字（STT / ASR）：負責處理「講了什麼」，主要任務是將語音訊號轉換為對應的文字。
- 講者分離（Speaker Diarization）：負責處理「誰在什麼時候講」，主要任務是分析聲音頻率、音色等聲學特徵，偵測發言切換點，並將切斷後的音訊歸類給不同的人物標籤。
根據 Google Cloud 語音辨識技術文件的說明，講者分離在辨識流程中屬於獨立的運算參數：系統會偵測音訊中說話者的切換時機，並為音檔中偵測到的每種聲音賦予專屬編號。換句話說，講者分離是疊加在語音轉文字之上的另一層分析；唯有兩者協同運作，才能產出「按發言者分段」的清晰逐字稿。
不論是專案會議記錄、田野訪談整理，還是雙人 Podcast 製作，只要音檔內包含兩位以上的發言者，有沒有講者分離功能，產出內容的實用性可說是天差地遠。
什麼情況下容易分錯講者？
講者分離並非萬能，演算法在處理複雜聲音場景時，最容易出現「講者張冠李戴」或「同一個人被拆成兩位講者」的情況。常見原因包含：
- 發言重疊與搶話：當多人同時說話、插話或頻繁點頭附和時，演算法難以切分聲學邊界，最容易產生誤判。
- 聲線特徵相近：若與會者性別相同、年齡相仿且音調接近，系統提取出的聲音特徵向量差異極小，區分難度會大幅提升。
- 收音距離過遠與環境雜音：若是只用一支智慧型手機放在長型會議桌的一角收音，距離手機較遠的發言者聲音微弱且夾雜空間殘響，分離效果通常不理想。
- 高壓縮音訊：傳統電話錄音或線上通訊軟體高度壓縮後的音檔，高頻與低頻細節流失，留給演算法判斷聲音特徵的線索相對匱乏。
反過來說，前期的錄音品質越好，後續的講者分離就越精準。若條件允許，建議盡量讓每位發言者有獨立的收音麥克風、保持環境安靜，並由會議主持人適度控制發言節奏。此外，多數辨識工具支援「預先設定講者人數」，如果已知確切人數，手動指定通常會比全自動偵測更穩定。
三條實踐路線：雲端 AI、本機組合與專用設備
想要產出標註講者的逐字稿，目前市場上主要有三種解法：
1. 雲端 AI 語音轉文字工具（便捷、全自動）
透過瀏覽器上傳音訊或影片檔，雲端伺服器會自動完成語音轉文字、講者分離、標點符號修復與智慧分段。這類工具通常還整合了 AI 會議摘要功能，非常適合需要快速產出完整會議記錄的上班族、專案經理與文字工作者。唯一的考量是檔案需要上傳至雲端伺服器進行運算。
2. 本機開源 Whisper ＋ pyannote（免費、具技術門檻）
若團隊有高度資料隱私考量、檔案完全不能離開內部電腦，可以在本機端架設開源模型。需要特別留意的是：OpenAI 原版的 Whisper 模型只負責語音轉文字，本身並不具備講者分離能力。
開源社群的主流做法是搭配 pyannote.audio。根據 pyannote 專案說明，這套開源工具包專注於講者分離領域：包含語音活動偵測（VAD）、發言重疊偵測與講者分群。將 Whisper 與 pyannote 串接，便能建立「先辨識發言區段與人員，再逐段轉文字」的本機工作流。
- 適合對象：熟悉 Python 開發、具備環境建置能力，且電腦配有獨立 GPU 運算資源的技術人員。
- 代價：需要自行排除環境相容性問題、手動維護模型，並透過命令列介面操作。
3. 專用多軌錄音設備（硬體導向）
在實體會議室內配置多軌錄音介面或多支獨立指向性麥克風，直接在硬體端將每位發言者的聲音錄製成獨立音軌，後續再匯入軟體轉換。這種做法能從根本解決重疊與收音不清的問題，但前期需要投入較高的硬體採購與線路架設成本。
使用 Subanana 製作分講者逐字稿
Subanana 屬於第一條路線，使用者無需安裝任何環境，在瀏覽器中即可完成全自動的講者分離與逐字稿轉錄：
- 上傳檔案：上傳音訊或影片檔（單檔支援上限達 30 GB 或 8 小時），亦可直接貼上公開的 YouTube、Facebook 或 Instagram 影片連結。
- 選擇語言：支援超過 95 種語言辨識，上傳時選定會議的主要語言即可。
- 設定講者人數：可選擇讓系統自動偵測，或手動指定實際與會人數以提高穩定度。
- 校對與更名：轉錄完成後，逐字稿會自動標記段落並完成排版。使用者只需將預設的「講者 1」、「講者 2」替換為與會者的真實姓名，整份逐字稿便具備正式記錄的結構。
- 產生會議摘要：若需要進一步整理結論，系統可依據轉錄文字自動產出重點摘要、待辦事項與決議清單，並提供多種摘要範本供選擇。
轉錄完成後，建議花一至兩分鐘快速瀏覽講者標籤，針對少數重疊發言處進行手動修正，這是讓會議記錄品質達到專業標準最有效率的方式。Subanana 免費方案提供每月 3 次上傳額度，可直接預覽任何上傳檔案前 15 分鐘的轉錄成果；若需要匯出逐字稿檔案（支援 SRT、VTT、TXT、DOCX、XLSX、Markdown 等格式），可視需求升級至付費方案。
需注意的是：若機構內部政策嚴格規定資料絕對不得連網處理，那麼在本機端自行部署 Whisper 搭配 pyannote 會是更符合合規要求的選擇；而若是實體會議收音環境極度惡劣，優先改善麥克風硬體配置則是首要之務。
常見問題
講者分離（Speaker Diarization）的運作原理是什麼？
講者分離是透過音訊演算法分析聲音的聲學特徵（如基頻、共振峰與音色），系統會先將音檔切分為多個微小片段，篩除環境無聲部分，再透過分群演算法將特徵相似的聲音片段歸類為同一位講者代號，藉此釐清「誰在什麼時間點發言」。
如何提高講者分離的辨識準確率？
最有效的方法是改善源頭收音：盡量減少環境背景雜音、避免與會者同時搶話、拉近麥克風與發言者的距離。若使用軟體轉錄，在已知開會人數的情況下，手動指定講者數量會比全自動偵測更為精確。
OpenAI 的 Whisper 可以直接分辨講者嗎？
原生的 Whisper 模型只專注於語音轉文字，並不具備講者分離功能。若要在本機端達成講者分離，工程上通常需要將 Whisper 與專門處理聲學分群的開源工具（例如 pyannote.audio）結合，建構多階段的處理管線。
中文會議中夾雜英文，或是與會者有不同口音，系統還能分得出講者嗎？
可以。講者分離主要依賴發言者的物理聲音頻率與聲學特徵進行分群，而非單純依賴語言詞彙。因此，即使與會者在發言時中英夾雜、或是個別講者帶有不同腔調，只要每位講者的音色特徵維持一致且收音清晰，系統依然能辨識出發言者的切換。
想了解更多不同工具的特點與挑選建議，歡迎參考我們的評比指南：逐字稿軟體怎麼選，或前往 方案費用頁 查看適合您的轉錄方案。