Speaker diarization (phân biệt người nói) là công nghệ xác định "ai nói, vào lúc nào" trong một tệp âm thanh hoặc video ghi âm. Thay vì gom toàn bộ nội dung thành một khối chữ dài khó đọc, hệ thống sẽ tự động nhận biết điểm đổi giọng và gắn nhãn theo từng lượt phát biểu. Trong bài này, "tách giọng người nói" nghĩa là chia bản chép lời theo từng người, không phải tách bản ghi âm thành nhiều tệp âm thanh riêng cho từng người. Nếu bạn cần tách thành các rãnh âm thanh riêng, hãy tìm công cụ tách nguồn âm thanh (speech separation); đó là bài toán khác.
Bạn cần gì?
- Cần làm biên bản cuộc họp nhiều thành viên: Hãy sử dụng công cụ AI chạy trên trình duyệt tích hợp sẵn tính năng tự động phân biệt người nói.
- Cần ghi chép nội dung phỏng vấn 2 người: Đặt trước số người nói là 2 để hệ thống không chia thừa nhãn.
- Cần tự vận hành trên máy tính cá nhân và biết lập trình Python: Dùng Whisper kết hợp pyannote, hoặc dùng WhisperX (đã gói sẵn cả hai).
- Cần biết chính xác họ tên từng người phát biểu: Đó là nhận diện người nói (speaker identification), thường cần mẫu giọng đăng ký trước. Với biên bản họp, cách nhanh hơn là phân biệt người nói rồi gán tên cho từng nhãn khi rà soát.
Speaker diarization là gì? Khác gì chép lời?
Trong quá trình chuyển đổi âm thanh thành văn bản, công nghệ chép lời (Speech-to-Text) và speaker diarization đảm nhận hai vai trò hoàn toàn tách biệt:
- Chép lời (Speech-to-Text / STT): Trả lời cho câu hỏi "nội dung được nói là gì?". Mô hình nghe âm thanh và chuyển lời nói thành chữ.
- Speaker diarization (Phân biệt người nói): Trả lời cho câu hỏi "ai nói và nói vào lúc nào?". Thuật toán phân tích đặc trưng của từng giọng nói để xác định thời điểm người này ngừng nói và người khác bắt đầu.
Nếu chỉ sử dụng công nghệ chép lời đơn thuần qua một công cụ chuyển giọng nói thành văn bản, bạn sẽ nhận về một đoạn văn bản dài dằng dặc mà không biết ranh giới đối thoại nằm ở đâu. Khi kết hợp với speaker diarization, văn bản sẽ tự động được cấu trúc thành các đoạn rõ ràng: "Người nói 1:...", "Người nói 2:...".
Điều này đặc biệt quan trọng đối với các tệp ghi âm từ cuộc họp nội bộ, thảo luận trên Google Meet, cuộc phỏng vấn nghiên cứu, chương trình podcast hay các bản ghi âm cuộc gọi Zalo. Thiếu đi tính năng này, việc rà soát lại người đưa ra quyết định hay phát biểu quan điểm sẽ tốn rất nhiều thời gian.
Phân biệt người nói và nhận diện người nói khác nhau thế nào
Trong thực tế, nhiều người vẫn gọi việc gắn nhãn Người nói 1, Người nói 2 là "nhận diện người nói". Nếu bạn chỉ cần biết câu nào của ai, thứ bạn tìm chính là speaker diarization. Về kỹ thuật, hai khái niệm này khác nhau ở kết quả và dữ liệu đầu vào.
Phân biệt người nói (speaker diarization) chỉ phân nhóm các đoạn phát ngôn dựa trên đặc tính âm thanh tương đồng trong cùng một tệp ghi âm. Hệ thống sẽ tạm đặt tên là Người nói A, Người nói B hoặc Người nói 1, Người nói 2 mà không hề biết danh tính thực tế của họ ngoài đời thực.
Ngược lại, nhận diện người nói (speaker identification) đi xa hơn một bước: xác định chính xác danh tính hoặc tên gọi của người phát biểu. Để làm được điều này, hệ thống thường cần có giọng mẫu đã được đăng ký từ trước để tiến hành đối khớp dấu giọng (voiceprint).
| Tiêu chí | Phân biệt người nói (Speaker Diarization) | Nhận diện người nói (Speaker Identification) |
|---|---|---|
| Kết quả nhận được | Chia đoạn văn bản và gắn nhãn theo người (Người nói 1, Người nói 2...) | Xác định đích danh tên người nói (ví dụ: Anh Minh, Chị Lan...) |
| Đăng ký giọng trước | Không cần (chỉ phân tích độ khác biệt âm thanh trong tệp) | Thường cần mẫu giọng của từng người từ trước |
Trong đa số trường hợp soạn thảo biên bản họp hay biên soạn bản ghi phỏng vấn thông thường, bạn chỉ cần tính năng phân biệt người nói là đã đủ để làm việc hiệu quả mà không cần quy trình thu thập mẫu giọng phức tạp.
Vì sao phân biệt người nói hay bị sai
Thuật toán phân tích âm học phụ thuộc rất nhiều vào dữ liệu âm thanh đầu vào. Khi bản ghi âm gặp các vấn đề sau, hệ thống rất dễ gán nhầm người hoặc chia một người thành nhiều nhãn khác nhau:
- Mọi người nói chồng lên nhau: Khi hai hoặc nhiều người cướp lời, tranh luận sôi nổi hoặc đệm các từ như "dạ", "ừ", "đúng rồi" trong lúc người khác đang nói, các giọng chồng lên nhau khiến thuật toán khó tìm ra ranh giới tách đoạn.
- Âm sắc giọng nói quá giống nhau: Những người có cùng giới tính, độ tuổi, cùng tông giọng hoặc cách nhả chữ tương đồng thường khiến hệ thống phân loại nhầm thành một người duy nhất.
- Tạp âm môi trường hoặc micro đặt quá xa: Nếu cả phòng họp dùng chung một micro đặt giữa bàn lớn, giọng người ngồi xa micro sẽ bị nhỏ, kèm theo tiếng vọng phòng và tiếng quạt gió, khiến đặc trưng giọng bị biến dạng.
- Âm thanh cuộc gọi và họp trực tuyến bị nén: Tệp âm thanh từ các cuộc gọi điện thoại hoặc phần mềm họp qua mạng thường bị nén dải tần để tiết kiệm băng thông. Việc suy giảm chất lượng âm thanh làm mất đi nhiều chi tiết quan trọng giúp nhận biết giọng người.
Để cải thiện kết quả phân tách, chất lượng ghi âm ban đầu là yếu tố quyết định. Bạn nên sử dụng micro cá nhân hoặc đặt thiết bị thu âm gần người nói, lựa chọn không gian yên tĩnh, điều phối cuộc họp trật tự để hạn chế ngắt lời. Ngoài ra, việc thiết lập trước số lượng người tham gia trong công cụ chép lời cũng giúp hệ thống gắn đúng số nhãn hơn.
3 cách để có bản chép lời phân biệt người nói
Tùy vào nhu cầu công việc, mức độ am hiểu công nghệ và yêu cầu về dữ liệu, bạn có thể lựa chọn một trong 3 phương án dưới đây.
1. Công cụ AI trên trình duyệt
Đây là cách tiện lợi nhất cho người làm văn phòng, nhà báo hay các nhà sáng tạo nội dung. Bạn chỉ cần tải tệp ghi âm lên trình duyệt web, nền tảng đám mây sẽ tự động xử lý toàn bộ quá trình chép lời và tách giọng người nói.
Ưu điểm lớn nhất là không cần cài đặt phần mềm nặng máy, không đòi hỏi cấu hình phần cứng và có sẵn giao diện biên tập trực quan để chỉnh sửa nhanh. Nhiều nền tảng còn tích hợp sẵn khả năng tóm tắt và trích xuất ghi chú tự động từ nội dung đã phân tách.
2. Tự chạy Whisper và pyannote hoặc WhisperX trên máy tính
Nếu bạn biết lập trình Python và muốn dữ liệu không rời khỏi máy của mình, bạn có thể tự thiết lập quy trình mã nguồn mở.
Bản thân OpenAI Whisper chép lời (và có thể dịch sang tiếng Anh) nhưng không gắn nhãn người nói. Để có nhãn người nói trên máy cục bộ, bạn cần kết hợp Whisper với một thư viện diarization chuyên biệt như pyannote.audio. Với quy trình này, pyannote sẽ quét tệp âm thanh để đánh dấu các mốc đổi giọng, sau đó văn bản chép lời từ Whisper sẽ được căn chỉnh khớp vào từng mốc thời gian đó. Mô hình của pyannote được phát hành trên Hugging Face và yêu cầu người dùng phải tạo tài khoản, chấp nhận điều khoản sử dụng và tạo mã truy cập (token).
Một hướng đi khác là sử dụng WhisperX, một dự án mã nguồn mở tích hợp sẵn Whisper, thuật toán căn chỉnh cấp độ từ (forced alignment) và pyannote-audio vào chung một đường ống xử lý. Dù cách này giúp việc kết nối thuận tiện hơn, bạn vẫn phải tự tay cấu hình môi trường Python, quản lý thư viện và chấp nhận tốc độ xử lý phụ thuộc vào phần cứng; muốn chạy nhanh thường cần máy có card đồ họa (GPU).
3. Thiết bị ghi âm hội nghị chuyên dụng
Một số máy ghi âm hội nghị có kèm phần mềm chép lời riêng. Cách này hợp với các cuộc họp trực tiếp cần âm thanh rõ, nhưng bạn phải mua thiết bị trước, và kết quả phân biệt người nói vẫn phụ thuộc vào phần mềm đi kèm.
Chọn công cụ phân biệt người nói: 5 điều cần kiểm tra
Trước khi áp dụng một công cụ vào công việc thường nhật, bạn nên cân nhắc 5 tiêu chí sau:
- Khả năng thiết lập trước số lượng người nói: Công cụ có cho phép bạn nhập số người tham gia (ví dụ: cuộc phỏng vấn 2 người) hay không? Việc định sẵn số lượng giúp hệ thống không chia thừa nhãn.
- Khả năng kiểm tra với âm thanh thực tế: Hãy thử nghiệm công cụ bằng chính các bản ghi âm quen thuộc của bạn như âm thanh phòng họp, tiếng cuộc gọi hay tệp thu từ một app ghi âm trên điện thoại. Xem trước kết quả xử lý trong điều kiện có tạp âm thực tế là cách đánh giá chuẩn xác nhất.
- Trình biên tập nhãn hội thoại tiện lợi: Sau khi máy tách đoạn tự động, bạn có thể dễ dàng đổi tên nhãn hàng loạt (ví dụ: đổi "Người nói 1" thành tên cụ thể) hay sửa lại các điểm ngắt câu sai mà không làm xáo trộn văn bản hay không.
- Định dạng xuất tệp và khả năng làm biên bản: Nền tảng có hỗ trợ tải về các định dạng văn bản thông dụng như DOCX, TXT hay phụ đề SRT không? Công cụ có tích hợp tính năng tạo ghi chú qua trợ lý AI ghi chép cuộc họp để chuyển bản chép lời thành biên bản và danh sách đầu việc hay không.
- Chính sách dữ liệu và chi phí rõ ràng: Tìm hiểu xem dịch vụ có chính sách bảo mật thế nào, dữ liệu được lưu trữ hay xóa bỏ ra sao và mức chi phí nâng cấp hàng tháng có phù hợp với ngân sách sử dụng lâu dài hay không.
Cách phân biệt người nói với Subanana
Subanana là ứng dụng web cho phép bạn thực hiện chép lời và tách nhãn người nói hoàn toàn trên trình duyệt mà không cần cài đặt phần mềm. Quy trình thực hiện gồm 4 bước đơn giản:
- Tải tệp lên hệ thống: Mở Subanana trên trình duyệt, tải lên tệp âm thanh hoặc video từ máy tính (mọi gói cước đều hỗ trợ tệp tối đa 30 GB và 8 giờ mỗi tệp). Bạn cũng có thể dán trực tiếp đường dẫn công khai từ YouTube, Facebook hay Instagram.
- Chọn chế độ, ngôn ngữ và số người nói: Chọn chế độ chép lời, hoặc chế độ tóm tắt cuộc họp (có 14 mẫu tóm tắt dựng sẵn). Chọn ngôn ngữ nguồn của tệp ghi âm (Subanana hỗ trợ hơn 95 ngôn ngữ, trong đó có tiếng Việt). Với số người nói, bạn có thể để hệ thống tự xác định hoặc tự nhập số người tham gia.
- Xử lý văn bản tự động: Hệ thống sẽ tiến hành chép lời, ngắt câu, thêm dấu câu và tách biệt từng lượt nói. Với những người đã có trong workspace của bạn, Subanana tự điền tên người nói; trường hợp chưa chắc chắn sẽ hiện dưới dạng gợi ý để bạn xác nhận. Với chế độ tóm tắt cuộc họp, hệ thống còn tự rút ra các quyết định và đầu việc kèm mốc thời gian để bạn làm biên bản họp.
- Rà soát và xuất dữ liệu: Kiểm tra lại nội dung trên trình chỉnh sửa trực quan. Với các gói trả phí (bắt đầu từ gói Lite, 60 phút mỗi tháng, giá US$18/tháng nếu trả theo tháng hoặc tương đương US$9/tháng nếu trả theo năm), bạn có thể xuất kết quả ra nhiều định dạng như Word (DOCX), TXT, Excel (XLSX), Markdown hoặc phụ đề SRT, VTT. Gói miễn phí cho bạn xem trước 15 phút đầu của mỗi tệp trong trình chỉnh sửa, tối đa 3 lượt tải lên mỗi tháng. Gói miễn phí không xuất được tệp bản chép lời hay phụ đề; chỉ tải được bản tóm tắt AI dạng Word/Markdown và một đoạn video 15 giây có hình mờ (tối đa 720p).
Câu hỏi thường gặp
Speaker diarization là gì?
Speaker diarization là quá trình phân tích âm thanh để xác định "ai nói, khi nào". Khác với công nghệ chép lời vốn chỉ chuyển đổi âm thanh thành mặt chữ, diarization giúp chia nhỏ văn bản thành từng lượt phát biểu tương ứng với từng người tham gia, gán các nhãn như Người nói 1, Người nói 2.
Phân biệt người nói và nhận diện người nói khác nhau ra sao?
Phân biệt người nói (diarization) chỉ nhóm các câu nói của cùng một người trong một tệp âm thanh dựa vào đặc trưng giọng mà không cần biết họ là ai ngoài đời. Trong khi đó, nhận diện người nói (identification) cần có dữ liệu mẫu giọng thu thập từ trước để đối chiếu và gọi đúng họ tên của người đó.
Làm sao để tách giọng người nói chính xác hơn?
Yếu tố quan trọng nhất là chất lượng tệp ghi âm. Hãy giữ micro gần người nói, ghi âm trong không gian ít tiếng vang, nhắc nhở mọi người hạn chế nói chen ngang và nhập trước số người nói trong công cụ trước khi chép lời. Sau khi có kết quả, hãy rà lại các nhãn người nói một lượt; đây là bước giúp biên bản chuẩn nhất.
Whisper có tự phân biệt người nói không?
Không. OpenAI Whisper chép lời (và có thể dịch sang tiếng Anh) nhưng không gắn nhãn người nói. Để có nhãn người nói khi chạy trên máy tính cá nhân, bạn cần kết hợp Whisper với một thư viện phân biệt người nói như pyannote.audio, hoặc dùng WhisperX (đã gói sẵn cả hai).
Phân biệt được tối đa bao nhiêu người nói?
Khả năng phân biệt được bao nhiêu người phụ thuộc vào chất lượng tệp ghi âm và thuật toán của từng công cụ cụ thể. Khi số lượng người trong một cuộc họp quá đông hoặc có nhiều người cùng tông giọng, độ chính xác trong việc gắn nhãn có thể suy giảm. Trong các trường hợp này, việc nhập trước số người nói thực tế sẽ giúp hệ thống kiểm soát kết quả tốt hơn.
Tóm lại
Speaker diarization giúp biến những tệp ghi âm nhiều giọng nói thành biên bản họp hay tài liệu phỏng vấn rõ ràng, mạch lạc. Thay vì tốn hàng giờ nghe lại từng câu để ghi chú ai vừa phát biểu, việc lựa chọn một giải pháp phân tách tự động trên trình duyệt kết hợp với một bản ghi âm rõ tiếng sẽ giúp bạn hoàn thiện tài liệu nhanh hơn nhiều. Cách chắc chắn nhất là thử với một đoạn ghi âm ngắn của chính bạn trước khi dùng cho việc thật.