3行代码提取多人对话人声：Transformers语音分离

3行代码提取多人对话人声：Transformers语音分离

【免费下载链接】transformers🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers

周会录音里三个人同时说话，转写出来全是乱码。用 Transformers 库做语音分离，3行代码就能把混在一起的人声拆成每人一段独立音频，再分别交给识别模型转写。

它到底在做什么

一句话：让预训练模型把混合音频里的多个人声"拆线"。多人同时说话时，波形叠在一起，直接丢给语音识别会错得很厉害（错误率能上升30%以上）。分离模型先在海量混合音频上训练过，学会了"谁说了哪部分"。

流程不长，看这张图：

目前支持的主流架构，挑一个用就行：

• Conv-TasNet：基于卷积，速度快，适合实时分离场景
• SepFormer：基于 Transformer，分离保真度更高
• WHISPER-SEP：结合语音识别的多任务模型，分离和转写一次搞定

🚀 跑起来（最小可用路径）

环境准备就三步，先 clone 仓库再装依赖：

git clone https://gitcode.com/GitHub_Trending/tra/transformers cd transformers pip install -r examples/pytorch/speech-recognition/requirements.txt

然后核心代码只有这几行，先跑起来再说：

import soundfile as sf from transformers import pipeline # 加载预训练分离模型 separator = pipeline("audio-source-separation", model="facebook/sepformer-whamr") # 读入混合音频，分离并把每个说话人的结果存成文件 mixed_audio, sample_rate = sf.read("mixed_dialogue.wav") for i, audio in enumerate(separator(mixed_audio)["separated_audio"]): sf.write(f"speaker_{i+1}.wav", audio, sample_rate)

跑完你手上会拿到 speaker_1.wav、speaker_2.wav…… 每个文件里是一个人的干净人声，后面的转写、剪辑随便处理。想进一步串接分离和识别做全流程会议记录，可以看看 examples/pytorch/speech-recognition/ 下的脚本。

拿真实素材试一把

会议记录整理

你给它一段三人同时说话的周会录音，它输出几段独立音频，再逐段转写。效果对比（转写准确率）：

说白了，人越多越乱，分离的价值越大。

播客后期制作

你给它嘉宾和主播互相插话的单轨录音，它拆出两条人声流，嘉宾声线就能单独修音、降噪甚至整段剪掉复用。速度上，V100 上处理 10 秒音频只要 2 秒左右，约 4 倍实时，跑一小时的会议录音也不费劲。

🔧 效果不到位？拧这几个旋钮

别被参数吓到，高频的就下面几个：

• 采样率先统一：多数模型按 16kHz 训练，输入先重采样到 16kHz 再跑，效果差一大截。
• 解码参数：beam_size调大更准但更慢，并行靠num_workers：

result = separator(mixed_audio, num_workers=4, beam_size=5)

• 静音噪声：传threshold（0.8 左右）过滤非语音段，输出更干净。
• 还不行就换大模型：比如 sepformer-whamr-large，用速度换精度。

高频问题速查：

• 模型下载慢或失败→ 配置国内镜像和本地缓存，huggingface-cli --resume-download断点续传
• 分离后人声串音→ 换更大模型，或先对输入做静音分段再分别处理
• 分离太慢→ 调低num_workers，或换成更快的 Conv-TasNet 架构

🧭 接下来去哪儿

后续开发计划主要三个方向：支持多语言混合分离、移动端轻量化部署、实时会议场景优化。

想动手的话，从项目根目录的 CONTRIBUTING.md 入手：挑一个 issue 按说明改完提 PR 就行，核心开发团队一般 48 小时内响应。

下次再录多人会议，记得先过一遍分离。

【免费下载链接】transformers🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers