EmotiVoice：支持多音色与情感控制的开源TTS引擎-编程实验室

EmotiVoice：让语音合成拥有情感与个性

你有没有想过，机器生成的声音也能“动情”？当语音助手用带着笑意的语调祝你早安，当游戏中的角色因愤怒而声音颤抖，当一段有声书随着情节起伏自然流露悲伤或惊喜——这不再是科幻场景。EmotiVoice 正在把这种富有表现力的语音交互变为现实。

这不是简单的文本转语音工具。它能捕捉一个人说话的音色特征，哪怕只有几秒钟录音；它能理解情绪，并将“快乐”“愤怒”“悲伤”这些抽象感受转化为真实可听的语调变化；它还能在中英文之间自如切换，甚至支持混合输入。更关键的是，这一切都可以在本地完成，无需上传任何数据到云端。

想象一下这个流程：你随手录下10秒的日常对话，上传到一个界面简洁的应用，然后输入一句话：“今天真是糟糕透顶！”点击生成——出来的不是平平无奇的朗读，而是一段明显带着沮丧和疲惫语气的语音，音色和你一模一样。整个过程不需要训练模型，也不依赖远程服务器。这就是 EmotiVoice 所实现的零样本声音克隆（Zero-Shot Voice Cloning）能力。

它的核心在于一套高度解耦的架构设计。系统通过一个说话人编码器（Speaker Encoder）从参考音频中提取音色嵌入向量（d-vector），再结合文本语义和独立的情感控制信号，在解码阶段合成出匹配目标音色与情绪状态的波形。这种机制借鉴了 VITS、YourTTS 等先进端到端 TTS 框架的设计思路，同时引入分层情感建模，使得三个维度——内容、音色、情感——可以自由组合、互不干扰。

比如你可以用张三的声音说一句愤怒的话，再用同样的声音平静地复述一遍，只需更改情感标签即可。这对虚拟角色、互动叙事等需要动态情绪表达的应用来说，意义重大。

目前项目内置了超过2000 种预训练音色，覆盖不同性别、年龄、语速和风格，从温柔女声到低沉男中音，再到童声或略带戏剧感的演绎风格，基本能满足大多数内容创作需求。如果你想要更个性化的声音，直接上传自己的音频样本就行。推荐使用 3~10 秒清晰、安静环境下的单声道 WAV 文件，采样率 16kHz，效果最佳。

情感方面，支持六类基础情绪控制：
- 😊 快乐（Happy）
- 😢 悲伤（Sad）
- 😠 愤怒（Angry）
- 😲 惊讶（Surprised）
- 😨 恐惧（Fearful）
- 😐 中性（Neutral）

这些情感并非简单地调整音高或语速，而是通过联合训练的情感编码路径注入声学模型，影响韵律、重音分布、呼吸感乃至轻微的嗓音沙哑程度，从而生成更具真实感的情绪表达。

实际案例中，有开发者将其用于独立游戏中 NPC 的对话系统：战斗失败时自动切换为“恐惧”模式，胜利后则用“兴奋”语调播报战果，极大增强了沉浸感。也有创作者用亲人旧录音合成了纪念性质的语音片段，在家庭聚会中播放时令人动容。

对于普通用户而言，最方便的方式是使用 Web UI。图形界面直观友好，拖拽上传参考音频、输入文本、选择情感类型、点击生成，全程无需代码操作。输出的.wav文件可以直接导出用于视频配音、播客制作或集成进其他多媒体项目。

而对开发者来说，EmotiVoice 提供了灵活的接入方式：

使用方式	适用场景
Web UI	内容创作者、教育者、非技术人员快速试用
Python API	集成进应用程序、批量处理任务、研究实验
Docker 容器	自动化部署、CI/CD 流水线、服务化封装
批量脚本	有声书整章生成、客服语音库构建

如果你想快速体验，Docker 是首选方案：

docker run -dp 127.0.0.1:8501:8501 syq163/emoti-voice:latest

运行后访问http://localhost:8501即可进入 Web 界面。如果希望持久化保存生成结果，建议挂载本地目录：

docker run -dp 127.0.0.1:8501:8501 \ -v $(pwd)/output:/app/output \ syq163/emoti-voice:latest

科研或开发环境下，推荐使用 Conda 创建隔离环境：

conda create -n emotivoice python=3.8 -y conda activate emotivoice pip install torch==1.12.1+cu113 torchaudio==0.12.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html pip install numpy numba scipy transformers soundfile yacs g2p_en jieba pypinyin pypinyin_dict matplotlib

接着克隆项目并启动服务：

git clone https://github.com/WangZeJun/EmotiVoice.git cd EmotiVoice python app.py --host 127.0.0.1 --port 8501

模型下载部分，由于原始仓库托管于 GitHub，国内用户可能会遇到速度问题。为此，官方提供了多个加速渠道：

Gitee 镜像（同步更新）
https://gitee.com/mirrors/EmotiVoice
ModelScope 模型库（支持高速下载）
https://www.modelscope.cn/models/syq163/EmotiVoice

通过魔搭平台可显著提升大文件拉取效率，特别适合企业级部署或教学实训场景。

值得一提的是，macOS 用户还有专属的一键安装包。前往 Releases 页面下载EmotiVoice-MacOS-Installer.dmg，双击安装即可使用，完全免去命令行配置烦恼，非常适合设计师、作家等非技术背景用户。

API 调用也非常简洁。以下是一个典型的合成示例：

from synthesizer import Synthesizer synth = Synthesizer( model_path="models/emotive_tts.pt", speaker_encoder_path="models/spk_encoder.pt" ) wav = synth.tts( text="我真的很生气！你怎么能这么做？", ref_audio="angry_sample.wav", emotion="angry", speed=1.0 ) synth.save_wav(wav, "output_angry.wav")

这里的ref_audio不仅用于提取音色，还可以辅助情感编码器判断情绪强度（若启用音频驱动情感推断）。当然，也可以直接通过字符串指定情感类型，实现完全可控的输出。

底层架构上，EmotiVoice 采用多组件协同的工作流：

graph LR A[输入文本] --> B(Text Encoder) C[参考音频] --> D(Speaker Encoder) C --> E(Emotion Encoder) F[情感标签] --> E B --> G{Decoder<br>VITS-based} D --> G E --> G G --> H[高质量语音波形] I[Duration Predictor &<br>Pitch Contour Module] --> G

其中，Text Encoder 负责中英文分词与音素转换，Speaker Encoder 提取音色特征，Emotion Encoder 可选地融合音频或标签中的情感信息，最终由基于 VITS 的 Decoder 生成自然流畅的语音。此外，持续预测模块和基频轮廓建模进一步提升了语调的丰富性和节奏感。

这种设计不仅保证了高自然度，还实现了良好的泛化能力。即使面对未见过的音色或复杂情感组合，也能保持稳定输出。某种程度上，它延续了 VALL-E 和 YourTTS 在小样本语音合成上的探索路线，但在情感可控性方面走得更远。

应用场景非常广泛。在有声读物领域，作者可以用自己声音录制章节，根据不同段落设置情绪基调，让听众更能感受到文字背后的情感张力。在游戏开发中，NPC 对话可以根据玩家行为实时变情绪，比如从友好劝说到愤怒警告，增强交互真实感。在智能助手方向，家庭成员可以定制专属提醒语音，老人听到子女声音般的播报会更有安全感。而在虚拟偶像直播或数字人应用中，配合动作捕捉系统，EmotiVoice 能提供低延迟、高表现力的实时语音驱动能力。

社区也在持续活跃。项目开源托管于 GitHub，遵循宽松许可证协议，鼓励二次开发与功能扩展。无论是提交 Bug 报告、贡献新语言支持、优化 UI 体验，还是分享创意案例，都欢迎参与共建。