为什么你的语音系统没情绪？SenseVoiceSmall富文本识别实战-编程实验室

为什么你的语音系统没情绪？SenseVoiceSmall富文本识别实战

你有没有遇到过这样的情况：语音助手准确地转写了你说的话，但完全听不出你是开心、生气还是无奈？传统的语音识别系统大多只关注“说了什么”，却忽略了“怎么说”的深层信息。而真实的人类交流中，语气、情感、背景音这些“非文字”元素往往比字面意思更重要。

阿里巴巴达摩院推出的SenseVoiceSmall模型，正是为了解决这一痛点而生。它不仅是一个高精度的多语言语音识别工具，更是一个能“听懂情绪”的智能语音理解系统。本文将带你实战部署并深入体验这款支持情感与声音事件识别的富文本语音模型，看看它是如何让机器真正“听懂”人类表达的。

1. 什么是富文本语音识别？

我们常说的“语音转文字”，其实只是语音识别的第一步。而富文本识别（Rich Transcription）则走得更远——它不仅要转写内容，还要还原说话时的情绪、语气、背景环境等上下文信息。

想象一下：

一段客服录音里，客户说“好的，没问题”，但语气明显不耐烦。
一段视频采访中，嘉宾说到动情处突然哽咽。
一场直播里，观众突然爆发出热烈掌声和笑声。

如果系统只能识别出文字，那这些关键的情绪信号就会被彻底忽略。而 SenseVoiceSmall 正是为此设计的：它能在转写文字的同时，自动标注出HAPPY、ANGRY、SAD等情感标签，以及BGM、APPLAUSE、LAUGHTER、CRY等声音事件，真正实现“听得清，也听得懂”。

1.1 传统ASR vs 富文本ASR

对比维度	传统语音识别（ASR）	富文本语音识别（Rich ASR）
输出内容	纯文字转录	文字 + 情感标签 + 声音事件
能力范围	“说了什么”	“怎么说的”、“当时什么氛围”
应用场景	基础转录、字幕生成	客服质检、情绪分析、内容理解
技术难点	准确率、多语种支持	上下文建模、多任务联合学习

从表中可以看出，富文本识别不仅仅是功能上的扩展，更是语音理解能力的一次跃迁。它让机器不再只是一个“录音笔”，而更像是一个具备共情能力的倾听者。

2. SenseVoiceSmall 核心能力解析

SenseVoiceSmall 是阿里达摩院 iic 团队开源的一款轻量级语音理解模型，专为实时交互和边缘部署优化。它的核心优势在于：

支持中、英、日、韩、粤五种语言
内置情感识别与声音事件检测
非自回归架构，推理速度快
提供 Gradio 可视化界面，开箱即用

下面我们来逐一拆解这些能力的实际表现。

2.1 多语言通用识别

在实际应用中，用户可能随时切换语言。比如一段粤语访谈中夹杂英文术语，或是一场跨国会议中的中英文混讲。SenseVoiceSmall 的多语言能力可以自动适应这种复杂场景。

通过设置language="auto"，模型会自动判断输入音频的语言，并进行精准识别。这对于跨区域服务、国际会议记录等场景非常实用。

res = model.generate( input=audio_path, language="auto", # 自动识别语言 use_itn=True, # 数字格式化（如“一百”转“100”） )

你也可以手动指定语言，确保特定场景下的稳定性，例如只处理英文播客时设为"en"。

2.2 情感识别：让声音有温度

这是 SenseVoiceSmall 最具突破性的功能之一。它能识别出说话人的情绪状态，输出类似<|HAPPY|>、<|ANGRY|>这样的标签。

举个例子，当你用欢快的语气说：“今天真是个好日子！”
模型可能会返回：

[开心] 今天真是个好日子！

而如果你带着怒气说同样一句话，结果可能是：

[愤怒] 今天真是个好日子！

这背后是模型对音调、语速、能量等声学特征的深度建模。虽然不能做到心理学级别的精确，但在大多数日常对话中，已经足够捕捉到明显的情绪倾向。

2.3 声音事件检测：听见环境的声音

除了人声，环境中还有很多重要信息。掌声代表认可，笑声代表轻松，背景音乐影响氛围，哭声提示异常。

SenseVoiceSmall 能自动检测这些声音事件，并在转录文本中标注出来。例如：

（背景音乐响起）欢迎来到我们的新品发布会……（观众鼓掌）……接下来请看演示。（笑声）

这种能力特别适用于：

视频内容打标（自动提取精彩片段）
直播间互动分析（掌声/笑声密度反映观众反应）
教育场景评估（学生是否专注、是否有讨论声）

3. 快速部署与WebUI使用

本镜像已集成完整环境，支持 GPU 加速推理。我们可以通过 Gradio 快速启动一个可视化界面，无需编写前端代码即可体验全部功能。

3.1 启动Web服务

如果镜像未自动运行服务，可在终端执行以下命令安装依赖：

pip install av gradio

然后创建app_sensevoice.py文件，内容如下：

import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用GPU加速 ) def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" # 构建界面 with gr.Blocks(title="SenseVoice 多语言语音识别") as demo: gr.Markdown("# 🎙️ SenseVoice 智能语音识别控制台") gr.Markdown(""" **功能特色：** - 🚀 **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测音频中的开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) demo.launch(server_name="0.0.0.0", server_port=6006)

保存后运行：

python app_sensevoice.py

3.2 本地访问方式

由于平台安全限制，需通过 SSH 隧道转发端口：

ssh -L 6006:127.0.0.1:6006 -p [端口号] root@[SSH地址]

连接成功后，在浏览器打开： 👉 http://127.0.0.1:6006

你会看到一个简洁的 Web 界面，支持上传音频、选择语言、一键识别，并实时显示带情感和事件标签的富文本结果。

4. 实战案例：一段访谈音频的深度解析

我们来用一段模拟的访谈音频做测试，看看 SenseVoiceSmall 的实际表现。

假设音频内容如下：

（轻柔背景音乐）主持人：“您这次获奖有什么感想？”
嘉宾（略带哽咽）：“非常感谢……这是我职业生涯中最重要的一刻。”
（观众热烈鼓掌）
主持人（笑着问）：“会不会继续挑战新项目？”
嘉宾（兴奋地）：“当然！我已经有了新的计划。”

经过 SenseVoiceSmall 处理后，输出可能是：

（背景音乐）主持人：您这次获奖有什么感想？ 嘉宾：[悲伤] 非常感谢……这是我职业生涯中最重要的一刻。 （掌声） 主持人：[开心] 会不会继续挑战新项目？ 嘉宾：[开心] 当然！我已经有了新的计划。

可以看到：

背景音乐和掌声被准确标注
嘉宾初段的哽咽被识别为“悲伤”情绪
后续对话中的积极语气被标记为“开心”
所有信息以自然语言形式呈现，无需额外解析

这种输出可以直接用于：

自动生成带情绪标注的会议纪要
视频剪辑时快速定位高光时刻（掌声/笑声处）
客户反馈分析中识别满意度变化趋势

5. 使用技巧与注意事项

为了让模型发挥最佳效果，这里分享几个实用建议。

5.1 音频预处理建议

采样率：推荐使用 16kHz 单声道音频，兼容性最好
格式：WAV 或 MP3 均可，系统会自动通过av或ffmpeg解码重采样
噪音控制：尽量避免强背景噪声，否则可能误触发声音事件

5.2 如何清洗富文本标签

原始输出包含<|HAPPY|>这类标记，可通过内置函数美化：

from funasr.utils.postprocess_utils import rich_transcription_postprocess clean_text = rich_transcription_postprocess("<|HAPPY|>今天真不错！<|BGM|>") # 输出：[开心] 今天真不错。（背景音乐）

你也可以自定义替换规则，将其转化为更适合展示或分析的格式。