语音与文本多模态情感识别：特征融合与工程落地实践

简介：基于语音与文本融合的多模态情感识别系统Python源码，面向情感计算与大模型微调方向的研究者和开发者。项目以IEMOCAP数据集为依托，结合BERT-base-uncased与wav2vec2-xls-r-300m预训练模型，实现语音和文本双模态特征融合及大模型finetune。资源包含数据预处理、模型结构定义、训练调用、环境配置清单等6个文件，以Python脚本为主，另有环境配置说明与项目文档，整体仅9KB，轻量便于快速部署与二次开发。已有221人学习浏览，适合复现多模态情感识别基线并理解跨模态特征融合流程。通过源码可掌握从原始数据到pickle特征缓存、再到BERT与wav2vec2联合微调的关键代码路径，并借助环境配置单规避依赖冲突。

1. 语音+文本双通道情感识别的出发点

只靠文本判断情绪，用户说“我没事”时系统永远给不出“难过”这个答案；只靠语音判断情绪，又会把大声朗读误读成了愤怒。语音+文本相结合的情感识别，是在声学特征和语义特征中间找一个互相纠正、互相补全的交叉点。这个标题里说的“多模态大模型”，常见做法是借用预训练的语音编码器和文本编码器把两条输入各自抽成向量，再在融合层做交互，而不是真的从头训练一个几十亿参数的大模型。整套系统用 Python 就能跑通。

这套方案适合两类人：一类是正在做情感分析、人机交互、呼叫中心质检的工程师，想把手里的文本分类升级成更抗噪的多模态版本；另一类是准备做多模态方向的算法工程师，需要一个能落地的参照系。文章后面给的代码都是可裁剪的，直接替换数据路径就能跑起来。

2. 多模态情感识别的数据对齐与特征提取

2.1 语音帧与文本 token 的时间对齐

多模态情感识别第一个要解决的问题是：语音特征和文本特征在时间线上根本不对齐。语音是密集的帧序列，16kHz 下 1 秒有 16000 个采样点；文本是稀疏的 token 序列，1 秒语音大概只对应 2 到 4 个字。两者要融合，得先定好对齐粒度。

常见做法有两种：帧级对齐和句子级对齐。帧级对齐对计算量要求高，训练时要把语音帧映射到每个字的时间戳上，这个精度依赖强制对齐工具；句子级对齐则把整段语音和整句文本分别编码成两个向量，再在向量层面做融合。句子级对齐实现简单、稳定性好，也是多数开源情感识别方案的首选。

def align_sample(audio_path: str, text: str) -> dict: """ 句子级对齐示例：语音与文本只保证同属一个样本，不做帧级对齐 """ audio, sr = torchaudio.load(audio_path) # 读取音频 audio = torchaudio.functional.resample(audio, sr, 16000) # 统一重采样到16k return { "audio": audio.squeeze(0), # 形状 [1, T] -> [T] "text": text, # 原始文本字符串 "sr": 16000, }

这里的核心思路是：先确保语音和文本属于同一个标注样本，再做后续特征提取。对齐的粒度决定了模型复杂度——帧级对齐适合需要细粒度归因的场景，句子级对齐适合大多数分类任务。从中期效果来看，句子级对齐配合注意力融合，已经能覆盖绝大多数需要情感倾向判断的落地场景。

2.2 语音特征提取：从 MFCC 到预训练表征

语音侧的特征提取经历了两个阶段。传统方法是提 MFCC、F0 基频、能量等声学特征，计算快，但丢掉了很多语义和说话人信息；大模型流行之后的方案是直接用预训练语音模型（如 wav2vec2、HuBERT、Whisper 的 encoder）抽特征，把整段音频变成一个向量序列。

用预训练模型提取语音特征有个明显好处：它对噪声、口音、语速的鲁棒性远高于手工特征。实际使用中可以在预训练特征后面接一个统计池化层，把变长的帧序列压成一个固定维度向量。没有 GPU 资源时，退回到 40 维 MFCC 加均值方差统计也可以，只是上限没有预训练表征高。

import torch import torchaudio def extract_audio_embedding(audio_waveform: torch.Tensor, model) -> torch.Tensor: """ 用预训练语音编码器提取整段音频的向量表征 """ with torch.no_grad(): # model 输出：last_hidden_state [batch, frames, hidden] last_hidden = model(audio_waveform.unsqueeze(0)).last_hidden_state # 统计池化：沿时间维度取均值 pooled = last_hidden.squeeze(0).mean(dim=0) return pooled # 形状 [hidden_dim]

预训练语音模型输出的是每一帧的表征，帧数跟音频时长相关，所以必须经过池化才能变成固定维度向量。均值池化是最稳的做法，也可以换成注意力池化，给关键帧更高权重；但如果训练数据量不大，均值池化反而更不容易过拟合。

2.3 文本侧编码与语音转文本的补充作用

文本侧的编码相对成熟，直接使用 BERT 系列模型输出[CLS]向量就能得到整句话的语义表征。这里有一个容易被忽视的细节：如果系统的输入只有语音没有文本，又必须走多模态路线，那就要在采集端接入自动语音识别（ASR）模块，把语音先转成文本再进文本编码器。这就变成了语音识别 + 语音/文本双模态识别的串联链路，ASR 的误识别会影响情感结果，需要在下游融合时做容错。

文本情感识别和语音情感识别的特点差异很大：文本擅于识别“阴阳怪气”这类反讽，语音擅于识别“强颜欢笑”这类语气与内容的矛盾。把两者结合的核心价值就在于此，语义和声学互为补充，比任何单模态都稳。

3. 设计特征级与决策级融合的情感识别模型

3.1 融合路线选型：早期融合、晚期融合与中间融合

多模态融合有三条路线：早期融合在特征层面把语音向量和文本向量拼起来；晚期融合把两个模态各自的预测概率拿来做加权平均；中间融合则是先让两个模态的特征交互，再进分类层。中间融合通常效果领先，因为它允许模型学会“什么时候该更相信语音、什么时候该更相信文本”。

中间融合的常见实现是 cross-attention。语音向量 query 去 attend 文本向量，文本向量 query 去 attend 语音向量，这样每个模态都能获得对方的上下文信息。如果不追求复杂度，退一步做 Bilinear Pooling 或简单的门控加权也是可用方案。标题里既然强调“多模态大模型”，可以把这里的融合模块做成可插拔的，方便以后替换更强的编码器。

3.2 轻量级注意力融合模块

下面给一个可以直接用的融合模块代码。这个模块的优点是参数少、输入输出维度直观，适合当作 baseline。它先把语音向量和文本向量拼成一组序列，再用一个单层 Transformer Encoder 做交互，最后把两只向量再拼起来送进分类器。

import torch import torch.nn as nn class CrossModalFusion(nn.Module): """ 语音+文本中间融合层：单层 transformer cross-attention """ def __init__(self, audio_dim: int, text_dim: int, hidden_dim: int = 256, num_heads: int = 4): super().__init__() # 先把两个模态对齐到同一个维度 self.audio_proj = nn.Linear(audio_dim, hidden_dim) self.text_proj = nn.Linear(text_dim, hidden_dim) encoder_layer = nn.TransformerEncoderLayer( d_model=hidden_dim, nhead=num_heads, dim_feedforward=hidden_dim * 4, dropout=0.1, batch_first=True, ) self.encoder = nn.TransformerEncoder(encoder_layer, num_layers=1) self.fusion_cls = nn.Sequential( nn.Linear(hidden_dim * 2, hidden_dim), nn.ReLU(), nn.Dropout(0.2), nn.Linear(hidden_dim, 2), # 2分类：正向/负向，可自行调整 ) def forward(self, audio_emb: torch.Tensor, text_emb: torch.Tensor) -> torch.Tensor: # audio_emb: [batch, audio_dim] # text_emb: [batch, text_dim] a = self.audio_proj(audio_emb).unsqueeze(1) # [batch, 1, hidden] t = self.text_proj(text_emb).unsqueeze(1) # [batch, 1, hidden] seq = torch.cat([a, t], dim=1) # [batch, 2, hidden] seq = self.encoder(seq) # cross attention a_out = seq[:, 0, :] t_out = seq[:, 1, :] fused = torch.cat([a_out, t_out], dim=-1) # [batch, hidden*2] return self.fusion_cls(fused)

两个模态在这里不是直接拼接，而是先经过 Transformer 的 self-attention 交互，再取各自位置上的输出。这里的注意力矩阵可以给一个直观解释：模型会自动学到“这句话语义很强，文本权重更高”或者“这句话语气太明显，语音权重更高”。num_heads=4是一个性价比比较高的配置，调大到 8 并不会带来明显提升，反而容易在数据量小的情感数据集上过拟合。

3.3 分类头、损失函数与训练目标

融合之后接一个全连接分类头。情感分类如果是五分类（愤怒、高兴、悲伤、中性、惊讶），就把输出维度改成 5，损失函数用交叉熵即可。需要注意训练目标要和数据分布匹配，对话数据里中性往往占大头，直接跑会导致模型倾向预测多数类。

这套系统的训练目标除了情感分类损失，还建议给融合前的两个单模态分支各加一个辅助损失，防止其中一个模态退化。常见做法是让语音分支、文本分支各出一个预测 logits，各自计算交叉熵后，与融合分支的损失按权重相加。

权重并不是越大越好。辅助损失权重过高会让模型过度关注单模态表现，反而削弱融合能力。0.2 到 0.4 之间先做一轮网格搜索，基本就能找到合适区间。

4. 模型训练的参数设置与验证方法

4.1 数据集划分与训练流程

训练多模态情感模型，数据划分要保证同一段对话不会同时出现在训练集和测试集里，否则模型会通过记忆对话风格来“作弊”。按说话人划分比按样本划分更严格，也是论文里更认可的做法。训练时可以先冻结两个预训练编码器，只训练融合层，跑 5 个 epoch 后再解冻编码器做低学习率微调。这个热身策略可以避免预训练权重在初期被随机初始化分类层的梯度冲乱。

from torch.utils.data import Dataset, DataLoader class EmotionDataset(Dataset): """ 语音+文本情感数据集的基本封装 """ def __init__(self, samples: list, audio_encoder, text_tokenizer, max_len: int = 128): self.samples = samples self.audio_encoder = audio_encoder self.text_tokenizer = text_tokenizer self.max_len = max_len def __len__(self): return len(self.samples) def __getitem__(self, idx): item = self.samples[idx] # 语音特征：由原始波形直接过编码器 audio_emb = extract_audio_embedding(item["audio"], self.audio_encoder) # 文本特征：BERT tokenizer 转为 input_ids / attention_mask text_inputs = self.text_tokenizer( item["text"], max_length=self.max_len, padding="max_length", truncation=True, return_tensors="pt", ) return { "audio_emb": audio_emb, "input_ids": text_inputs["input_ids"].squeeze(0), "attention_mask": text_inputs["attention_mask"].squeeze(0), "label": torch.tensor(item["label"], dtype=torch.long), }

数据集中语音特征提前抽好存成 npy 或直接在线抽取都可以。在线抽取每次都要跑一遍预训练模型，速度慢但省内存；离线抽取快 10 倍以上，适合反复调模型结构时使用。训练过程中缓存抽取好的特征是个值得做的优化点。

4.2 关键训练参数参考表

下面这组参数来自多模态情感分类的常见设定，可以直接作为起点。学习率用 2e-5 是因为预训练模型微调时学习率过大会破坏已学到的表征；batch size 受限于显存，多模态输入比纯文本耗显存，如果 OOM 可以先把 batch size 降到 8。

训练过程中要同时监控融合分支和两个单模态分支的 loss 曲线，理想情况是三根线同方向下降。如果融合分支的 loss 在降，但语音分支 loss 掉不下去，说明语音侧编码器没学好，要考虑语音特征提取是否出了问题。

4.3 模态退化与过拟合的识别

多模态模型最典型的故障是模态退化，也就是模型发现只靠文本就能把训练集拟合得很好，于是语音分支的梯度逐渐消失，推理时语音信号成了摆设。识别方法很简单：把测试集的语音分支单独跑一遍，如果准确率明显低于融合模型，说明语音信息在融合时没有被有效利用。

缓解模态退化有一个见效快的办法，就是在训练时对文本特征做随机 mask，强迫模型在文本缺失的情况下也能依赖语音。具体做法是每次迭代以 20% 的概率把文本 embedding 全部置零，模型必须学会单独使用语音特征；这种数据增强几乎不增加训练成本，但能明显提升融合后对单一模态缺失的鲁棒性。

5. 推理阶段的两个实用技巧：置信度加权与一致性检查

先看置信度加权。交叉熵训练出来的分类器，最终 softmax 概率直接作为置信度使用，在样本分布极端或者两个模态矛盾时往往会过于自信。一个更可信的推理方案是：单独跑一遍语音分支和文本分支，各自输出 softmax 概率，再用融合分支的概率和它们做插值，插值系数由两个分支在验证集上的 F1 决定。这个集成方式在语音和文本各说各话的场景下，能避免融合模型被主导模态带偏。

def infer_with_confidence(fusion_logits, audio_logits, text_logits, alpha=0.6): """ 融合预测与单模态预测的置信度组合 alpha 越大，融合结果权重越高 """ fusion_prob = torch.softmax(fusion_logits, dim=-1) audio_prob = torch.softmax(audio_logits, dim=-1) text_prob = torch.softmax(text_logits, dim=-1) final_prob = alpha * fusion_prob + (1 - alpha) / 2 * (audio_prob + text_prob) return final_prob.argmax(dim=-1)

这里的alpha不需要在训练阶段学习，直接在验证集上按情感分类准确率网格搜索即可。搜索范围通常取 0.5 到 0.9，步长 0.1；如果验证结果里融合模型的优势不明显，alpha落在 0.5 附近并不奇怪，说明两个模态信息互补性还有提升空间，应该回到融合层设计去找问题。

第二个技巧是跨模态一致性检查。在推理时保存语音分支和文本分支各自的预测概率，计算两者之间的 KL 散度，超过阈值的样本通常就是两个模态强烈冲突的样本。把这些样本挑出来投入人工复审，比随机抽样复审的效率高得多，适合呼叫中心质检这类对错误率敏感的场景。实际操作时可以专门准备一个配置文件，记录 KL 散度阈值与样本倾斜策略，避免后续跑批时阈值成为隐性问题。

看到这里，可以直接把前文代码组合成最小可运行的实验脚本，挑一批中文情感语音数据（例如按“正向/负向”二分类整理 2000 条样本）跑通流程，再逐步换更强的编码器扩展成完整系统。

本文还有配套的精品资源，点击获取