1. 项目概述：当机器学习“听”懂ADHD
作为一名长期关注技术如何赋能医疗健康领域的研究者，我常常思考一个问题：如何让那些复杂、昂贵且依赖专家经验的诊断过程，变得更普惠、更高效？注意力缺陷多动障碍（ADHD）在成人中的诊断困境，就是一个典型的例子。全球范围内精神科医生的短缺，导致大量成人ADHD患者面临长达数年的诊断等待期，期间他们的学业、职业和人际关系可能已受到严重影响。
传统的诊断“金标准”，如基于功能磁共振成像（fMRI）或脑电图（EEG）的检测，虽然精准，但设备昂贵、流程复杂，难以大规模普及。这就像为了检查一辆车的发动机异响，你必须把它开进专业的消声实验室，用上百万的设备来分析，显然不现实。那么，有没有一种更“轻量级”、更易于获取的“信号”，能够反映大脑的运作状态呢？
答案是：我们的日常语言。语音和文本，作为人类最自然、最高频的沟通媒介，承载着远超字面意思的丰富信息。语音的语调、节奏、停顿（副语言信息），以及文本的用词、句法结构和逻辑连贯性，都可能与个体的认知功能、情绪状态紧密相关。近年来，随着机器学习，特别是深度学习在自然语言处理和语音识别领域的突破，让我们有了“解码”这些信号背后含义的新工具。
本项目正是基于这一思路的一次实践探索。我们与英国一家大型NHS信托基金合作，采集了基于临床常用诊断工具——成人ADHD诊断访谈（DIVA）的语音数据。核心目标很明确：能否仅通过分析一个人在标准化访谈中的说话方式和回答内容，利用机器学习模型，有效地区分其是否患有ADHD？这不仅仅是一个技术验证，更关乎能否为ADHD筛查开辟一条低成本、易访问的新路径。本文将深入拆解我们如何从零开始，构建这个数据驱动的ADHD筛查原型系统，涵盖从数据采集、特征工程到模型构建与评估的全过程，并分享其中踩过的“坑”和收获的经验。
2. 核心思路与方案设计：为什么是语音+文本？
在启动任何数据科学项目前，明确“为什么选择这个方案”至关重要。我们的方案设计核心，围绕着三个关键问题展开：数据从哪来？特征怎么提？模型如何选？
2.1 数据源选择：DIVA访谈的独特价值
选择DIVA访谈作为数据采集框架，是经过深思熟虑的，而非随意找一段对话录音。DIVA是一个半结构化的临床访谈工具，其问题设计严格依据DSM-5（精神障碍诊断与统计手册第五版）的诊断标准，涵盖了注意力不集中、多动/冲动两大核心症状在成年期的具体表现。
为什么这很重要？
- 标准化与可比性：所有参与者回答相同的一组问题（我们从中精选了21个核心问题），这最大限度地减少了因话题不同带来的变异，确保我们提取的特征差异更可能源于个体状态（ADHD vs. 健康对照），而非谈话内容本身。
- 生态效度高：相比于让被试完成一个完全脱离语境的发音任务（比如读一段标准文本），访谈形式更能激发自然、自发的语言产出。ADHD患者在组织思维、控制语速、保持话题聚焦方面的潜在困难，在回答开放式问题时更容易暴露出来。
- 多模态数据天然对齐：访谈过程自然产生了语音流，通过语音识别（ASR）即可转化为文本。这意味着对于同一段内容，我们获得了在时间上完全同步的声学信号和语言内容，为后续的多模态特征融合分析提供了完美基础。
实操心得：在寻找或设计数据采集方案时，一定要追求“激发目标行为”的环境。对于认知或精神状态的评估，高度结构化的任务可能掩盖问题，而完全自由漫谈则引入太多噪声。DIVA这种半结构化访谈，在标准化和生态效度之间取得了很好的平衡。
2.2 特征工程策略：双管齐下，捕捉不同维度的信号
确定了数据来源，下一步是决定从数据中提取什么信息。我们采取了“声学特征”与“文本特征”双轨并行的策略，旨在全方位捕捉可能存在的异常模式。
声学特征（捕捉“怎么说”）： 这部分关注语音的物理属性，即副语言信息。我们并非只提取一种特征，而是构建了一个特征集合，从不同维度描述声音：
- 基础谱特征：如梅尔频率倒谱系数（MFCC），它模拟人耳听觉特性，能有效表征声音的短时功率谱，是语音识别的基础，也能反映音质特性。
- 声道模型特征：如线性预测编码（LPC）系数，它试图对发声的声道滤波器进行建模，可能捕捉到与发音控制相关的细微差异。
- 精心设计的副语言特征集：这是我们的重点。我们使用了如eGeMAPS、IS10_paraling、ComParE_2016等特征集。这些特征集由领域专家设计，专门用于情感计算和副语言分析，包含了基频（音高）、抖动（频率微扰）、 shimmer（振幅微扰）、谐噪比、频谱斜率等数十到上百个低层描述子及其统计函数。它们的目标是量化声音中与生理、情感状态相关的参数。
文本特征（捕捉“说什么”以及“如何组织语言”）： 这部分关注语言的内容和结构。我们利用预训练的大语言模型来提取深层的语义和语法信息：
- 语义特征：使用Wav2Vec 2.0模型。它的妙处在于，这是一个从原始语音中通过自监督学习直接获得语义表征的模型。我们并非用它来做语音识别转录文本，而是直接提取其Transformer编码器输出的上下文向量作为特征。这些向量蕴含了语音片段的高层语义信息。
- 语言特征：使用BERT模型。我们将语音识别后的文本转录稿输入BERT，提取[CLS]标记对应的最终隐藏状态作为特征。这个向量可以被理解为对整个句子语义的聚合表示，包含了丰富的词汇、句法信息。
为什么选择这些特征？MFCC、LPC是语音分析的“基本功”，作为基线。eGeMAPS等特征集是领域内公认的、针对副语言分析优化的“专业工具包”。而Wav2Vec 2.0和BERT则代表了当前从语音和文本中提取深层特征的“前沿技术”。这种组合确保了我们的分析既覆盖了传统有效的特征，也利用了最先进的表示学习能力。
2.3 模型选择：稳健比复杂更重要
在有限的样本量（22名参与者）下，模型的选择首要考虑的是防止过拟合和保证可解释性。因此，我们没有一上来就使用复杂的深度神经网络，而是选择了两种经典但非常强大的机器学习算法：
- 支持向量机（SVM）：特别擅长处理高维特征空间中的分类问题，通过寻找最大间隔超平面来划分数据，泛化能力通常很强。
- 逻辑回归（LR）：模型简单，可解释性好，能直接给出属于某一类的概率。
选择它们的原因在于：
- 样本量限制：深度学习模型通常需要大量数据，在小数据集上极易过拟合。SVM和LR在中小规模数据上表现更为稳健。
- 特征驱动分析：本项目的一个重要目标是理解哪些特征对区分ADHD有效。使用相对简单的模型，性能差异更能归因于特征本身的好坏，而不是模型复杂的拟合能力。
- 快速迭代：训练和调参速度快，便于我们快速验证不同特征组合的效果。
我们的技术流程图清晰地概括了这一过程：原始语音经过预处理（降噪、归一化、按问题切分）后，一路送入声学特征提取管道（Librosa, openSMILE），另一路通过Google Speech-to-Text API转为文本，再送入文本特征提取管道（BERT, Wav2Vec 2.0）。提取出的特征向量随后用于训练SVM或LR分类器，并使用留一被试交叉验证（LOSO）来评估模型性能，确保评估的是模型对全新说话者的泛化能力。
3. 实操过程详解：从原始录音到分类结果
理论框架搭建好后，真正的挑战在于落地实施。下面我将拆解整个流程中的关键步骤与实操细节。
3.1 数据采集与预处理：魔鬼在细节中
我们共招募了22名以英语为母语的参与者，其中10名经NHS确诊的ADHD患者，12名健康对照。所有访谈在安静的隔音室中进行，使用便携式麦克风录制，采样率为16kHz。
预处理的核心步骤：
- 音频切分：原始访谈录音平均长约8分钟，包含21个问题的回答以及中间的停顿、笑声等。直接处理整个音频文件会引入大量无关噪声，且样本太长。我们以每个问题答案为单元进行切分，最终得到462个音频片段（22人 x 21问题）。这一步至关重要，它保证了每个样本在任务上的一致性。
- 音频净化：使用谱减法进行背景稳态噪声消除，并对所有音频片段进行音量归一化（RMS归一化）。这是为了减少因录音距离、个体习惯性音量不同带来的无关变异。
- 文本规范化：语音识别得到的原始文本需要清洗。
- 将缩写转为完整形式（如 “I‘ll” -> “I will”）。
- 保留不流利现象（如“呃”、“啊”），因为这不流利本身可能是特征。
- 非语音现象用特殊标记标注（如
<non-speech>）。 - 去除标点，所有字母转为小写，数字转为英文单词。
踩坑记录：最初我们尝试过不切分整个音频直接提取特征，结果模型性能非常不稳定。后来发现，不同参与者回答不同问题时长短差异巨大，且长时间的静默段会严重干扰某些声学特征（如停顿统计）的计算。按问题切分后，数据变得规整，特征的一致性大幅提高。教训是：对于行为数据，基于任务或事件的切片（event-based segmentation）往往比固定时间窗口更有效。
3.2 特征提取实战：参数与工具选择
声学特征提取：
- 工具：主要使用
openSMILE工具包和 Python 的librosa库。openSMILE 是副语言特征提取的“瑞士军刀”，内置了eGeMAPS、ComParE等标准特征集的配置文件，一键即可提取数百维特征。 - 关键参数示例（以MFCC为例）：
import librosa # 加载音频 y, sr = librosa.load(‘audio_clip.wav’, sr=16000) # 提取MFCC（13维），并计算一阶和二阶差分 mfcc = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13) mfcc_delta = librosa.feature.delta(mfcc) mfcc_delta2 = librosa.feature.delta(mfcc, order=2) # 拼接成39维特征向量 mfcc_features = np.vstack([mfcc, mfcc_delta, mfcc_delta2]) # 计算统计量（如均值、标准差）作为该片段的最终特征 feature_vector = np.concatenate([mfcc_features.mean(axis=1), mfcc_features.std(axis=1)]) - eGeMAPS提取：使用openSMILE的命令行，指定配置文件即可。
SMILExtract -C config/eGeMAPSv02.conf -I input_audio.wav -O output_features.csv
文本特征提取：
- BERT特征：使用Hugging Face
transformers库。from transformers import BertTokenizer, BertModel import torch tokenizer = BertTokenizer.from_pretrained(‘bert-base-uncased’) model = BertModel.from_pretrained(‘bert-base-uncased’) # 预处理文本 text = “your transcribed text here” inputs = tokenizer(text, return_tensors=‘pt’, truncation=True, padding=‘max_length’, max_length=256) # 提取特征 with torch.no_grad(): outputs = model(**inputs) # 取[CLS]标记对应的隐藏状态作为句子特征 cls_embedding = outputs.last_hidden_state[:, 0, :].squeeze().numpy() - Wav2Vec 2.0特征：同样使用
transformers库，但直接从语音提取。from transformers import Wav2Vec2Processor, Wav2Vec2Model import torchaudio processor = Wav2Vec2Processor.from_pretrained(‘facebook/wav2vec2-base-960h’) model = Wav2Vec2Model.from_pretrained(‘facebook/wav2vec2-base-960h’) # 加载并预处理音频 speech_array, sampling_rate = torchaudio.load(‘audio_clip.wav’) input_values = processor(speech_array, sampling_rate=sampling_rate, return_tensors=“pt”).input_values # 提取特征 with torch.no_grad(): hidden_states = model(input_values).last_hidden_state # 对时间维度取平均，得到音频段的固定长度表示 audio_embedding = hidden_states.mean(dim=1).squeeze().numpy()
注意事项：提取Wav2Vec 2.0特征时，内存消耗较大。对于长音频，需要先切分。我们选择对每个问题回答的音频片段整体提取一个特征向量，而不是帧级别的特征，以与文本特征（每个问题一个BERT向量）对齐。
3.3 模型训练与评估：严谨的验证策略
分类器设置：
- SVM：使用径向基函数（RBF）核。关键超参数
C（正则化参数）和gamma（核函数系数）通过网格搜索结合交叉验证在小范围内优化。我们最终固定C=1.0,gamma=‘scale’以保持实验一致性，避免在小数据集上过拟合。 - 逻辑回归：使用L2正则化，求解器为‘lbfgs’。
评估策略——留一被试交叉验证（LOSO）： 这是本实验设计的核心亮点，也是保证结果可信度的关键。具体做法是：
- 每次迭代，选择一个参与者的所有数据（21个音频片段及其特征）作为测试集。
- 剩余21个参与者的所有数据作为训练集。
- 重复此过程22次，确保每个参与者都轮流做了一次测试集。
- 汇总22次迭代的预测结果，计算总体性能指标。
为什么必须用LOSO？在基于个体的医疗诊断任务中，绝对要避免同一个人的不同数据片段同时出现在训练集和测试集。如果随机划分片段，模型可能会“记住”某个人的声音或说话风格，而不是学习到ADHD的通用模式，导致性能虚高。LOSO保证了模型评估的是对全新、未见过的个体的泛化能力，这与真实的临床筛查场景一致，结论也更有说服力。
评估指标： 我们采用准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数（F1-Score）四个指标。由于数据存在轻微不平衡（ADHD:Control = 10:12），我们同时报告了正类（ADHD）和负类（Control）的F1分数，以全面衡量模型表现。
4. 结果分析与洞见：什么特征最有效？
经过系统的实验，我们得到了一系列有启发性的结果。下表汇总了使用SVM分类器时，不同特征集在LOSO验证下的表现：
表：不同特征集在SVM分类器下的性能对比（LOSO验证）
| 特征集 | 准确率 | 精确率 (ADHD) | 召回率 (ADHD) | F1分数 (ADHD) | F1分数 (Control) |
|---|---|---|---|---|---|
| LPC | 69.3% | 0.633 | 0.810 | 0.711 | 0.667 |
| MFCC | 70.1% | 0.645 | 0.810 | 0.718 | 0.683 |
| IS10_paraling | 73.2% | 0.679 | 0.810 | 0.739 | 0.714 |
| ComParE_2016 | 74.0% | 0.688 | 0.810 | 0.744 | 0.727 |
| eGeMAPS | 77.5% | 0.727 | 0.810 | 0.766 | 0.762 |
| BERT (文本) | 72.7% | 0.667 | 0.857 | 0.750 | 0.692 |
| Wav2Vec2.0 (文本) | 76.8% | 0.706 | 0.857 | 0.774 | 0.750 |
4.1 声学特征：专业特征集表现突出
从结果中可以清晰看出一个趋势：从基础的LPC、MFCC，到更复杂的IS10_paraling、ComParE_2016，再到专门为副语言和情感计算设计的eGeMAPS，分类性能逐步提升。eGeMAPS在准确率、精确率和F1分数上均达到最佳。
这说明了什么？LPC和MFCC是良好的通用声学描述符，但它们主要刻画“声音听起来什么样”，对于捕捉与ADHD相关的、更细微的副语言线索（如音高的不稳定性、发音的清晰度、频谱能量分布）可能不够特异。eGeMAPS特征集由专家设计，包含了抖动（jitter）、 shimmer、谐噪比（HNR）等直接与发声生理机制和语音质量相关的参数。这些参数被认为与神经运动控制、情绪调节有关，因此可能更敏感地捕捉到了ADHD患者言语中潜在的、细微的不稳定性或异常模式。
4.2 文本特征：语义信息优于纯语言结构
在文本模态上，基于Wav2Vec 2.0提取的语义特征，其性能 consistently 略优于基于BERT提取的语言特征。这是一个非常有趣的发现。
如何理解这个差异？
- BERT特征：更侧重于词汇、语法等语言结构层面的信息。它可能捕捉到ADHD患者回答中可能存在的句法复杂度降低、重复或逻辑跳跃。
- Wav2Vec 2.0特征：它从原始语音中学习，其表征蕴含了更丰富的语义内容和上下文信息，甚至包括了一些语调带来的语义强调。这意味着，模型可能不仅仅是在分析“用了什么词”，更是在理解“想表达什么意思以及如何表达的”，而后者可能包含了更多与思维组织、认知负荷相关的信号。
这个结果提示我们，在分析语言内容时，深层的语义连贯性和信息密度可能比表面的语言形式更具鉴别力。
4.3 特征融合：1+1>2的潜力
我们尝试了将表现最好的声学特征（eGeMAPS）与文本特征（Wav2Vec 2.0）进行简单的向量拼接，形成多模态特征。结果如下：
表：融合特征在SVM分类器下的性能
| 融合特征集 | 准确率 | 精确率 | 召回率 | F1分数 (ADHD) |
|---|---|---|---|---|
| eGeMAPS + Wav2Vec2.0 | 78.4% | 0.722 | 0.857 | 0.784 |
融合后的特征在逻辑回归分类器上取得了所有实验中的最佳性能（准确率78.4%）。这强有力地证明了语音和文本模态携带了互补的信息。声学特征可能反映了情绪调节和运动控制的困难，而文本语义特征则反映了认知组织和思维连贯性的挑战。两者结合，为模型提供了更全面的视角来做出判断。
4.4 与主流方法的对比
我们将本方法与近年来使用传统模态（EEG, MRI）的ADHD检测研究进行了粗略对比。尽管我们的样本量小得多（22人 vs. 通常上百人），但基于语音和文本的方法达到了接近80%的准确率，而许多EEG研究在类似留一法验证下的准确率在75%-85%区间。这表明，低成本、易获取的语音文本数据，有潜力达到与昂贵生理信号相近的筛查效能，其优势在于可扩展性和易用性。
5. 挑战、反思与未来方向
尽管结果令人鼓舞，但作为一个探索性研究，它也存在明显的局限性和挑战，这也是所有希望复现或推进此类工作的同行需要警惕的。
5.1 数据层面的核心挑战
- 小样本问题：22名参与者是本研究最大的软肋。小样本量限制了模型的复杂度和泛化能力，结果可能存在波动。我们采用LOSO验证就是为了在有限数据下给出最稳健的估计。未来工作的绝对重点是扩大样本量，并涵盖更广泛的人口统计学特征（年龄、性别、教育背景、共病等）。
- 数据不平衡与性别偏差：我们的数据集中，对照组男性比例较高。而流行病学数据显示，成人ADHD的男女比例约为1.6:1。数据集的分布偏差可能影响模型的普适性。在数据采集阶段，必须有意识地进行分层抽样，平衡各类别。
- “干净”环境与真实世界差距：实验在安静的隔音室进行，使用高质量麦克风。而未来若应用于移动端或远程筛查，背景噪声、网络通话压缩、设备差异将是巨大挑战。特征必须对噪声具有鲁棒性，或需要开发强大的前端语音增强模块。
5.2 技术层面的优化空间
- 特征提取的自动化与端到端学习：当前我们使用了手工设计的声学特征集（如eGeMAPS）和预训练模型提取的文本特征。一个更前沿的方向是端到端的深度学习：设计一个神经网络，输入原始音频或文本，直接输出ADHD风险评分。这样网络可以自动学习最具鉴别力的特征，可能发现人类专家未曾设计的模式。当然，这需要更大的数据量。
- 时序建模的缺失：目前我们将每个问题回答视为独立样本，提取一个全局特征向量。这丢失了回答过程中的动态变化信息。ADHD患者的注意力漂移可能体现在一个回答的前后一致性上。引入循环神经网络（RNN）或Transformer来建模每个回答内部的时序动态，是下一步的探索方向。
- 多模态深度融合：当前我们仅进行了简单的特征拼接（早期融合）。更高级的融合策略，如中间融合（通过交叉注意力机制让声学和文本特征在模型中层交互）、决策层融合（分别训练声学和文本模型，再综合其预测概率），可能带来更好的性能提升。
- 可解释性：模型做出了预测，但为什么？这对于临床辅助决策至关重要。我们需要利用SHAP、LIME等可解释性AI工具，分析是哪些具体的声学参数（如某个频带的能量）或文本片段（如某些关键词、不流利模式）对预测贡献最大。这将帮助我们发现潜在的生物标志物，并增加医生对模型的信任。
5.3 伦理与应用场景思考
最后，必须强调，这类技术目前乃至可见的未来，其定位都应是“筛查”或“辅助工具”，而非“诊断”。它的价值在于：
- 初筛与分流：在社区或基层医疗中快速识别高风险个体，优先安排他们接受详细的临床评估，从而优化有限的专家资源。
- 病程监测：对于已确诊患者，定期通过简短的语音任务评估其症状变化，辅助疗效评估。
- 降低病耻感：提供一种相对私密、非侵入性的初步自评方式。
我们绝不能陷入“算法替代医生”的技术傲慢。任何阳性筛查结果都必须由合格的精神科医生通过标准化的临床访谈（如DIVA本身）和综合评估来最终确认。技术的目标是赋能，而非取代。
回顾整个项目，从构思到实现，最大的体会是：在医疗AI领域，对问题本质的深刻理解（临床知识）与先进的技术手段（机器学习）同等重要。选择DIVA作为数据基础，关注副语言特征，采用严谨的LOSO验证，这些决策都源于对ADHD临床表征和研究范式的理解。未来，只有临床专家、数据科学家和工程师更紧密地协作，才能开发出既可靠又负责任的技术，真正惠及需要帮助的人们。这条路很长，但每一个扎实的探索，都在为终点添砖加瓦。
