模拟真实世界动态场景：LookOnceToHear运动模拟器与多通道房间脉冲响应仿真深度剖析

模拟真实世界动态场景：LookOnceToHear运动模拟器与多通道房间脉冲响应仿真深度剖析

【免费下载链接】LookOnceToHearA novel human-interaction method for real-time speech extraction on headphones.项目地址: https://gitcode.com/gh_mirrors/lo/LookOnceToHear

LookOnceToHear（看一眼就能听）是一个面向耳机的实时目标语音提取系统，用户只需注视目标说话人几秒，耳机就能在嘈杂环境中"锁定"并听清 TA 的声音。为了让模型在真实世界里鲁棒，项目内置了一套运动模拟器与多通道房间脉冲响应（BRIR）仿真工具：它能让声源在虚拟空间中移动、并叠加来自不同真实房间的混响，从而批量生成高保真训练数据。本文将带你完整理解这套空间音频仿真体系的设计思路与关键实现。

为什么要"动起来"：从静态仿真到动态场景

耳机中的目标语音提取，本质是在双耳（左右声道）混叠信号中挑出目标声源。传统做法把每个说话人"钉"在固定方向上，用一次卷积就生成双耳音频；但现实中，人会在走动、转头、换位，声音的方位随时间不断变化。

LookOnceToHear 的数据管线因此分成两层：

• 静态层：多通道房间脉冲响应仿真——把单声道语音与某个方位的 BRIR（双耳房间脉冲响应）卷积，得到带混响的双耳信号；
• 动态层：运动模拟器——为每个声源规划一条随时间变化的 3D 轨迹，让 HRTF 沿轨迹逐帧变化，模拟说话人移动。

两者都由数据加载器在训练时"按需渲染"（on-the-fly），无需预存海量双耳音频，磁盘友好且多样性极高。

运动模拟器 MotionSimulator：ctypes 驱动的 C 语言核心

运动仿真的底层引擎是 motion_simulator.py 中的MotionSimulator类。它通过ctypes加载一个编译好的 C 动态库（moving_sources.so），把耗时的逐帧卷积交给 C 完成，速度比纯 Python 快得多。

它的接口设计很简洁，三步完成一次仿真：

1. set_hrtf(hrtf_file)：指定一个 SOFA 格式的 HRTF 文件（头相关传递函数，描述声音从某个方向到达双耳耳膜的变化）；
2. add_source(data, path)：加入一个声源。path是形状为(N, 3)的 3D 坐标数组，第 i 个点就是该时刻声源在虚拟球面单位空间中的位置；每帧时长默认 25ms，即每秒模拟 40 个方位点；
3. simulate()：运行仿真，返回所有声源的左右双耳输出。

一个细节体现工程严谨性：add_source会校验轨迹点数是否覆盖音频总时长（motion_simulator.py），避免"人走完了声音还在飞"的错配。

轨迹如何生成：CIPICMotionSimulator2 的三种策略

CIPICMotionSimulator2（motion_simulator.py）封装了三种随机轨迹策略，覆盖"静止、缓移、急动"的真实场景：

分段圆弧是最巧妙的部分（motion_simulator.py）：每个时间步以伯努利概率决定"这一帧要不要动"，一旦启动就随机选取持续 0.1~1 秒的运动时长和角速度，产生一段平滑的圆弧。这样生成的轨迹既有静止段也有运动段，比匀速旋转更接近真人行为。

针对房间脉冲响应数据只有水平面方位（±90°）的限制，RRBRIRMotionSimulator（motion_simulator.py）做了专门适配：固定距离 1.5 米、仰角 0°，方位角超出 ±90° 时"折叠"回来（np.abs），保证轨迹始终落在 BRIR 覆盖的角度范围内。而"面对面"轨迹则用多变量正态分布围绕正前方生成，标准差约 6°——对应人面对面交谈时自然的头部微动。

多通道房间脉冲响应仿真：一套接口，四个房间数据库

静态仿真的核心在 multi_ch_simulator.py，基类SOFASimulator（multi_ch_simulator.py）定义了统一流程：

1. 从 SOFA 数据库文件中按种子随机挑选一个受试者的 HRTF 文件；
2. 为每个声源随机选一个方位的冲激响应，重采样到目标采样率后与单声道语音做卷积，得到左右双耳信号；
3. 特殊处理"目标说话人"（face_to_face_idx）：强制将其放置在面对面方位，让模型学会"我面前的这个人优先"。

在此基类之上，项目接入了4 个不同的真实房间数据库，各模拟不同声学环境：

• CIPIC（CIPICSimulator）：45 位受试者的虚拟头 HRTF，纯头相关效应，是基础数据集；
• RRBRIR（RRBRIRSimulator）：真实房间 BRIR，覆盖 ±90° 方位、1.5 米距离，混响真实；
• ASH（ASHSimulator，multi_ch_simulator.py）：ASH-8.0 双耳房间脉冲响应数据集，按房间名硬编码 train/val/test 划分，保证测试房间从未参与训练；
• CATT（CATTRIRSimulator）：CATT 声学软件模拟的房间，含不同 RT60 混响时间，噪声源还会从 3 个方位叠加混响。

此外还有一个多麦克风的PRA（PRASimulator，multi_ch_simulator.py），用 70% / 10% / 20% 的比例按房间划分数据。

加权混采：MultiChSimulator 让训练环境"大杂烩"

真正的主力是MultiChSimulator（multi_ch_simulator.py）：它把 CIPIC、RRBRIR、ASH、CATT 四个仿真器装在一起，按35 : 5 : 45 : 15的权重随机抽取一个来渲染当前样本。

这个设计的意义在于：模型在训练中会同时"听到"无房间混响的 HRTF、小真实房间、大真实房间、不同 RT60 的模拟房间——声学环境像抽奖一样随机切换，迫使模型学会不依赖特定房间的语音分离能力，这正是泛化到未知家庭/办公室场景的关键。

数据划分方面，CIPIC 与 RRBRIR 的受试者/房间划分清单已随仓库提交（data/MixLibriSpeech/CIPIC/train_hrtf.txt 等 train/val/test 文件，每行一个 SOFA 文件名），训练、验证、测试绝不重叠，评估结果才可信。

仿真如何接入训练：数据集与配置一览

所有仿真器由SpeechSeparationDataset按配置字符串统一调度（SpeechSeparationDataset.py）：hrtf_type参数决定用哪个引擎，可选CIPIC、RRBRIR、ASH、CATTRIR、MultiCh、CIPIC_MOTION（静态 HRTF + 运动轨迹的组合）等 8 种。

每个样本的生成流程：

1. 从.jams规格文件用 Scaper 渲染出 1 段背景噪声 + 2 段前景语音（单声道）；
2. 交给选定的多通道仿真器做双耳化（目标说话人可被放在面对面方位）；
3. 峰值归一化后相加，得到双耳混合信号mixture与双耳目标target1/target2。

默认训练配置 configs/tsh.json 使用MultiCh模式，16kHz 采样率，噪声 SNR 在 3~10 dB 之间随机——这意味着模型必须在中等强度噪声 + 随机房间的"双重考验"下训练。想开启运动场景，只需在数据集参数中把hrtf_type换成CIPIC_MOTION，即可让声源沿随机轨迹移动。

快速上手清单

🎯想复现训练：按 data/README.md 准备 LibriSpeech、WHAM! 噪声、CIPIC/RRBRIR/ASH/CATT 四套 HRTF 数据，然后运行python -m src.trainer --config configs/tsh.json --run_dir runs/tsh。

🧪想理解仿真细节：重点阅读 src/datasets/motion_simulator.py 的三种轨迹生成函数，以及 src/datasets/multi_ch_simulator.py 中各数据库仿真器的房间划分逻辑。

🔧想做实验对比：通过修改hrtf_type与face_to_face_idx参数，可以对比"静态 vs 动态声源""有/无面对面先验"对分离性能的影响，仓库已内置多组对应数据集（如 MixLibriSpeechMotion 系列）。

这套"运动轨迹规划 + 多房间 BRIR 加权混采"的仿真体系，正是 LookOnceToHear 能从实验室走向真实世界嘈杂场景的底层保障——用虚拟的多样性，换取模型的鲁棒性。

【免费下载链接】LookOnceToHearA novel human-interaction method for real-time speech extraction on headphones.项目地址: https://gitcode.com/gh_mirrors/lo/LookOnceToHear