一、论文基本信息
论文题目:Dropping Anchor and Spherical Harmonics for Sparse-view Gaussian Splatting
作者:Shuangkang Fang, I-Chao Shen, Xuanyang Zhang, Zesheng Wang, Yufeng Wang, Wenrui Ding, Gang Yu, Takeo Igarashi
单位:北京航空航天大学、东京大学、StepFun
发表形式:arXiv 2026(2602.20933)
领域:3D 高斯溅射(3DGS)、稀疏视角新视图合成、正则化、模型压缩
二、论文摘要
现有 3D 高斯溅射在稀疏视图下极易过拟合,主流 Dropout 方法随机丢弃单个高斯,但存在邻居补偿效应—— 被丢弃的高斯会被附近相似高斯 “补回去”,正则化失效。同时,高阶球谐系数(SH)也是过拟合与模型变大的重要原因。
本文提出DropAnSH-GS:
基于锚点的结构化 Dropout,一次性丢弃锚点 + 邻域高斯,破坏局部冗余;
对高阶球谐系数做按阶丢弃,缓解外观过拟合并支持后训练压缩。
方法轻量、计算开销可忽略,在多个数据集上显著超越现有 Dropout 类方法,可即插即用增强各类 3DGS 变体。
三、论文动机
稀疏视图过拟合严重,3DGS 在输入视图极少时,易出现伪影、模糊、几何畸变。
传统 Dropout 失效,随机丢单个高斯 → 邻居高斯高度相似 → 快速补偿 → 正则化很弱。
忽略球谐的过拟合,现有方法只丢不透明度,不管颜色(SH);高阶 SH 在稀疏视图下会加剧过拟合并大幅增大模型。
模型难以压缩,直接截断 SH 会掉点严重,缺少友好的压缩机制。
四、核心创新点
3DGS 稀疏视图 Dropout 失效的根源是局部空间冗余 + 邻居补偿。
1.锚点式结构化高斯丢弃(Anchor-based Dropout),打破局部依赖。
2.将 Dropout 从 opacity 扩展到球谐系数(SH),实现外观正则 + 模型压缩。
3.几乎不增加训练时间,可无缝接入 FSGS/CoR-GS/DNGaussian 等。
五、方法详解(DropAnSH-GS)
本文方法和单一高斯丢弃的方法对比
训练阶段锚点高斯丢弃方法的流程图
1. 锚点高斯丢弃(Anchor-based Dropout)
锚点高斯丢弃是一种结构化空间正则化策略,用于解决传统单高斯随机丢弃存在的邻居补偿效应,显著提升稀疏视角下的泛化能力。
训练过程中,按照设定概率随机选取部分高斯作为锚点;
以每个锚点高斯为中心,基于欧氏距离检索其固定数量的空间近邻高斯,形成一个局部高斯集群;
将锚点与近邻组成的整个高斯集群批量置为不透明失效状态,在三维场景中形成连续、大范围的信息空洞;
模型必须利用全局场景上下文信息填补空洞、完成渲染,无法依赖局部相邻高斯简单补偿被丢弃区域;
与独立丢弃单个高斯相比,该方式能彻底破坏局部冗余,产生更强的梯度信号,正则化更充分,更有效抑制过拟合。
2. 球谐系数丢弃(SH Dropout)
球谐系数丢弃是针对外观属性的阶次化正则化方法,专门解决高阶球谐(SH)在稀疏视角下引发的过拟合与模型体积过大问题。
不采用随机打散单个 SH 系数的方式,而是按阶数整体丢弃高阶 SH 分量,保留低阶基础外观信息;
训练过程采用由粗到精策略:前期强制保留极低阶 SH,随迭代逐步放开允许使用更高阶 SH,引导模型优先依赖稳定的低阶特征;
以一定概率对高斯执行高阶 SH 丢弃,让外观信息主动集中在低阶 SH 中,降低对高频细节的过拟合;
该方式相比随机丢弃 SH 系数,正则化更稳定、效果更一致,同时大幅降低参数冗余。
3. 损失函数
方法保持极简设计、无侵入式集成,完全沿用标准 3D 高斯溅射(3DGS)的损失函数,无需新增复杂约束或自定义损失项。
总损失由L1 损失与SSIM 损失加权组合构成:
Loss = L1 (rendered, gt) + λ・SSIM (rendered, gt)
L1 损失约束像素级数值误差,SSIM 损失保证图像结构相似性;
模型通过渲染图与真值图的差异计算损失,经反向传播同步优化高斯几何、不透明度与球谐颜色;
无额外计算开销,可直接插入现有 3DGS 训练流程,兼容性极强。
4. 推理测试阶段
推理阶段与训练阶段策略解耦,只保留压缩与渲染能力,不再执行随机丢弃,实现高性能 + 小体积的稳定输出:
对高斯几何部分:停止锚点与近邻丢弃,所有高斯正常参与渲染,保证几何完整性;
对球谐颜色部分:永久移除高阶 SH 系数,仅保留训练中已充分学习的低阶 SH 完成着色;
无需重新训练,即可获得体积大幅压缩、渲染速度更快、伪影更少的轻量化模型;
在几乎不损失视觉质量的前提下,实现稀疏视角下高质量、高效率的新视角合成。
六、实验分析
- 数据集
LLFF、MipNeRF-360、Blender(极稀疏:3/6/8/9/12 视图) - 指标
PSNR(越高越好)、SSIM(越高越好)、LPIPS(越低越好)、模型大小 - 关键结果
LLFF 3 视图:本文 PSNR 20.68,超过 DropGaussian、DropoutGS 等所有基线。
模型压缩:仅保留 SH0 阶,模型缩小到 1.7MB,仍超越原版 3DGS。
兼容性:加到 FSGS/CoR-GS/DNGaussian 都能涨点。
速度:训练时间仅增加 < 2.8%,几乎无开销。 - 消融实验
只开锚点丢弃:明显涨点
只开 SH 丢弃:有效涨点
两者一起:效果最强
按阶丢 SH 远强于 随机丢 SH
七、结论与展望
结论
DropAnSH-GS 用锚点区域丢弃解决邻居补偿,用SH 阶数丢弃解决外观过拟合与模型膨胀,在稀疏视图 3DGS 任务中实现更强正则、更小模型、更快推理,是简单高效的通用升级方案。
未来展望
设计更智能的锚点选择策略(按梯度 / 不透明度)
改进邻域搜索(不只靠欧氏距离,结合高斯属性)
扩展到动态场景、实时 SLAM 等方向