大基线单目视图合成：隐式高斯解码如何突破三维重建局限？

做三维视觉的同行应该能共鸣：当你拿着手机绕着物体拍了一圈，重建出来的效果往往不错；可一旦只给你两张相隔很远的照片，让算法从这张视角“脑补”到那张视角，画面质量就会肉眼可见地下降。这个场景在学术上叫Large-Baseline Monocular View Synthesis，中文可以理解为“大基线下单目视图合成”。最近读到的InfiniSplat工作，标题里正好把两个关键点放在了一起：Large-Baseline和Implicit Gaussian Decoding。

这篇笔记会沿着标题逐层拆解，先讲清楚大基线视图合成到底难在哪里，再回顾 3D Gaussian Splatting 的基础表示，最后重点分析“隐式高斯解码”可能的设计思路，并补充一套可用于复现和调参的实践框架。适合对 NeRF、3DGS 有一定了解，想快速跟进三维视觉新方向的读者；如果你刚接触这些名词，前两节也会帮你把背景补起来。

1. 背景与核心概念

1.1 什么是单目视图合成

单目视图合成，简单说就是输入一张（或少量几张）图像，通过算法生成从其他视角观察同一场景时应该看到的图像。过去几年发展最快的两条技术路线分别是：

• NeRF 系列：用多层感知机和体渲染表示连续场景，质量高但渲染慢。
• 3D Gaussian Splatting 系列：把场景拆成一堆三维高斯点，用可微光栅化渲染，质量和速度都能兼顾。

两条路线的共同点是：想重建一个 3D 场景表示，再通过这个表示渲染新视角。区别在于“场景怎么存”。

传统方法在视角密集、相机位姿变化很小的情况下已经很成熟。也就是一个场景拍几百张照片，重建出来几乎可以以假乱真。可一旦把相机距离拉开，问题就来了。

1.2 大基线到底是什么

“基线”在立体视觉里指两个相机光心之间的距离。小基线就是两个相机挨得很近，比如双目手机的两个摄像头；大基线则是两个相机离得很远，比如一个相机在房间门口，另一个在窗户边，或者无人机拍摄时一个视角在楼顶、另一个在楼底。

大基线单目视图合成的难点在于：

1. 重叠区域小：两幅图可能只有很小一部分场景是共同可见的。
2. 遮挡严重：视角一移动，很多原来被前景挡住的区域会暴露出来。
3. 深度不可观：单张图像本身存在深度歧义，大基线进一步放大了不确定性。
4. 匹配困难：传统 SFM 或光流在大基线场景下很难建立可靠的像素对应。

所以“大基线”并不是一个简单的参数调大问题，而是整个重建范式都需要改变。算法不能只靠当前图像“修修补补”，必须借助 3D 结构先验和生成能力来填补信息空缺。

1.3 InfiniSplat 在解决什么问题

从题目上理解，InfiniSplat=Infini（无限）+Splat（高斯泼溅），核心创新点落在Implicit Gaussian Decoding（隐式高斯解码）。

这个名字传递出两层信号：

• 它仍然使用3D Gaussian Splatting作为底层渲染器。
• 它不再直接优化高斯基元的参数本身，而是通过一个“隐式解码”过程生成这些参数。

在大基线场景下，观察信息不足，直接优化所有高斯参数很容易陷入局部最优或产生明显畸变。如果能用神经网络从一个共享的潜在表示中解码出高斯参数，模型就能借助训练时积累的大量场景先验，把“没看到的区域”也合理地补出来。

简单打个比方：直接优化高斯参数像是让一个画家只对着照片画局部，然后强行拼成完整画面；隐式解码则是让画家先理解“这是客厅、客厅通常有沙发和电视”，再按这个理解去补全画面。显然后者在大视角变换时更稳。

2. 大基线单目视图合成的技术难点

2.1 深度估计的天然歧义

单目深度估计本身就是一个 ill-posed 问题。同一张 2D 图像，可能对应无数种合理的 3D 解释。多视角方法能缓解这个问题，是因为三角化提供了几何约束。大基线场景下，两个视角的公共区域太少，可用的三角化约束也随之变弱。

这会导致什么结果？3D Gaussian 点的深度位置可能发生系统性偏移，渲染出来的图像在整体结构上是对的，但局部几何变形、厚度异常，甚至出现“纸片化”效果。

2.2 遮挡与未观测区域

大视角变化必然引入两种区域：

• 重新可见区域：第一视角被遮挡，第二视角能看到。
• 全新外推区域：两个视角都没见过，只能靠模型“编造”。

对于第一种区域，算法最好能从图像上下文推断出合理的结构；对于第二种区域，则更像一个生成任务。这也是为什么现在很多大基线方法会引入图像生成模型的先验，或者设计多尺度特征融合来降低不确定性。

2.3 位姿误差被放大

相机位姿是大基线重建的“地基”。小基线情况下，位姿角度差 0.1 度可能只造成几个像素的误差；大基线情况下，同样 0.1 度可能让投影点偏移几十甚至上百像素。任何在优化过程中不够准确的相机参数，都会导致几何场崩塌。

所以在工程实践中，如果自己做这类实验，位姿精度的优先级要高于网络结构调整。哪怕网络思路很好，而位姿带了明显误差，渲染结果都会很糟。

2.4 优化不稳定性

直接优化 3D Gaussian 的参数时，位置、协方差、颜色、透明度是耦合的。初始化的位置如果太差，梯度会把高斯点拉向错误区域。大基线场景下没有稠密 SFM 点云作为初始化，通常只能用随机点或规则格点起步，这会让优化过程极不稳定。

“隐式解码”的价值恰恰体现在这里：网络不是从空白开始猜每一个点的位置，而是基于图像特征生成位置偏移量或直接生成分布。这种“带先验的生成式初始化”比纯随机初始化更容易收敛。

3. 3D Gaussian Splatting 基础回顾

3.1 高斯基元表示

3D Gaussian Splatting 的场景表示非常简单直观。每一个高斯点可以看作一个微小的椭圆体，既包含位置和形状，又包含颜色和透明度。用数学语言描述，每个点的核心属性包括：

• 中心位置 μ（3D 向量）
• 协方差矩阵 Σ（通常用缩放 scale 和旋转四元数 quaternion 分解表示）
• 颜色 c（通常是球谐系数或直接 RGB）
• 不透明度 α（标量）

训练时这些参数被当作可学习的变量，通过图像重建损失不断更新。推理时，把所有高斯点投影到 2D 图像上，再按照深度排序、进行 alpha blending 合成最终像素颜色。

这里我用 PyTorch 风格给出一个高斯属性结构的示意图，帮助理解：

# 文件路径：gaussian_model.py # 说明：仅用于展示 3D Gaussian 的属性组织，非某个具体项目的完整代码 import torch import torch.nn as nn class GaussianPoint(nn.Module): def __init__(self, num_points=100000): super().__init__() # 每个点中心坐标 self.means = nn.Parameter(torch.zeros(num_points, 3)) # 每个点缩放 self.scales = nn.Parameter(torch.zeros(num_points, 3)) # 每个点旋转四元数 self.quats = nn.Parameter(torch.zeros(num_points, 4)) # 每个点颜色 self.colors = nn.Parameter(torch.zeros(num_points, 3)) # 每个点不透明度 self.opacities = nn.Parameter(torch.zeros(num_points, 1)) def forward(self): # 实际使用时还需要将 scales/opacities 经过激活函数处理 return { "means": self.means, "scales": torch.exp(self.scales), "quats": torch.nn.functional.normalize(self.quats, dim=-1), "colors": torch.sigmoid(self.colors), "opacities": torch.sigmoid(self.opacities), }

这里需要注意，scales和opacities不能直接用原始向量参与渲染，通常要经过指数激活或 Sigmoid，确保缩放为正、透明度在 0 到 1 之间。

3.2 渲染流程

3D Gaussian 的渲染流程可以拆成四步：

1. 投影：把 3D 高斯投影到相机坐标系，再投影到 2D 图像平面。
2. 排序：按每个高斯中心到相机的深度排序。
3. 计算权重：每个像素点根据 2D 高斯分布计算贡献权重。
4. 合成：从近到远做 alpha blending，得到最终颜色。

这个流程完全可微，因此可以端到端地通过图像损失优化所有高斯参数。相比 NeRF 的体渲染，它不需要对每条光线采样几十上百个点，而是直接模拟光栅化过程，速度提升非常明显。

3.3 传统 3DGS 的局限性

传统 3DGS 虽然渲染质量高，但有两个明显的依赖：

• 依赖SFM 点云初始化，比如用 COLMAP 提前算出稀疏点云。
• 依赖稠密多视角图像，视角覆盖要足够充分。

大基线单目输入恰恰同时击中了这两个弱点：没有稠密视角，也没有可靠的 SFM 输出。因此，近期的很多工作都在思考同一个问题：能不能放弃“从 SFM 初始化 + 后续不断优化高斯基元”的路径，改为“直接从输入图像预测高斯基元”？

这正是“隐式高斯解码”这条技术路线兴起的原因。

4. 隐式高斯解码到底在解码什么

4.1 “隐式解码”里的“隐式”指什么

在 3DGS 语境下，“隐式”并不是指 NeRF 那样的连续隐式场，而是指参数不直接作为可学习变量存储，通过神经网络从一个中间表示中生成。

对比一下两种范式：

InfiniSplat 标题里的 “Implicit Gaussian Decoding”，指的应该就是第二种思路：让神经网络把某种高维特征“解码”成一堆高斯点，再用高斯泼溅渲染出目标视角图像。

4.2 为什么大基线场景更需要隐式解码

大基线场景提供的信息极其有限。如果直接优化高斯参数，缺少观测约束的参数维度会自由漂移。而隐式解码有一个潜在好处：网络在大量训练数据中学会了“从图像特征到 3D 结构的映射”，即使当前输入只包含少量信息，网络也能用先验补全缺失部分。

具体来说，隐式解码器可以完成三件事：

1. 生成初始几何：从 2D 图像特征预测每个 3D 点的位置，省去 SFM。
2. 生成高质量属性：同时预测颜色、透明度、形状参数。
3. 支持条件采样：把场景级编码作为隐变量，让模型在不同输入下生成合理的场景变体。

4.3 解码器可能的输入与输出

根据 3DGS 领域近年来的发展趋势，隐式高斯解码器的输入通常包含：

• 图像特征：由 CNN 或 Vision Transformer 从输入图像提取。
• 场景级编码：一个全局向量，描述整个场景的整体布局。
• 查询点坐标：需要在哪些位置生成高斯点，通常是 anchor 点或由深度图反投影出的点。

输出就是一组高斯属性：

• 位置偏移
• 缩放
• 旋转
• 颜色
• 不透明度

下面给一个概念性的解码器结构示意，重点展示思路而非完整实现：

# 文件路径：implicit_decoder.py # 说明：隐式高斯解码器结构示意，非论文官方源码 import torch import torch.nn as nn class MLPDecoder(nn.Module): def __init__(self, feat_dim=256, hidden_dim=256, out_dim=10): super().__init__() self.net = nn.Sequential( nn.Linear(feat_dim + 3, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, out_dim), ) def forward(self, feat, query_pos): # feat: [B, N, C] 图像特征 # query_pos: [B, N, 3] 查询点坐标 x = torch.cat([feat, query_pos], dim=-1) out = self.net(x) # 拆分为位置偏移、缩放、旋转、颜色、透明度 pos_offset = out[..., 0:3] scale = torch.exp(out[..., 3:6]) quat = torch.nn.functional.normalize(out[..., 6:10], dim=-1) color = torch.sigmoid(out[..., 10:13]) opacity = torch.sigmoid(out[..., 13:14]) return pos_offset, scale, quat, color, opacity

这里把输出向量设计成 14 维，是为了便于理解：3 维偏移、3 维缩放、4 维四元数、3 维颜色、1 维透明度。实际工作里可能还会加入球谐系数，或者输出额外的特征通道用于后续细化。

4.4 需要避免的认知误区

有一个常见误区是：“隐式”一定优于“显式”。实际上两者各有优劣。

• 显式优化在高观测密度下精度更高，因为它直接用大量像素级梯度约束每个点。
• 隐式解码在稀疏观测下泛化更强，因为网络能补充先验，但它的最终质量受限于训练数据的覆盖范围。

大基线场景优先考虑隐式解码，是因为在这个场景下“泛化性”比“过拟合当前场景”更重要。而如果拿一个超密集采集的室内场景来做重建，显式优化的上限通常会更高。理解了这种取舍，再看 InfiniSplat 的方法设计就会更清晰。

5. InfiniSplat 方向的方法框架拆解

5.1 整体流程图

这里没有论文源码，所以下面的流程是根据 3DGS 领域通用的稀疏视角重建框架，结合标题关键词做的一个合理推演。流程可以概括为五个阶段：

输入图像 -> 特征提取 -> 生成候选锚点 -> 隐式解码高斯参数 -> 可微光栅化 -> 目标视角图像

• 输入图像：一张或少量几张参考视角图像及对应相机位姿。
• 特征提取：用 CNN / ViT 提取多尺度 2D 特征。
• 生成候选锚点：在相机视锥内产生候选 3D 位置，比如根据预测深度反投影，或者在规则网格上扰动生成。
• 隐式解码高斯参数：利用图像特征和锚点坐标预测高斯属性。
• 可微光栅化：调用 3DGS 的光栅化器，渲染目标视角，计算损失。

5.2 两阶段训练思路

大基线单目视图合成这类问题，直接端到端训练往往不稳定。比较稳妥的做法是分阶段训练：

• 第一阶段：先训练一个单目深度估计器，让网络初步学会场景几何，这一步可以借助通用的深度数据集预训练。
• 第二阶段：固定或微调深度估计器，训练隐式高斯解码器，重点学习颜色、透明度和高斯形状的生成。
• 第三阶段：端到端联合微调，让深度与外观特征进一步对齐。

这种方案的好处是每个阶段都有明确的学习目标，不容易在训练初期就因为几何预测错误导致渲染全黑或明显重影。

5.3 损失函数设计

在大基线场景中，仅仅使用逐像素 L1 或 L2 损失是不够的。因为图像已经是“脑补”出来的结果，像素级损失会倾向于产生模糊的平均效果。实际训练里通常组合以下几类损失：

# 文件路径：losses.py # 说明：大基线视图合成训练损失组合示意 def compute_loss(rgb_pred, rgb_gt, depth_pred=None, depth_gt=None, use_lpips=True): # 1. 像素重建损失 loss_l1 = torch.nn.functional.l1_loss(rgb_pred, rgb_gt) # 2. 感知损失，约束纹理和结构 if use_lpips: loss_lpips = lpips_fn(rgb_pred, rgb_gt) else: loss_lpips = 0.0 # 3. 深度平滑正则，减少几何抖动 if depth_pred is not None: loss_depth = depth_smoothness(depth_pred) else: loss_depth = 0.0 # 4. 高斯透明度正则，防止大量半透明伪影 loss_opacity = opacities.mean() total_loss = ( loss_l1 + 0.1 * loss_lpips + 0.05 * loss_depth + 0.01 * loss_opacity ) return total_loss

这里的损失权重只是一个参考方向，实际需要根据数据集和训练阶段调整。L1 保证基础重建，LPIPS 保证纹理真实，深度平滑保证几何干净，透明度正则防止高斯点变成一片模糊的烟雾。

5.4 大基线下如何构造训练样本

大基线训练数据的构造需要特别小心。如果正负样本差异过大，网络会学崩。通常的做法是从密集轨迹中随机采样两个相距较远的视角，但要把基线长度控制在一个合理区间内，否则完全不可见的区域太多，训练信号基本是噪声。

常见的策略是：

• 先在小基线样本上热身训练。
• 逐步增大采样基线。
• 把较大基线样本的损失权重降低，避免网络被难以学习的样本带偏。

这本质上是课程学习（Curriculum Learning）思路，在大基线单目视图合成中非常有效。

6. 复现环境与实践思路

6.1 硬件与软件环境

复现这类 3D Gaussian Splatting 方向的工作，对硬件有一定要求。通常建议：

• GPU 显存 24GB 以上，例如 RTX 3090、RTX 4090、A5000 或 A6000。
• 系统推荐 Linux（Ubuntu 20.04 或 22.04），因为大多数三维视觉库对 Linux 支持最好。
• 使用 PyTorch，CUDA 版本根据显卡驱动灵活选择。
• 需要预编译的 3DGS 光栅化扩展，例如diff-gaussian-rasterization。

环境版本不要照抄网上某个固定组合，建议先确认显卡驱动支持的最高 CUDA 版本，再选择对应的 PyTorch。

6.2 常用依赖库

复现过程中比较关键的依赖如下：

这些库并不是必需的组合，但基本覆盖了从特征提取到可微渲染的常见链路。

6.3 数据集选择

大基线单目视图合成常用的公开数据集包括：

• RealEstate10K：包含大量室内镜头轨迹，视角变化丰富，是这类方法的常见测试基准。
• ACID：自然场景航拍视频数据集。
• Mip-NeRF 360：适合验证连续大范围场景重建。
• DTU：物体级多视角数据集，适合消融实验。

实验时建议先把 RealEstate10K 拆成训练集和测试集，按照论文常用的输入方式构造样本。具体怎么拆，需要根据你的模型输入设计来定。

6.4 训练调参建议

在大基线场景训练时，比较常见的坑是三个：

1. 学习率过高导致高斯点爆炸。建议先把光栅化器相关参数冻结，单独训练特征提取部分，等稳定后再开放全部参数。
2. 透明度参数全部收敛到 0。说明损失权重设置不合理，模型通过“什么都不画”来骗过损失函数。可以增加透明度正则或对透明度做约束。
3. 深度预测和外观生成不齐步。两个模块耦合太紧时容易混乱，建议用两个不同学习率，或者用 gradient stopping 隔开梯度。

7. 常见问题与工程思考

7.1 大基线是不是等于稀疏视角

不完全等价。稀疏视角强调“输入图像数量少”，但视角之间可能离得很近。大基线强调“视角之间的距离大”，即使只有两张图，也可能是大基线。当然，大基线单目视图合成往往是极端稀疏的，两者在实际场景中经常同时出现。

研究时要区分清楚：你的模型是解决“信息不足”，还是解决“观察覆盖不完整”。前者需要更强的深度先验，后者需要更强的生成先验。InfiniSplat 标题里没有细说，但在实际项目中我们需要先明确瓶颈在哪。

7.2 隐式解码会不会丢失场景细节

这是很多人担心的问题。显式优化可以逐像素地拟合场景细节，隐式解码则通过有限维度的特征向量生成高斯参数，理论上会丢失高频细节。

实际工程中可以通过两种方式缓解：

• 在解码器输出中增加高频位置编码，让网络更容易表达细节。
• 在显式优化之前，先用隐式解码结果作为初始化，把两个阶段串起来。

所以“隐式解码”并不一定要取代显式优化，它也可能只是一种更好的初始化方式。如果结合“先隐式粗恢复、再显式细调”的思路，理论上既兼顾先验，又不失精度。

7.3 与扩散生成模型的关系

近两年也有不少工作把 Diffusion 模型引入大基线视图合成，用来动态补全新视角内容。InfiniSplat 这类 3DGS 方法与 Diffusion 生成模型并不是对立关系，反而可能互补：

• 3DGS 擅长高质量渲染与几何一致性。
• Diffusion 擅长填充完全不可见的区域。

如果大基线导致的“外推区域”占比很高，只靠几何先验可能不够，这时可以引入一个图像先验模块。但这也意味着训练和推理复杂度上升。实际选择时不妨先跑一个纯几何版本，再评估是否真的需要生成式补全。

7.4 InfiniSplat 的“Infini”体现在哪里

“Infini”最直接的理解是“无限”，这个词在标题里更像是一种目标描述：希望方法能够支持更大、更连续、更不受视角范围限制的场景合成。而不是说模型真的能生成无限大的场景。

这类方法往往通过多尺度特征和渐进式生成来扩大可表示范围。如果你计划把类似思路用到自己的项目中，建议优先考虑“模块是否支持场景尺度扩展”，比如固定分辨率的特征网格在场景变大时就很难保持正常表现。

8. 总结与学习路线

这一篇从前到后梳理了大基线单目视图合成的难点，回顾了 3D Gaussian Splatting 的基本原理，重点分析了隐式高斯解码可能的设计方向。与直接优化高斯基元的传统 3DGS 相比，隐式解码更强调利用图像特征和场景先验来生成 3D 表示，这正是应对大基线信息缺失的关键思路。

如果你想沿着这个方向深入学习，可以按下面顺序递进：

1. 先搞懂 NeRF 的基本原理，理解体渲染和隐式表示。
2. 再系统读一遍 3D Gaussian Splatting 原始论文，重点看光栅化流程和优化策略。
3. 阅读稀疏视角 3DGS 相关的代表工作，比如基于图像特征直接预测高斯点的方法，理解“由图像到高斯”的映射逻辑。
4. 复现一个最小训练流程，用真实数据观察大基线场景下模型失效的模式。
5. 最后再回到 InfiniSplat 这类方向，分析它的隐式解码与现有方法在结构上的差异，尝试用消融实验验证哪种设计真正带来收益。

做三维视觉研究，最大的阻碍往往不是不知道新方法叫什么名字，而是拿到一个思路之后无法判断它到底解决了哪个核心痛点。InfiniSplat 标题里的两个关键词其实已经把答案提示得很清楚：在大基线下，用隐式高斯解码去解决“观测不足”的问题。带着这个理解去消化论文源码，会比从零盲读高效很多。