- 论文题目：LatentHSI: Restore hyperspectral images in a latent space
- 作者：Jin Cao, Xiangyu Rui, Li Pang, Deyu Meng, Xiangyong Cao
- 期刊：Information Fusion
- 年份：2025
- DOI：10.1016/j.inffus.2024.102848
- 关键词：HSI恢复、Latent扩散、无监督
一、研究背景
高光谱图像（Hyperspectral Image, HSI）通常包含几十到上百个连续光谱波段，相比 RGB 图像具有更丰富的光谱信息，因此在遥感、农业、矿物检测等场景中具有重要应用价值。但这类图像在采集过程中容易受到噪声、低分辨率、空间细节缺失等退化影响，因此 HSI 恢复是一个重要问题。困难在于，HSI数据维度高、波段间相关性强，直接在原始高维空间中建模和优化都比较困难。
扩散模型近年来在图像生成和图像恢复任务中表现突出，其优势在于能够学习复杂数据分布，并通过反向采样过程为恢复任务提供生成先验。因此，将扩散模型引入HSI恢复是一个自然思路。不过，HSI与普通RGB图像不同：
- 一方面，其光谱维度远高于三通道图像，直接在完整HSI空间中训练和采样扩散模型会带来较高计算开销；
- 另一方面，HSI恢复通常缺少成对的退化/干净训练样本，且恢复结果还需要保持空间细节和光谱一致性。
这些都增加了扩散模型应用到HSI领域的难度。
近期一些工作已经尝试将扩散模型用于HSI恢复。例如，部分方法利用扩散模型作为HSI先验，并将恢复过程放到低维子空间中进行，以降低高维HSI建模难度。其中，PLRDiff和HIRDiff这类方法会选取少量波段构成三通道子空间，再利用扩散模型完成恢复；DDS2M则从退化HSI本身出发训练扩散模型，用于自监督恢复。这些方法说明扩散模型在HSI恢复中具有潜力，但也暴露出一个关键问题：如何构造一个既足够低维、又尽量保留HSI光谱信息的恢复空间。
二、问题切入
LatentHSI 的切入点正是这个“恢复空间”的设计。它并不是直接在原始 HSI 空间中做扩散，也不是只选取少数几个波段构成简单子空间，而是先利用 HSI 的低秩特性，将图像表示为低维表示和系数矩阵的组合；随后用 VAE 为降维表示学习一个连续、平滑的latent空间，并在该潜在空间中训练扩散模型。恢复时，扩散模型提供latent先验，函数将观测退化图像和退化模型引入采样过程，最后再通过Adam对结果进行修正。这样做的核心意义在于：LatentHSI 将高维HSI恢复问题转移到一个专门为HSI降维表示学习得到的latent空间中，从而在降低建模难度的同时，避免简单三波段子空间带来的光谱信息损失。
三、具体设计
LatentHSI的整体框架可以分为四个主要步骤：低秩分解、VAE潜空间构建、潜空间扩散采样，以及基于观测图像的引导修正。
整体流程可以简化表示为:
退化 HSI
↓
估计降维表示与系数矩阵
↓
VAE 映射到latent空间
↓
Latent扩散指导采样
↓
Adam修正
↓
恢复后的 HSI
3.1 低秩分解
论文首先利用高光谱图像在光谱维度上的低秩特性，将原始 HSI 表示为一个降维表示和一个系数矩阵的组合：
其中，表示原始高光谱图像，
是降维表示，E 表示系数矩阵，
表示沿光谱维度的矩阵乘法。
这一步的作用是将原始HSI从完整的高维波段空间中拆解出来，后续主要围绕构建潜在空间。这样可以避免直接在原始高维HSI空间中建模，同时也能通过系数矩阵E重建完整波段信息。
在实际恢复时，模型观察到的是退化图像，因此需要先从退化 HSI 中估计降维表示
和系数矩阵 E。论文中通过最小二乘形式估计 E：
可以把这一步理解为：先从退化观测中估计出一个用于重建完整HSI的光谱映射关系，为后续在 latent空间中恢复图像做准备。
3.2 VAE：构建连续平滑的HSI潜在空间
得到降维表示后，作者使用VAE将其映射到latent空间：
其中，表示VAE的编码器，z是latent表示。随后，解码器
可以从z重建降维表示：
VAE的训练目标包括重建误差和KL正则项：
这里的p(z)通常设为标准高斯分布。KL项用于约束 latent space 的分布，重建项用于保证从latent空间解码后仍能保留原始降维表示的信息。
VAE 在 LatentHSI 中的作用不是单纯“生成图像”，而是构建一个适合恢复任务的潜在空间。相比直接在像素空间或简单选波段子空间中优化，VAE 学到的 latent space 更低维，也更适合后续的扩散采样和梯度引导。
3.3 Latent扩散模型训练
在构建好latent空间后，LatentHSI在该空间中训练扩散模型。扩散模型的作用是学习latent表示的数据分布，为后续恢复提供生成先验。
恢复阶段的目标可以理解为：在观测退化图像的约束下，从条件分布
中寻找合适的latent表示。得到 z 后，再通过解码器和系数矩阵恢复完整 HSI：
这里的重点是，扩散模型不是直接在完整 HSI 空间中采样，而是在 VAE 构建出的latent空间中采样。这降低了高维 HSI 恢复的建模难度，也使扩散模型更容易学习有效的先验分布。
3.4 引导函数
仅依靠扩散模型采样还不够，因为恢复结果必须满足观测图像的约束。为此，论文设计了引导函数来引导采样过程：
其中，D表示退化算子，第一项是数据一致性项，用于保证恢复结果经过退化后能够接近观测图像；第二项是TV正则，用于抑制噪声并保持图像空间结构。
在 DDIM 采样过程中，论文将guidance的梯度加入到噪声预测中：
这一设计使扩散采样不仅受到 latent先验的约束，也受到具体恢复任务的观测约束。
不过，加入引导后可能会导致采样分布偏移，使DDIM过程中的误差累积。为此，论文在采样结束后增加了一个Adam修正步骤，继续优化最终的。最终恢复图像由解码器和系数矩阵共同得到：
这一修正步骤可以看作对采样结果的进一步修正，使最终结果更符合退化观测和恢复任务约束。
四、实验设计
论文在多个 HSI 恢复任务上验证了 LatentHSI，包括 pansharpening、denoising 和 noisy HSI super-resolution。实验使用了多个高光谱数据集，例如 Chikusei、Houston、PaviaC 等，并采用 PSNR、SSIM、RMSE、ERGAS、SAM 等指标进行评价。
对比实验结果表明，LatentHSI 在三类恢复任务中均表现出优异性能，相比传统模型方法、经典深度学习无监督方法以及同类型基于扩散模型的算法，该方法能够更好地还原图像空间细节与光谱信息，综合表现具备明显优势。
除了主实验，论文还进行了多组消融实验，用于验证各模块的作用。
- 扩散模型模块消融：移除latent扩散步骤，仅基于VAE latent空间与基础解码重建进行恢复，验证扩散模型在细节增强与噪声抑制中的关键作用。
- Latent 空间消融：用原始空间、等间隔三波段子空间或RRQR构造的低秩子空间代替latent空间，保持其他步骤不变，对比不同表征空间下引导优化的有效性。
- 引导函数（Guidance Function）消融：分别移除数据保真项与TV正则项，验证两者在退化约束与细节平滑中的协同作用。
- 最终校正（Final Correction）消融：对比 “仅DDIM采样” 与 “DDIM采样 + Adam迭代校正” 的结果，验证校正步骤对重建误差的修正能力。
实验结果表明，扩散模型、隐空间、引导函数以及最终校正模块均对最终恢复质量有显著贡献。去掉扩散模型后，全色锐化任务的性能出现了明显下降；相较于其他空间，隐空间更容易通过梯度引导获得稳定且有效的优化方向；引导函数中的保真项与全变分正则项均对恢复效果带来了实际增益；而最终校正步骤则进一步修正了采样过程中产生的误差，有效提升了重建图像的细节精度。
五、总结
LatentHSI 的创新核心，并非简单将扩散模型迁移至高光谱图像恢复任务，而是重新定义图像恢复的运行空间。高光谱图像属于典型高维数据，直接在原始像素空间建模优化难度大、计算成本高；而传统方法构造的简易低维子空间，又极易丢失关键光谱信息。该方法结合高光谱图像天然的低秩特性，通过张量分解将原始图像拆解为降维表示（reduced representation）与系数矩阵（coefficient matrix），再借助变分自编码器（VAE）构建连续平滑的专属隐空间，在高维原始空间与简易子空间之间实现了平衡。
结合实验结果与模型原理分析，该方法仍存在两处明显短板：
- 第一，受 VAE 自身特性限制，其构建的隐空间会对重建图像造成一定程度的模糊，在对图像边缘、细节要求严苛的场景中，会轻微影响部分评价指标，限制模型性能上限。
- 第二，模型依赖较多人工设置的超参数，包括隐空间尺寸、引导强度、TV 正则权重、校正迭代次数以及选取波段数等。论文虽给出了通用最优配置，但面对不同数据集、不同退化程度的图像时，往往需要手动调参，一定程度上降低了方法的落地效率与通用性。
整体而言，LatentHSI 提出了一套完整且逻辑清晰的 “隐空间 + 扩散模型” 无监督高光谱图像恢复框架，为高维遥感图像的修复研究提供了全新思路，具备较好的学习与参考价值。
--了解基本方法与概念)
