不确定性引导潜空间扩散模型，提升超分辨率的忠实度

扩散模型做超分辨率，效果确实好，但有一个长期被人忽视的问题——生成结果不够忠实。Uncertainty-Guided Latent Diffusion Models for Faithful Super Resolution 这个研究方向，核心就是解决扩散模型在超分时“生成得很漂亮，却对不上输入”的问题。传统超分网络追求像素相似度，容易把纹理抹平；扩散模型反过来，能生成很真实的高频细节，但代价是模型可能“自由发挥”，把原本没有的窗户、笔触、斑点凭空编出来。对医疗影像、遥感、监控图像这类看重真实性的任务来说，这种幻觉是严重缺陷。

不确定性引导的潜空间扩散方法，本质是在扩散模型里加入一个不确定性估计环节，让模型知道哪些区域的信息可信、哪些区域需要谨慎生成，从而提高输出与输入的一致性。如果你正在了解扩散模型超分落地，或者想比较不同超分方案的可靠性，这个思路很值得细看。下面按“理解原理—准备环境—实现模块—跑通流程—评估效果—排查问题—判断边界”的顺序拆一遍。

1. 先拆开标题：不确定性引导、潜空间扩散、忠实超分分别解决什么

1.1 扩散模型做超分为什么会出现“不诚实”的结果

超分任务是病态问题。一张低分辨率图像，理论上可以对应很多张看起来都合理的高分辨率图像。扩散模型生成能力强，所以它在这种“多解”场景下会有很大发挥空间。它能画出细腻的皮肤纹理，能补全模糊的背景细节，甚至能凭空生成结构完整的物体。

问题在于，这种生成不总是对输入友好。给定一张被降采样到很低分辨率的原图，模型很有可能在纹理密集区域产生“自创”内容。比如建筑外墙的窗户排列，原图只有一两个模糊窗户，模型却按自己的习惯补出一整排，视觉上很自然，但已经是错误信息。

这就是不忠实。忠实超分辨率要求输出的高分辨率图像，只能包含输入中可推断出来的结构、颜色和纹理，不能无中生有。传统方法用 L1 或 L2 损失约束输出，结果偏保守，纹理缺失；扩散模型直接最大化生成似然，结果又偏激进，容易产生幻觉。怎么在两者之间平衡，是这类方法要解决的核心问题。

1.2 潜空间扩散模型的价值

直接在像素空间做扩散，对超分这种全图任务来说计算量太大。一张 512×512 的图，扩散模型每一步都要处理百万像素级张量，迭代几十步，普通显卡很难接受。

潜空间扩散模型先训练一个自编码器，把图像压缩到低维潜空间，再在潜空间里训练扩散模型。生成时先使用文本或低分辨率图像作为条件，在潜空间采样，最后用解码器还原成高分辨率图像。这样做有两个明显优势：一是显存和计算量显著下降，二是训练可以聚焦在语义生成上，而不是逐像素重建。

代价也很直接：自编码器是有损的，潜空间会丢弃一部分高频细节。超分任务恰恰重视高频细节。所以单纯把 LDM 套到超分任务上，很容易出现“细节丢了补不回来”或者“补回来的不是原图细节”的情况。这也是为什么需要额外的不确定性引导机制来兜底。

1.3 不确定性引导在其中的角色

不确定性估计在超分任务里有天然语义：输入分辨率越低、噪声越强、纹理越模糊，模型对输出的把握就越低。如果我们能让模型在训练时学习输出一张“不确定性图”，高值区域表示“这里我不确定该怎么生成”，低值区域表示“这里我很确定”，那么后续的生成过程就可以据此调整。

不确定性引导的常见思路是：将不确定性图作为条件信息输入扩散模型，或作为损失权重，指导模型在低不确定性区域严格拟合输入，在高不确定性区域才允许更大的生成自由度。这样既保住了潜在扩散模型生成细节的能力，又限制了它随意编造的方向。

从算法结构看，这相当于在普通 LDM 上增加了一个辅助回归头和一套引导融合策略。说难不难，但调参很考验细节。下面从准备阶段开始讲。

2. 跑通这类方法，先准备什么

2.1 环境与依赖建议

这类项目通常基于 PyTorch 实现。建议准备 Python 3.9 或更高版本，PyTorch 2.0 以上，CUDA 11.8 或更高。如果只是跑推理，NVIDIA GPU 显存 8GB 可以尝试；如果要重新训练不确定性估计模块，建议 16GB 以上，且提前确认显存会不会被中间特征撑爆。

常用依赖一般包括：diffusers、accelerate、einops、omegaconf、opencv-python、tqdm、tensorboard。不同项目对 diffusers 版本要求可能不同，有的喜欢固定版本，有的喜欢用最新版。落地时先看原仓库的 requirements 文件，不要一上来就pip install -r requirements.txt全装。最好先建一个干净的虚拟环境，装完直接跑官方 demo 验证依赖兼容性。

这是第一个坑：很多报错不是模型问题，而是 transformers 或 diffusers 版本和项目代码不匹配。建议记录每次安装的版本号，方便回滚。

2.2 数据和输入输出格式

如果准备本地验证，不需要一开始就上完整训练集。小规模流程建议这样设计：

• HR 图像：准备一批 256×256 或 512×512 的清晰图像，内容可以来自公开数据集，也可以自己拍。
• LR 图像：用固定方式降采样生成，例如 bicubic 4 倍下采样。这样可以保证 HR 和 LR 严格对齐。
• 文件结构：建议把 HR 和 LR 分开存放，用相同文件名命名，方便数据加载。

目录结构可以是这样：

data/ ├── HR/ │ ├── img_001.png │ └── img_002.png └── LR/ ├── img_001.png └── img_002.png

输入格式上要注意：大部分扩散模型训练时把图像归一化到 [-1, 1]，保存输出时要反归一化到 [0, 255]。很多初学者在颜色偏暗或偏色时，第一反应是模型问题，实际上只是归一化没处理好。

2.3 关键路径和参数

开始实验前，先确认这几类路径：

• 预训练权重路径：自编码器权重、扩散模型权重、不确定性模块权重。
• 输出目录：包括中间结果、最终结果、训练日志。
• 数据路径：HR 和 LR 的根目录。

核心参数可以分成三组：

• 图像参数：分辨率、下采样倍数、裁剪尺寸。
• 采样参数：采样步数、无分类器引导系数、随机种子。
• 训练参数：batch size、学习率、不确定性损失权重。

原始材料没有明确给出某个项目的具体配置，但这类模型的通用套路是先固定图像参数和采样步数，再调引导系数，最后才动训练权重。不要一开始就把所有参数同时调到很高，否则出问题很难定位。

3. 核心模块的实现思路

3.1 图像自编码器与潜空间

潜空间扩散模型的本质是“先压缩，再扩散”。自编码器包含编码器和解码器。编码器把高分辨率图像压缩成较小的张量，解码器负责还原。这个压缩过程不是简单的缩放，而是学习到的有损编码。

超分任务里，通常把低分辨率图像也编码到潜空间，作为扩散模型的条件。在潜空间里，条件张量和待生成张量的尺寸一致，可以直接拼接或加和。这个设计看起来很自然，但要注意潜空间中的数值分布和像素空间差异很大，不能直接用图像相似度判断模型好不好，要看解码后的结果。

有些实现会直接让扩散模型在“低分辨率条件+噪声噪声”上迭代，最后通过解码器还原。如果用别人训练好的权重，一定要确认自编码器的输入规格和归一化方式，否则出来的结果可能整体偏移。

3.2 不确定性估计模块

不确定性估计通常是一个轻量神经网络，输入可以是低分辨率条件特征，也可以是扩散模型中间层的特征，输出与特征图同尺寸的不确定性图。

训练时，一般用“预测误差”作为监督目标。比如用模型对某张低分辨率图像生成一次结果，计算生成结果和真实高分辨率图像之间的残差，然后让不确定性估计模块去预测这个残差的绝对值或平方。这样模型学到的就是“哪里可能出错”。

推理时，不确定性图可以直接参与引导。简单做法是把不确定性图归一化后作为额外通道，拼接到条件输入里。更精细的做法是在扩散模型每一层用不确定性图调制特征，让模型在低不确定性区域更依赖条件，在高不确定性区域保持保守。

我建议先尝试简单做法，也就是把不确定性图作为条件通道拼接。这个改动小，效果也容易观察。如果拼接后效果不明显，再考虑分层调制。

3.3 扩散采样中的引导方式

去噪网络一般用 UNet，输入是带噪声的潜变量和时间步嵌入，条件来自低分辨率图像潜编码。不确定性引导可以放在三个位置：

• 在输入端拼接不确定性图，让 UNet 提取条件时直接看到不确定性信息。
• 在损失函数中使用不确定性加权，让模型在训练时对困难区域更宽容。
• 在采样过程中动态调整条件强度，比如高不确定性区域降低无分类器引导系数。

下面给一个很通用的采样示意代码。它不代表某个具体项目，但能展示“引导如何接入”的大致节奏。

# 伪代码示意，具体实现以原项目代码为准 import torch # 假设已有自编码器 vae、去噪网络 unet、不确定性头部 uncertainty_head # lr_latent 是低分辨率图的潜编码 lr_latent = vae.encode(lr_image).latent_dist.sample() # 预测不确定性图 uncertainty = uncertainty_head(lr_latent) # [B, 1, H, W] # 把不确定性图与条件拼在一起 cond = torch.cat([lr_latent, uncertainty], dim=1) # 从随机噪声出发，按 DDIM 逐步去噪 latent = torch.randn_like(lr_latent) * noise_schedule[-1] for t in reversed(range(num_steps)): # 将时间步嵌入与条件一起交给 UNet noise_pred = unet(latent, timestep=t, encoder_hidden_states=cond) latent = ddim_update(latent, noise_pred, t) # 解码得到高分辨率图像 hr_image = vae.decode(latent).sample

这段代码写得非常粗，但足够说明关键点：不确定性图不是独立监督头，而是在实际生成路径中参与了条件构建。这也是“引导”二字的含义。

3.4 训练损失的设计

训练通常包含两大部分：扩散模型本身的去噪损失，和不确定性估计的约束损失。

扩散模型原始损失是预测噪声的 MSE。对于超分任务，可以继续沿用，也可以额外加像素域损失。常见做法是：

• 在潜空间计算噪声预测损失。
• 对解码后的 HR 图像和真实 HR 图像计算 L1 或感知损失。
• 对不确定性图计算残差监督损失，比如loss_unc = L1(uncertainty, abs(hr_pred - hr_gt))。
• 总 loss 为三者加权和，比如total = noise_loss + 0.1 * pixel_loss + 0.05 * unc_loss。

这里权重不是固定值，需要根据数据集表现调整。如果发现输出太糊，降低 pixel_loss 权重；如果发现输出太自由，提高 pixel_loss 权重或提高不确定性监督权重。训练时建议每跑几个 epoch 存一下推理结果，不要只盯着 loss 曲线。

4. 从单任务到批量任务的可复现流程

4.1 第一次测试建议

拿到项目后，不要直接跑完整数据集。先做一轮“最小冒烟测试”：

1. 选一张小尺寸低分辨率图，比如 128×128。
2. 设置 batch_size 为 1。
3. 采样步数调小，比如 20 步。
4. 固定随机种子，保证每次结果一致。
5. 运行一次推理，检查输出尺寸、数值范围、视觉内容是否合理。

如果这一步通过，再开始跑完整流程。如果失败，优先检查输入张量尺寸和归一化，其次检查权重路径。

最小测试的目的不是追求好效果，而是验证“输入—模型—输出”整条链路没有断。很多人一上来就追求高分辨率、大 batch、多步长，报错后看不出是数据问题、显存问题还是模型问题。

4.2 核心参数调节

采样流程中，最值得关注的是无分类器引导系数和不确定性阈值。

这里列一个参数表，供实验时参考。注意数值是通用经验，不是官方推荐。

调节顺序建议：先固定采样步数和引导系数，观察不确定性图是否合理；再根据输出结果微调引导系数；如果效果仍不满意，再回到训练阶段调整不确定性权重。

4.3 批量处理时的命名与重试

能跑通单图后，批量处理是另一件事。批量任务要考虑的不只是 for 循环，还有失败重试、输出命名和异常记录。

输出文件名建议保留原始文件名，然后加上分辨率、倍数和方法名。例如：

cat_x4_uncertainty.png

避免只输出out_1.png这种名字，不利于对照。处理多张图时，建议写一个简单的任务队列，每张图执行成功后记录状态，失败则写入 error.log。这样即使某一帧异常，也不会中断整个批次。

批量处理时最好固定采样种子。如果不固定，每张图都会生成不同结果，就很难判断参数变化带来的效果差异。同一张图用同一批参数应该能稳定复现，这是超分实验的基本要求。

5. 效果评估：忠实度不能只看 PSNR

5.1 传统指标之外的一致性检查

PSNR 和 SSIM 是超分领域最常见的指标。它们对像素级相似度敏感，但无法很好衡量“幻觉细节”。PSNR 高，可能只是因为输出平滑，没有明显错误；但平滑恰恰是传统超分被诟病的地方。反过来，扩散模型生成的图 PSNR 可能偏低，但人眼看着很舒服。

所以评估这类方法时，要加入一致性检查。最简单有效的方式是：把模型输出的 HR 图像再次做相同倍数的下采样，得到 re-LR，然后与原始 LR 计算差异。如果差异很小，说明输出在低分辨率层面还保留着输入的原始结构。如果差异很大，说明模型在生成过程中“篡改”了输入信息。

这个方法不需要额外标注，快速、可解释。在实验报告中建议把 re-LR 与 LR 的 PSNR/SSIM 列出来，与 HR 与 LR 对应关系做对比。

5.2 评估流程建议

推荐一套务实的评估流程：

1. 准备 10 到 20 张测试图，覆盖人脸、建筑、自然、文字等不同内容。
2. 对每张图运行固定参数推理。
3. 计算 PSNR、SSIM、LPIPS。
4. 对每张输出执行下采样一致性检查。
5. 人工查看输出图，重点关注重复性纹理区域、边缘两侧和文字区域。
6. 汇总结果，看是否存在“某类场景特别好、某类场景特别差”的偏差。

只统计平均指标不够。很多模型在自然图像上表现很好，一到文字区域就完全崩坏。忠实超分特别看重这种抗幻觉能力。

5.3 结果判断与调整

如果发现输出图上出现“多出来”的规律纹理，比如墙砖变多、树杈方向变化、文字笔画变形，基本可以判定模型产生了幻觉。

这时候先不要调模型结构，而是看不确定性图对应区域是不是高不确定性。如果高不确定性区域依然产生了明显生成，说明不确定性引导还没有真正约束到采样。可以尝试提高引导系数或降低采样步数，让模型少“自由发挥”。如果不确定性图本身就不准，那就要回去检查不确定性监督信号是否合理。

反过来，如果输出过度平滑，不确定性图整体高值，说明模型太保守，几乎不敢生成细节。这时降低不确定性约束权重，或提高扩散模型的生成条件强度，给模型更多生成空间。

6. 常见问题排查与边界

6.1 输出颜色异常与归一化问题

颜色问题是最容易踩的坑。模型训练数据如果归一化到 [-1, 1]，那么解码器输出大概率也在 [-1, 1]，直接保存会变成接近全黑或全灰的图。正确做法是在保存前执行(output + 1) / 2 * 255并转换为 uint8。如果输出整体偏移，先检查归一化和反归一化，再检查解码器输出范围。

另外，低分辨率输入本身可能带有 gamma 编码或色彩空间问题。如果训练和推理用不同库读取图像，例如 OpenCV 读取 BGR 而模型训练用 RGB，就会导致颜色错乱。建议统一使用cv2.cvtColor或PIL.ImageOps处理。

6.2 显存不足与性能优化

潜空间扩散确实比像素空间省显存，但潜空间不是万能药。自编码器前向、UNet 多层特征、不确定性引导的额外通道都会占用显存。如果 OOM，优先看 batch size，再看图像分辨率，最后看 UNet 是否支持切片计算。

如果训练阶段 OOM，可以使用梯度累积模拟更大 batch，也可以采用混合精度训练。推理阶段 OOM 可以尝试把图像切成重叠块分别推理，再拼回去。但切块要小心边界伪影，最好用带重叠的融合策略。

6.3 幻觉纹理与伪影

出现幻觉纹理，最直接原因是生成约束太弱。diffusion 模型天生喜欢生成精细纹理，如果没有强条件约束，它就会“自由发挥”。解决办法有三个方向：

• 增加不确定性引导的权重，让模型在低不确定性区域更严格。
• 降低无分类器引导系数，减少模型自身的先验偏移。
• 调整训练损失，增加与真实 HR 的像素级约束。

如果出现大面积水波纹或棋盘格伪影，一般是解码器质量问题。建议先单独测试自编码器的重建效果，看它对输入图像的重建误差有多大。如果自编码器本身重建就丢细节，再好的扩散模型也救不回来。

6.4 不确定性图异常

训练初期不确定性图全黑或全白，通常是监督目标问题。残差目标范围可能太大或太小。建议对目标做归一化，或者使用 uncertainty 的 logits 进行监督。如果全黑，可能模型直接把不确定性预测为 0，说明权重初始化或学习率不合适。

排查顺序是：先看不确定性图是否随输入变化；再把不确定性图可视化，叠加到原图上；最后看训练 loss 中不确定性部分的数值是否在合理范围。如果 loss 在一开始就极小，说明监督信号没有起到作用。

7. 适不适合落地，取决于任务对“真实”的要求

7.1 更适合的场景

如果你处理的图像对结构一致性要求很高，比如医学影像、工业检测、卫星遥感、老旧照片修复，不确定性引导的潜空间扩散方法很合适。这些场景的共性是：可以接受一定程度的纹理增强，但绝不能接受结构错误。

尤其值得关注的是“重复纹理”场景。传统超分容易把重复纹理抹平，扩散模型容易把重复纹理无限生成，不确定性引导则可以在两者之间找到边界。

7.2 不适合的场景

如果是艺术创作、风格迁移、内容生成类任务，目标是“生成好看”而不是“忠实原图”，这类方法反而会限制模型发挥。不确定性引导本质是一个“安全约束”，它会抑制模型的想象力。

另外，如果你的设备是低端 CPU 或无 GPU，扩散模型超分即使加了潜空间压缩，仍然很难达到实时或准实时。传统 SRCNN、ESPCN 会更合适。也不要指望在手机端直接跑完整 LDM，除非做了大幅蒸馏和量化。

7.3 下一步可以看什么

如果决定往这个方向做，可以先从三个方向深入：

• 采样加速：DDIM、DPM-Solver、LCM 等减少采样步数的方法，都能让扩散模型超分更实用。
• 不确定性建模：从像素空间预测误差扩展到时域或频域不确定性，对复杂退化场景更鲁棒。
• 评估体系：建立“输入一致性”评估集合，把 re-LR 差异作为指标之一，比单纯追求 PSNR 更有价值。

这个方向最大的难点不是训练一个会生成的模型，而是让模型学会“哪些地方不要生成”。不确定性引导给了我们一个可解释的抓手：通过不确定性图，你能直观看到模型对每个像素的信任程度。落地时不要只盯着生成效果，先把不确定性图可视化，再配合 re-LR 一致性检查，很多问题都能在早期暴露出来。