All-in-One天气恢复模型深度解析：频域对齐与多退化联合训练实战

开头直接说结论：这类 All-in-One 天气恢复模型，最值得关注的不是它到底能不能同时去雨、去雾、去雪，而是它怎么在同一个模型里处理多种退化，并且不靠堆参数量硬撑。Spectral Harmonization 是其中一个关键设计，核心思路是从频域角度对齐不同天气退化之间的分布差异，让一个模型在多种退化上都能稳定输出。如果你正在做图像复原、恶劣天气下的视觉感知，或者准备复现这类统一模型，这篇内容值得先看完再动手。

这种项目的实际难点不在“读懂论文标题”，而在三个地方：数据怎么组织、模型结构里哪个模块真正起效、训练时到底怎么控制多种退化不互相干扰。下面按我实际折腾这类模型的经验，把整个流程拆开讲。

1. All-in-One 天气恢复解决什么问题，和单任务模型有什么差异

1.1 单任务模型的局限

传统做法是每种退化训练一个专用模型。去雨模型只处理雨纹，去雾模型只处理雾霾，去雪模型只处理雪花。单任务模型的好处是针对性极强，同一个退化类型下效果可以做得很好。问题也很明显：真实场景里退化不是单独出现的，雨天可能有雾，雪天可能同时存在低光照和模糊，摄像头采集到的画面往往是多种降质因素叠加。

这时候如果继续用单任务模型，就得按顺序串联多个模型，或者先做退化类型分类，再选择对应模型。串联会累积误差，前一个模型的输出如果带了伪影，后一个模型会把伪影当成输入的一部分继续放大。分类再选择的方法还面临一个更现实的问题：分类器本身就会出错，尤其当退化程度不高、两种退化身感相似时。

1.2 All-in-One 模型的核心目标

All-in-One 天气恢复模型的目标是：训练一个模型，输入一张被任意天气退化影响的图像，输出对应的干净图像。模型不需要预先知道输入是什么退化，也不需要在推理阶段切换参数。

这听起来是把多个任务合并到一个网络里，但直接合并很容易出现“任务冲突”。去雨模型学到的特征偏重纹理边缘，去雾模型学到的特征偏重低频亮度变化，两者在共享编码器里叠加时，网络不知道该优先保留哪类信息。Spectral Harmonization 这类设计，本质上就是在处理这个冲突。

1.3 Spectral Harmonization 在整条链路中的位置

从模型架构角度看，Spectral Harmonization 不是一个独立的网络，而是嵌入在编码器或解码器中的一种特征处理模块。它做的事情可以通俗理解为：把不同退化图像的特征从空间域变换到频域，在频域里做统计量匹配或分量对齐，再把处理后的特征映射回空间域。

这样做的动机是，雨纹、雾霾、雪点在不同频段上的能量分布有明显差异。雨纹更多集中在中高频，雾霾主要影响低频亮度，雪点则表现为高频噪声点。如果直接在空间域把特征拼接或相加，网络需要自己隐式地学习频段分离，难度更高。显式地在频域做对齐，等于告诉模型“不同退化在不同频段上有不同的响应方式”，从而减少任务之间的干扰。

注意：这里说的频域对齐不是简单的傅里叶变换后再拼接，而是对特征图的幅度谱、相位谱或统计分布做处理。复现时一定要区分“用了 FFT”和“做了真正有效的频谱对齐”，前者只是形式，后者才是性能提升的来源。

2. 复现这类项目前，先把数据、框架和资源边界确认清楚

2.1 数据集组织方式

All-in-One 模型训练一般使用多个单退化数据集的组合。常见做法是：去雨用 Rain100L、Rain100H 这类合成雨图集，去雾用 RESIDE 系列，去雪用 CSD、Snow100K 等。把这些数据集的干净图和退化图分别放在对应目录下，训练时按比例混合采样。

这里有个容易踩坑的地方：不同数据集的分辨率和退化强度差异很大。Rain100H 的图像尺寸可能和 RESIDE 不一致，雪图集的边缘可能带大量白边。如果不做统一预处理，模型会同时学到不同数据集的分布偏移，而不是学到通用的图像恢复能力。

建议在数据加载阶段做两件事：

• 统一 Resize 到固定尺寸，常见的是 256x256 或 512x512，具体取决于显存。
• 每个 batch 从不同退化类型中按相同概率采样，避免某个数据集体量过大导致训练偏向。

2.2 框架与依赖版本

这类模型大多基于 PyTorch 实现。复现前先确认三样东西：PyTorch 版本、CUDA 版本、是否有 GPU 环境。常见的组合是 PyTorch 1.13 或 2.x 配 CUDA 11.x/12.x。原始论文如果没有明确给出版本，建议先按你本机的 CUDA 版本反推 PyTorch 版本，然后安装 requirements。

高频依赖还包括：

• torchvision：用于数据增强和部分基础模型。
• numpy 和 Pillow：图像读取和数值运算。
• einops：部分实现会用它做张量维度变换。
• matplotlib：画训练曲线和保存可视化结果。

不要去追求最新版本，稳定优先。PyTorch 2.x 在数据加载和编译上确实更快，但部分旧代码可能因为 API 变更报错。先跑通官方或作者提供的训练脚本，再用新特性优化，这个顺序不能反过来。

2.3 硬件资源边界

All-in-One 模型通常是编码器-解码器结构，中间可能带 Transformer 或频域处理模块。显存需求比单任务模型略高，但和纯大模型相比仍算轻量。

第一次复现时，不要直接按论文的 batch size 和图像分辨率跑。先把分辨率降到 256x256，batch size 设为 2 或 4，确认前向传播和反向传播都能跑通，再逐步增大。如果显存是 8GB，建议优先用 256 分辨率；16GB 以上可以尝试 512 分辨率。低显存环境也能复现这类模型，但关键是把 batch size 和梯度累积配合好。

2.4 预训练权重和日志管理

多数论文会提供预训练权重或训练好的 checkpoint。下载后先确认权重的键名与当前模型是否匹配。经常遇到的问题是：作者训练时用了 DataParallel 或 DDP，权重文件里带module.前缀，而你的模型是单卡加载，去掉前缀后才能顺利加载。

日志管理这种看似不重要的工作，在训练 All-in-One 模型时反而很关键。因为训练过程长、中间结果多，我一般会单独建一个logs/目录，里面按日期归档训练日志、checkpoint、可视化样例和参数配置。如果训练中断或效果异常，先翻日志里的 loss 曲线和保存的可视化图，能节省大量排查时间。

3. 训练流程怎么拆：从单退化验证到多退化联合训练

3.1 第一步：最小闭环验证

不要一上来就做完整的多退化联合训练。第一次接触这类模型，我强烈建议先拿一个单退化数据集把整个代码链路跑通。

具体操作是：

1. 只加载去雨数据。
2. 用模型对单条样本做前向推理。
3. 计算 loss，执行反向传播。
4. 保存一张恢复前后的对比图。

这一步的目的不是追求指标，而是确认模型结构、数据加载、loss 计算、可视化保存四个环节没有断点。很多代码报错会在这一步集中暴露。

单退化跑通后，再切到去雾数据跑一遍。切数据时要留意：模型在去雨上训练过的权重，直接去跑去雾，指标通常会掉。这不代表代码有问题，而是特征分布变了，需要重新训练或微调。

3.2 第二步：多退化联合训练

多退化联合训练的关键是采样策略和 loss 权重。

采样策略上，最简单的做法是每个 batch 内混合多种退化。例如 batch size 为 8，其中雨图 3 张、雾图 3 张、雪图 2 张。这样每个 batch 都覆盖多种退化，模型不会在连续多个 batch 里只看到一种退化，避免训练震荡。

loss 权重上，如果模型用了多个损失项（如 L1 loss、感知 loss、频谱 loss），要给每个 loss 设置初始权重。常见做法是 L1 或 L2 为主，感知 loss 权重较小。Spectral Harmonization 模块如果额外有对齐 loss，也要单独设置权重。权重太小，模块等于白加；权重太大，会压制像素空间的重建质量。

一个比较实用的调参思路是：先用固定权重训练，观察总的 loss 曲线和各分量 loss 曲线。如果某个 loss 下降特别慢，检查对应权重是否需要调大；如果某个 loss 已经很低但图像恢复质量不好，说明这个 loss 和最终目标不是完全正相关，需要降低权重。

3.3 第三步：学习率与训练周期

All-in-One 模型训练周期通常比单任务模型长。学习率方面，常见的是初始学习率 1e-4 到 2e-4，配合余弦退火或 StepLR 衰减。

一个重要的经验是：前几个 epoch 不要急着看指标。多退化联合训练时，模型需要时间学习不同退化之间的共享特征和分离特征。训练初期 loss 波动大、恢复图像出现模糊或伪影都是正常的。一般等到训练周期过半，再判断模型是否收敛。

如果显存不够，可以用梯度累积模拟更大的 batch size。比如实际 batch size 为 2，梯度累积步数为 4，等效 batch size 就是 8。这样可以缓解显存压力，但训练时间会变长，学习率也要相应调整。

注意：不要在第一个 epoch 就发现指标不涨就停掉训练。先记录初始指标，连续观察 5 个 epoch 以上，确认曲线趋势后再决定是否调整数据、loss 或学习率。

4. Spectral Harmonization 模块到底在做什么，代码里应该看哪里

4.1 从空间域到频域的变换动机

空间域卷积擅长提取局部模式，比如雨纹的方向、雾霾区域的亮度梯度、雪点的局部对比度。但空间域操作很难表达“全局频段分布”这类信息。比如雾霾造成的低频偏移，在空间域表现就是整片区域亮度普遍升高，局部卷积核很难判断这种全局偏移到底属于雾霾还是属于光照变化。

把特征变换到频域后，低频成分在幅度谱中心集中，高频成分在外围分布。通过显式操作不同频段的幅度或相位，模型可以更灵活地决定哪些频段需要增强、哪些需要抑制。Spectral Harmonization 就是在这个前提下，对不同退化类型产生的特征分布做对齐。

4.2 幅度谱对齐和相位谱保留

在图像复原任务里，频域处理通常有一条默认规则：幅度谱更容易被调整，相位谱携带更多结构信息，一般不轻易大改。

Spectral Harmonization 的常见思路是：

• 对输入特征做 FFT，得到幅度谱和相位谱。
• 在幅度谱上计算某种统计量，比如均值、标准差，然后对不同退化类型的特征做匹配。
• 保留或轻微调整相位谱，确保图像结构不被破坏。
• 通过逆 FFT 把特征映射回空间域，继续后续卷积操作。

复现时在代码里找的关键点有三个：FFT 函数在哪里调用、幅度谱做了什么计算、相位谱有没有被修改。如果代码里相位谱完全被丢弃，那“Harmonization”可能只做了一半，输出容易出现结构模糊。

4.3 模块放在编码器还是解码器

模块放置位置会直接影响效果。放在编码器浅层，主要影响底层特征，比如边缘、纹理；放在深层或解码器，主要影响重建阶段的语义信息。

从实践角度看，一个有效的方式是在编码器的多个尺度上都加入轻量级频域处理模块，而不是只在某一层做一次。因为不同尺度的特征包含不同频段的信息，浅层高频细节多，深层低频语义多。只在单点做对齐，容易让另一个尺度上的信息保持混叠状态。

如果你的显存有限，优先在深层特征上加模块。原因是浅层特征分辨率高，FFT 计算量更大，深层特征分辨率低，计算开销更小，更容易在低显存环境下跑通。

4.4 用可视化验证模块是否起作用

训练过程中做两组对比实验：

1. 完整模型 vs 去掉 Spectral Harmonization 模块的模型。
2. 可视化中间特征的频域幅度谱。

第 2 组实验的做法是：把输入图像分别通过有模块和没模块的模型，取出某一层特征，做 FFT 后可视化幅度谱。如果加入模块后，不同退化类型的特征幅度谱分布中心更接近，说明对齐确实生效；如果看不出明显差异，要么模块没有参与梯度传播，要么位置放得不对。

这类可视化能帮你确认一个关键问题：模块是真的在起作用，还是只是增加了参数量。很多时候网络能力提升是因为参数变多，而不是模块本身的设计有效。通过可控对比实验，可以把这个疑点排除掉。

5. 评测指标和结果怎么判断，不能只看 PSNR

5.1 常用指标的含义与局限

All-in-One 天气恢复模型常用的评测指标是 PSNR（峰值信噪比）和 SSIM（结构相似性）。

• PSNR 越高，说明重建图像与干净图像在像素级误差上越小。
• SSIM 越高，说明亮度、对比度、结构三个层面的相似度越高。

但这两个指标都有明显局限。PSNR 对轻微几何偏移非常敏感，一个像素级别的位置偏移就会导致 PSNR 大幅下降，即使人眼看起来几乎没差别。SSIM 偏向保留整体结构，但可能忽略局部纹理细节的丢失。

所以评测时不能只看一张表里的 PSNR 和 SSIM 数字。要在多张图上做对照，重点观察三个地方：

1. 雨纹是否完全去除，边缘有没有残留。
2. 雾霾区域是否只做了亮度提升，还是真实恢复了远处物体的边缘。
3. 雪点去除后，背景纹理有没有被误伤。

5.2 视觉质量的主观判断标准

主观判断看起来不够“科学”，但作为工程师，最终上线的图像是要给人看的。我一般会按照以下顺序检查恢复图像：

• 第一眼：整体曝光是否自然，有没有发灰或过饱和。
• 第二眼：物体边缘是否锐利，雨纹或雪点是否完全消失。
• 第三眼：纹理细节是否真实，有没有出现过度平滑的“塑料感”。
• 第四眼：天空、高光等大面积区域有没有颜色断层或色偏。

如果 PSNR 高但视觉效果差，通常是模型为了降低像素误差而选择了保守输出，比如过度平滑。这种情况在训练时加入感知 loss 或频域 loss 可以改善，但权重需要重新调。

5.3 对比实验怎么设计

要验证 Spectral Harmonization 是否真的带来提升，最直接的做法是设计消融实验。需要准备以下对照组：

第 4 组实验容易被忽略，但对论文复现和实际工程选型都很重要。如果不控制参数量，加入模块后效果变好，无法区分是“模块设计好”还是“参数多”。对博客读者来说，这一点值得特别留意，很多复现团队会在这里产生误判。

6. 卡住、报错、效果差，优先按这条链路排查

6.1 启动阶段：先看显存和加载路径

刚拿到代码，最常见的报错有两类：显存溢出（CUDA out of memory）和权重加载失败。

显存溢出的处理顺序是：

1. 降低 batch size 到 1。
2. 降低分辨率，比如 512 降到 256。
3. 关闭混合精度以外的额外显存优化选项，检查优化器是否占用了太多显存。
4. 如果还溢出，检查输入图像是否被意外放大，比如数据增强里加了 resize 却忘了改目标尺寸。

权重加载失败的排查顺序是：

1. 确认 checkpoint 文件路径正确。
2. 打印 state_dict 的 key，和模型当前的 key 对比。
3. 如果带module.前缀，做一次字符串替换。
4. 如果 key 完全对不上，检查代码版本是否和预训练权重版本一致。

6.2 训练阶段：Loss 变 NaN 或一直不下降

Loss 变 NaN，先看输入数据有没有问题。常见原因包括：

• 图像存在全黑或全白区域，归一化后出现除零。
• 数据增强产生了取值超出正常范围的像素。
• 学习率过大，尤其在多退化联合训练初期。

处理方法是先把学习率调低一个数量级，再打开梯度裁剪。如果 NaN 是某些样本导致的，要打开数据加载器，单独检查触发 NaN 的那几条数据。

Loss 不下降，则按照这个顺序排查：

1. 先看训练集本身的 loss，不看验证集。训练集 loss 不降，说明模型学不动，可能是学习率、数据组织或网络结构问题。
2. 如果训练集能降、验证集不降，说明过拟合或训练集和验证集分布不一致。
3. 如果总 loss 不降但是某个分量在降，检查 loss 权重是否把其他分量压制住了。

6.3 推理阶段：输出模糊、颜色偏移、伪影残留

推理时输出模糊，最常见的两个原因是输入预处理和训练时不匹配。训练时图像做了归一化，推理时也必须用完全相同的归一化参数。经常有人训练时用 BatchNorm，推理时忘了切换到 eval 模式，导致 BatchNorm 统计量错误，输出整体偏灰。

颜色偏移则可能来自两个地方：频域模块对相位谱修改过度，或者归一化时 RGB 均值和标准差设置不对。前者需要回到代码里检查相位谱的处理逻辑，后者检查一下输入图像在送入网络前的数值范围是否在训练时的预期范围。

伪影残留，比如去雨后出现条状痕迹，一般是频域处理模块在逆 FFT 后没有做充分的空间域平滑。此时考虑在模块输出后加一层卷积或残差连接，或者降低频域模块在浅层的作用强度。

6.4 多退化表现不平衡：一个恢复得好，另一个变差

这是 All-in-One 模型最典型的问题。如果去雨效果不错，但去雾效果明显变差，优先检查数据采样比例。去雨数据占比太大，模型会偏向优化雨纹相关的特征，雾的特征被压制。

解决办法有三个方向：

1. 调整各数据集采样概率，让每种退化出现的次数接近。
2. 为每个退化类型设置独立的 loss 项，通过权重控制各任务的贡献。
3. 在多退化训练之前，先用各单退化数据分别做短暂预热，让模型具备基础能力，再进行联合训练。

第三种做法在实践中效果比较明显，相当于让模型先具备“单任务基本盘”，再学习任务之间的共性。

7. 这类模型的适用边界、落地场景和优化方向

7.1 什么时候适合用 All-in-One 模型

如果应用场景非常固定，比如只处理某一种特定摄像头在固定环境下的雾天图像，单任务模型仍然是第一选择。这类场景退化类型单一，数据分布稳定，单任务模型可以达到更高的上线指标。

All-in-One 模型更适合退化类型不确定、推理时没有条件先分类的场景。典型例子是车载摄像头、监控摄像头、户外巡检设备。这些设备在不同天气、不同时段采集到的画面，退化类型无法预先确定，使用单模型统一处理是最省心的方案。

另一个适合场景是模型资源受限的边缘设备。部署一个 All-in-One 模型比同时部署三个单任务模型占用更少的存储和内存，虽然单个退化效果可能不是最优，但综合收益更高。

7.2 已知边界和容易过度期待的地方

All-in-One 模型不等于“什么退化都能完美处理”。它更适合处理合成退化或退化边界清晰的图像。真实场景中的退化往往伴随运动模糊、低光照、传感器噪声，这些和纯天气退化叠加在一起时，模型的表现会明显下降。

我在测试时发现，这类模型对“极端退化”的处理能力有限。比如大雨加浓雾，图像信息损失过大，单模型很难同时保证雨纹去除和远处的结构恢复。此时建议在输入端做一些增强策略，比如图像增强预处理，或在后端接一个轻量的质量评价模块做二次处理。

Spectral Harmonization 解决的是不同退化之间的特征对齐问题，它不能替代高质量的成像硬件，也不能解决信息完全丢失的图像。这一点在项目评估阶段就要明确。

7.3 后续优化方向

如果你复现成功，想继续深入，下面几个方向值得尝试：

1. 把 Spectral Harmonization 从幅度谱对齐扩展到相位谱自适应调整，提升对结构信息的保留能力。
2. 在多个尺度上使用频域块，观察不同比例信息保留对最终效果的影响。
3. 和退化类型分类器结合，但分类结果只作为软权重，不硬性切换模型路径。
4. 用知识蒸馏，把参数量较大的 All-in-One 模型蒸馏成轻量模型，部署到边缘设备。
5. 在训练时加入真实退化图像作为无监督或半监督分支，提升真实场景泛化能力。

这些方向不需要一次性全做。先确认当前模型的瓶颈是在频域对齐不够好，还是在整体重建能力不够强，再选择对应的优化路径。批量跑实验时，每个方向只改一个变量，保证结果对比是干净的。

7.4 最后留几个值得记住的判断

这类 All-in-One 模型的核心价值，不是把几个单任务模型拼在一起烧钱堆算力，而是用统一框架吸收多种退化的共同特征，同时保留各自的差异性。Spectral Harmonization 只是这个框架里的一个关键设计，不是万能组件。

我个人更建议先把单退化链路跑稳，确认代码和数据没有问题，再进入多退化联合训练。进入联合训练后，重点盯住三类信息：loss 分量的变化趋势、验证集上各退化类型的单独指标、恢复图像里的伪影和颜色偏移。这三类信息能覆盖训练中 80% 以上的异常判断。

这个方案真正落地时，最该盯住的不是论文里的指标表，而是你手里的数据分布是否和训练时的退化类型一致。数据分布一旦偏移，再好的频域对齐模块也只是在错误的基础上做精细加工。先把数据的坑清掉，再谈模型优化，顺序不能反。