深度迁移学习水质预测算法源码解析与实战指南

简介：基于深度迁移学习的水质预测研究算法源码，是一份面向计算机、数学、电子信息等专业课程设计、期末大作业及毕设项目的完整工程代码。项目以水质预测为应用场景，覆盖数据加载、时间特征生成、模型构建、迁移学习训练和结果评估等环节，代码结构清晰，可直接运行调整。压缩包共68个文件，以31个Python算法脚本和27个pyc预编译文件为主，另有5个npy数据、4个csv数据及1个yml环境配置，整体大小5.21MB，轻量便捷。源码中集成了Autoformer、Transformer、LSTM、BiLSTM、CNN、MLP、Informer等多种主流模型，并提供基础实验与迁移学习实验两套入口，方便对比不同模型和训练策略对水质预测精度的影响，还包含数据预处理、时间特征提取、评估指标、掩码工具等功能模块，适合深度学习初学者动手调试、理解模型机制，支撑相关课题的快速验证。目前已有70人浏览学习，适合作为实战演练和项目立项参考。

1. 水质预测算法源码里的深度迁移学习，先解决一个现实问题

水质预测的难点不在模型跑不出来，而在数据分布不稳定。不同监测断面、不同季节、不同传感器采集到的 pH、溶解氧、浊度序列，统计特性差异很大，一个站点训好的模型换到另一个站点，精度经常直接掉 20%。深度迁移学习把源域上学到的周期依赖和趋势分解能力迁移到目标域，解决的是样本少、分布漂移、模型复用三个问题。这套基于深度迁移学习的水质预测研究算法源码，内置 Autoformer、Informer、Transformer、LSTM、BiLSTM、MLP、CNN、CLA 等算法模型，从 run.py 启动到 exp_main_transfer.py 完成迁移训练，链路完整，适合做课程设计、期末大作业和毕设案例，也适合拿来做深度学习算法源码级的二次改造。下面按源码实际结构拆开讲。

2. 源码结构与数据流：从 run.py 到 data_loader 的启动链路

2.1 目录结构与角色定位

展开 projectcode_1020 目录，顶层有 models、data、exp、utils、data_provider 五个核心目录。models 下是全部时序模型定义：Autoformer.py、Informer.py、Transformer.py、LSTM.py、BiLSTM.py、MLP.py、CNN.py、CLA.py，以及 Autoformer_EncDec.py、SelfAttention_Family.py、Transformer_EncDec.py 这些编码解码组件。Autoformer 的序列分解和自相关机制被拆到 Autoformer_EncDec.py 和 AutoCorrelation.py 里，做迁移训练时只需要看这几个文件就能定位哪些层可以冻结。

exp 目录控制训练流程，exp_basic.py 是实验基类，exp_main.py 处理常规监督训练，exp_main_transfer.py 是深度迁移学习的入口。run.py 是全局启动脚本，通过命令行参数决定加载哪个数据集、哪个模型、走哪条实验链路。utils 下面是 timefeatures.py（时间特征编码）、metrics.py（评估指标）、masking.py（自回归掩码）、download_data.py（数据下载）、tools.py（工具函数）。data 目录里除了默认的 ETT 电力数据集，还有 data_loader.py 负责把 CSV 转成训练、验证、测试三个滑窗序列。

这个结构是典型的两阶段实验框架：先用数据充足的源域跑预训练，再加载 checkpoint 做目标域微调。run.py 里的 is_training 控制训练还是测试，transfer 控制是否走迁移训练分支。

2.2 配置入口 run.py 与参数解析

run.py 不写死配置，而是用 argparse 接收大量命令行参数。实际使用中我一般写一个 shell 脚本，把参数一次传进去，方便反复调整。下面是一个可直接运行的命令：

python run.py \ --model Autoformer \ --data ETT \ --root_path ./data/ETT/ \ --data_path ETTh1.csv \ --features M \ --target OT \ --seq_len 168 \ --label_len 168 \ --pred_len 48 \ --enc_in 7 \ --dec_in 7 \ --c_out 7 \ --batch_size 32 \ --learning_rate 0.0001 \ --train_epochs 20 \ --is_training 1 \ --transfer 0

这些参数决定整个实验形态。--model 指定 models 目录下的模型类名；--features 有三种取值，M 表示多变量输入多变量输出，S 表示单变量，MS 表示多变量输入单变量输出；seq_len 是回看窗口长度，label_len 是解码器里已知标签的长度，pred_len 是预测步长。做水质预测时 seq_len 我一般取 96 到 168，因为水质指标有昼夜节律和周末周期，窗口太短学不到周期性，太长训练成本翻倍且容易过拟合。

--transfer 0 走 exp_main.py 的普通监督训练，--transfer 1 走 exp_main_transfer.py 的迁移训练。两者共用同一套数据加载和评估逻辑，区别在于模型初始化时是否加载预训练权重，训练阶段是否冻结部分层。这个开关是跑通源码包的关键，很多人下载后不传这个参数，导致预训练逻辑根本没被触发。

2.3 data_factory 与 data_loader 的数据组织

data_provider/data_factory.py 是一个工厂函数，根据 --data 的值返回对应的 Dataset 类。默认的 ETT 数据是电力变压器温度数据，7 个特征包括 HUFL、HULL、MOT、OT 等。换水质数据时，把 --root_path 指向水质 CSV 所在目录，--data_path 指向文件名，并确认列名与 data_loader.py 里读取逻辑一致。

data_loader.py 的核心是滑窗切分和时间特征拼接。每个训练样本由四部分组成：seq_x 是历史窗口原始序列，seq_y 是对应未来窗口标签，seq_x_mark 和 seq_y_mark 是 timefeatures 生成的周期特征。切分比例由 train_ratio 等参数控制，默认 6:2:2。归一化只用训练集 fit StandardScaler，验证集和测试集沿用训练集的均值和方差，这里一旦写错就引入数据泄漏。

masking.py 在 Informer 和 Transformer 的解码器里生成三角掩码，防止模型在自回归生成时看到未来时刻。做水质预测时如果发现预测曲线在突变点滞后严重，优先检查 mask 是否生效，而不是急着换模型。时间特征部分会在编码器里与原始序列拼接，Mask 只作用于注意力矩阵，两者互不干扰。

2.4 时间特征编码 timefeatures.py 的扩展点

timefeatures.py 里标准做法是给每条样本生成 hour、day、weekday 等时间特征。水质预测里有一个常见问题：水温、溶解氧的波动受季节影响很大，直接把 month 当成数值编码，模型会认为 12 月和 1 月距离最近相邻，实际上它们在循环周期上是连续的。改成余弦编码能解决这个问题，在 TimeFeature 类下扩展一个周期特征即可：

class MonthOfYear(TimeFeature): def __init__(self): self.freq = "M" def __call__(self, index): month = index.month return [ np.cos(2 * np.pi * month / 12.0), np.sin(2 * np.pi * month / 12.0) ]

这段代码返回两个值，代表月份在 12 小时钟上的横纵坐标。Cos 和 Sin 的组合让 12 月和 1 月在特征空间里是相邻的，模型更容易学到季节连续性。TimeFeature 基类要求子类实现call，data_loader 构建 seq_x_mark 时会遍历所有已注册的 feature 并做拼接，所以扩展后重启训练就能生效。我一般还会同样处理 hour 特征，把 24 小时编码到圆周上，白天和夜间的过渡会平滑很多。

3. 迁移学习在时序预测里的落地：exp_main_transfer.py 与模型微调

3.1 预训练二阶段实现

exp_main_transfer.py 是这个源码包里最值得读的文件。它的基本流程：--transfer 设为 1 时，先加载源域预训练 checkpoint，再创建目标模型实例，按层级名匹配覆盖目标模型参数，不匹配的层保持随机初始化，然后进入常规训练循环。这个按名匹配的加载方式决定了源模型和目标模型必须保持相同的编码器结构，这也是为什么推荐用同一类模型做迁移，跨结构迁移需要额外的映射层。

源码包里的 checkpoint 通常保存在 checkpoints 目录，命名包含模型名和数据名。做迁移训练前先确认 checkpoint 存在，否则 exp_main_transfer.py 会静默跳过加载，直接随机初始化训练，此时你以为是迁移学习，实际跑的仍是普通训练，这个坑最容易忽略。

一个常用的层冻结辅助函数长这样：

def freeze_encoder(model, freeze_ratio=0.6): layers = [layer for layer in model.children()] freeze_num = int(len(layers) * freeze_ratio) for layer in layers[:freeze_num]: for param in layer.parameters(): param.requires_grad = False return model

freeze_encoder 的意图是把模型前 60% 的层冻结，这些层的参数在反向传播中不更新。低层学的是通用时序模式，比如周期、趋势、局部波动，跨数据集复用价值高；高层学的是源域特有的输出映射，到了目标域需要重新训练。水质预测样本量少于几千条时，冻结比例 50% 到 70% 效果最稳，源域与目标域差异大时降到 30%。

3.2 冻结层与解冻策略

只冻结不解冻也不是最优解。业界更常见的做法是两段式微调：前几个 epoch 只训练输出层和归一化层，等验证 loss 下降放缓后，解冻全部层，用衰减后的学习率继续训练。exp_main_transfer.py 如果没内置这个逻辑，我会在训练循环里加一个 epoch 判断：

if epoch == 5: for param in model.parameters(): param.requires_grad = True optimizer = torch.optim.Adam(model.parameters(), lr=lr * 0.1)

这段代码在第 5 轮后解冻所有层，并把学习率降为原来的 10%。前 5 轮相当于让预测头适配目标域的数值分布，后阶段再做全局细调。这么做的好处是避免迁移初期大梯度更新破坏预训练学到的特征表示。如果加载的是 Autoformer 的 checkpoint，还需要注意输入 embedding 的长度是否一致，源域 seq_len 和目标域不一样时，position embedding 会报 size mismatch，我通常直接过滤掉这些键只加载序列分解和自相关模块的权重。

3.3 损失函数与评估指标 metrics.py

水质预测的损失函数一般用 MSE 或 MAE，源码里 utils/metrics.py 的 metric 函数同时返回 MAE、MSE、MAPE 三个指标。迁移训练里有一个容易被忽略的细节：目标域样本少时，数据分布可能随时间漂移，早期样本和近期样本不宜等权。可以给样本按时间位置加权重：

def temporal_weight(index, total, alpha=0.3): return alpha + (1 - alpha) * (index / total)

这段代码返回 0.3 到 1.0 之间的权重，越靠近当前时刻的样本权重越大。在计算 MSE 时用 weight 乘上每个样本的误差平方，代替原来的均匀平均。alpha 控制旧样本的保留程度，水质数据如果存在突发污染事件，alpha 建议调到 0.1，让模型更快响应最近的变化。这个加权逻辑可以放在 data_loader 返回样本时计算好，也可以在 loss 循环里动态生成，我一般放在数据集类里，省得每次迭代重复计算。

3.4 从源码改造出自定义数据集的迁移脚本

实际做毕设案例时我不会直接改 run.py，而是写一个独立脚本调用 exp_main_transfer.py 里的类。这样能保持源码包原始文件不变，改坏了也不影响回滚。下面是一个最小改造示例：

from exp.exp_main_transfer import Exp_Main_Transfer args = { "model": "Autoformer", "data": "ETT", "root_path": "./data/water/", "data_path": "station_a.csv", "features": "M", "target": "Dissolved_Oxygen", "seq_len": 168, "label_len": 168, "pred_len": 48, "enc_in": 6, "dec_in": 6, "c_out": 1, "batch_size": 32, "learning_rate": 0.0001, "train_epochs": 30, "transfer": 1, "checkpoints": "./checkpoints/etth1_autofomer.ckpt", } exp = Exp_Main_Transfer(args) exp.train()

注意 c_out 在单目标预测里设成 1，多变量输出时设成特征数。target 字段是 CSV 里的目标列名，data_loader 会据此筛选标签列。跑完如果训练 loss 下降但验证 loss 不降，先查归一化是否只 fit 在训练集，再确认预训练权重确实被加载进来，可以在模型初始化后打印某层参数，和 checkpoint 里的值对比一下。

4. 模型选型与多模型对比：Autoformer、Informer、LSTM、BiLSTM 怎么挑

4.1 各模型在水质场景的适用性

源码包一次性给了 8 个模型，很多同学下载后不知道先跑哪个。按我的经验分三类：Autoformer 和 Informer 适合长序列、强周期场景，比如连续 7 天预测溶解氧；Transformer 提供标准注意力基线，适合先跑通流程；LSTM 和 BiLSTM 对短窗口更友好，参数量小，训练快。CLA.py 是对比学习模块，配合迁移学习做无监督预训练，用未标注的水质样本学表征，再在下游任务微调。

选型逻辑可以用三句话概括：序列短用循环网络，序列长且周期明显用 Autoformer，要做迁移学习就优先选编码器结构清晰的模型，因为层级参数名对齐容易，冻结策略也容易控制。LSTM 和 BiLSTM 的迁移友好度高，因为它们的状态转移参数是共享的，不同序列长度之间天然兼容。

4.2 参数配置：ETT 数据与水质数据的差异

跑通源码包的第一步，通常是在 ETT 数据上复现 Autoformer 的结果。ETT 是电力变压器温度数据，7 个变量，先确认官方参数能正常收敛，再替换成水质 CSV。两类数据的差异主要在特征属性：水质包含 pH、浊度、氨氮、溶解氧，pH 和溶解氧有昼夜节律，浊度在降雨后会出现尖峰，异常点比 ETT 多。建议先做特征工程，比如把浊度做 log 变换，而不是直接改模型结构。

一个容易出效果的参数组合：

python run.py \ --model Autoformer \ --data ETT \ --features MS \ --target OT \ --seq_len 96 \ --label_len 48 \ --pred_len 24 \ --enc_in 7 \ --dec_in 7 \ --c_out 1 \ --d_model 512 \ --n_heads 8 \ --e_layers 2 \ --d_layers 1 \ --factor 3 \ --batch_size 16 \ --train_epochs 30 \ --patience 5

这里把 features 设成 MS，多变量输入、单变量输出，c_out 设为 1，适合先专注预测溶解氧。Autoformer 的 factor 是稀疏注意力里的 top-k 因子，默认 3 到 5，数值越大每层保留的关联越多，计算量也越大。patience 是早停轮数，验证 loss 连续 5 轮不降就停止。d_model 控制 embedding 维度，512 是性能和显存的折中点，显存紧张可以降到 256。这样配置的意义是先拿单目标预测把迁移流程跑通，再逐步扩展成多输出。

4.3 训练中的常见陷阱与排错

第一个高频坑是 NaN 损失。原因一般是学习率太大或数据里存在缺失值。水质监测 CSV 经常有空值，标准做法是在 data_loader 读取后做 dropna，或者用前后时刻均值填充。如果不清洗，前向传播到 layer norm 或者注意力 softmax 时数值不稳定，loss 直接变成 NaN，训练白跑。

第二个坑是数据泄漏。如果先在整个数据集上 fit StandardScaler 再切分，测试集的均值和方差会参与归一化，导致指标虚高。快速验证方法：把训练轮数设为 1，预测 1 个点，如果 loss 立即降到极低，大概率泄漏。正确顺序是先用训练集 fit scaler，再用同一套参数 transform 验证集和测试集。

第三个坑是迁移后效果反降。这种现象经常出现在源域和目标域分布差异太大时，Autoformer 会把源域的季节分量迁移到目标域，但目标域的季节周期可能完全不同。此时把冻结比例降到 0.3，并且只冻结编码器的前两层，让序列分解层保持可训练，让模型自行调整季节倾向。还有一点是学习率不要照搬源域训练的值，迁移微调的初始学习率一般小于源域学习率的十分之一。

5. 进阶技巧：把源码改造成真实水质多站点预测项目

5.1 多站点数据聚合与数据加载改造

真实项目里不会只测一个断面，常见场景是把多个站点的数据合并训练。每个站点的 pH、浊度序列分布不同，直接拼接会让模型学到站点之间的平均效果，单个站点预测精度反而更差。常见做法是每个站点单独归一化，然后把站点编号编码成附属特征。站点编号是类别变量，不能直接喂整数，我一般转成 sin/cos 编码：

def add_site_feature(df, site_id, total_sites): df["site_sin"] = np.sin(2 * np.pi * site_id / total_sites) df["site_cos"] = np.cos(2 * np.pi * site_id / total_sites) return df

sin/cos 编码保证站点之间没有人为的远近关系，模型能区分来源，又不会把编号数值大小当成可比较的量。这段代码放在 data_loader 读取阶段。迁移学习在这里的经典用法是：用数据量充足的 A 站作为源域预训练，把 B 站 30 天数据作为目标域微调，B 站样本少，不重新训练整个模型。

5.2 环境复现与依赖检查

拿到源码包第一件事是看 environment.yml。里面通常包含 Python 版本、PyTorch、numpy、pandas、scikit-learn 等依赖。推荐用 conda 创建独立环境，避免把全局环境搞乱。torch 版本不匹配会出现 unknown opcode 这类诡异错误，排查起来很花时间。

conda env create -f environment.yml conda activate water_transfer

如果 environment.yml 缺失，我一般先安装核心依赖 torch、numpy、pandas、scikit-learn，再装 matplotlib 用于出图。验证环境只需要跑一个最小命令，两分钟内走完一个完整训练循环：

python run.py --model LSTM --data ETT --seq_len 24 --pred_len 1 --train_epochs 1

这个命令只训练 1 轮，数据量小，能快速确认数据加载、模型前向、loss 反传路径都正常。看到 loss 打印出来而不是报错，就可以放心跑完整实验。

5.3 迁移效果验证的对照实验

验证迁移学习到底有没有用，推荐做一个对照实验：目标域只保留 600 条训练样本，分别执行--transfer 0和--transfer 1，比较两组在验证集上的 MAPE。迁移组的 MAPE 如果低 3 到 5 个百分点，说明预训练权重确实带来了收益。另一个对比指标是收敛速度，迁移组通常在 10 轮内达到基线组 30 轮的精度，这个结论放在课程设计或毕设案例的结论部分很有说服力。

做对照实验必须固定随机种子。run.py 里的 seed 参数在数据加载前设置 torch.manual_seed 和 np.random.seed，确保两个对照组使用完全相同的数据切分和模型初始化顺序。同一份代码、同一个种子、只改 transfer 开关，最后的指标差异才能归因于迁移学习本身。

本文还有配套的精品资源，点击获取