面向市场动态的量化模型滚动评测：Qlib 中 RR 滚动重训与 DDG-DA 动态适应的 benchmark 框架解析

面向市场动态的量化模型滚动评测：Qlib 中 RR 滚动重训与 DDG-DA 动态适应的 benchmark 框架解析

【免费下载链接】qlibQlib is an AI-oriented Quant investment platform that aims to use AI tech to empower Quant Research, from exploring ideas to implementing productions. Qlib supports diverse ML modeling paradigms, including supervised learning, market dynamics modeling, and RL, and is now equipped with https://github.com/microsoft/RD-Agent to automate R&D process.项目地址: https://gitcode.com/GitHub_Trending/qli/qlib

本指南以 examples/benchmarks_dynamic/README.md 为骨架，完整讲解 Qlib 为应对金融数据分布漂移（concept drift）所提供的两类动态建模评测方案——周期性滚动重训基线 RR（Rolling Retrain）与基于 Meta Controller 的数据分布生成适应方法 DDG-DA，并结合仓库源码与配置文件给出可直接复现的完整实验流程。读完本文，你将掌握在 Alpha158 数据集上搭建"训练—滚动—集成—组合评测"全流程、通过--conf_path无缝切换 Linear/LightGBM 等预测模型，以及读懂 benchmark 结果表背后评测口径的方法。

为什么金融市场中的模型会"过时"：非平稳环境与模型性能衰减

量化建模面临的一个根本性难题是：金融市场的环境是非平稳（non-stationary）的。市场数据在不同时期的分布会发生变化，即所谓"概念漂移"。因此，建立在某段训练数据上的模型，其效果会在未来的测试数据上逐渐衰减（performance decay）。

examples/benchmarks_dynamic/目录正是为了量化研究这一问题而存在：它评测"不同的动态适应方案在不同预测模型上的滚动表现"，为研究者提供一个公平、可复现的对照实验平台。目录结构如下：

• examples/benchmarks_dynamic/baseline/——周期性滚动重训（RR，Rolling Retrain）基线框架，提供 rolling_benchmark.py 与两套配置文件；
• examples/benchmarks_dynamic/DDG-DA/——基于 QlibMeta Controller组件实现的 DDG-DA（Data Distribution Generation for Predictable Concept Drift Adaptation）方案，提供 workflow.py、Makefile 与可视化脚本 vis_data.py。

核心结论在两份子 README 中表述一致：通过应用 DDG-DA，可以在测试阶段同时看到代理模型（proxy model）IC 与最终预测模型性能的上升趋势——说明"预测并生成未来分布"确实优于"被动重训"。

第一步：准备 crowd-sourced 版 Alpha158 数据集

本文涉及的实验使用crowd-sourced 版本的 Qlib 数据（与 scripts/data_collector/crowd_source/ 目录配套的数据发布版本一致，详见 scripts/data_collector/crowd_source/README.md）。之所以强调 crowd-sourced 版本，是因为它包含VWAP等 Yahoo 版缺失的关键行情字段（后文会专门说明这一差异对实验结果的重大影响）。

数据准备命令如下（从该数据源公开的 qlib_bin 发布渠道下载后解压到本地默认数据目录）：

mkdir -p ~/.qlib/qlib_data/cn_data tar -zxvf qlib_bin.tar.gz -C ~/.qlib/qlib_data/cn_data --strip-components=2

其中--strip-components=2用于剥掉压缩包内前两级目录，使数据直接落入~/.qlib/qlib_data/cn_data，与该目录下所有配置文件中的provider_uri: "~/.qlib/qlib_data/cn_data"保持一致。

在跑 benchmark 脚本时，还有一条快捷的数据获取路径：以 examples/benchmarks_dynamic/DDG-DA/workflow.py 为例，入口逻辑会检查环境变量：

kwargs = {} if os.environ.get("PROVIDER_URI", "") == "": GetData().qlib_data(exists_skip=True) # 自动下载数据 else: kwargs["provider_uri"] = os.environ["PROVIDER_URI"] auto_init(**kwargs)

即：若未设置PROVIDER_URI，则通过qlib.tests.data.GetData自动拉取数据（exists_skip=True表示已存在则跳过）；若设置了该环境变量，则直接以其作为数据目录，避免重复下载。

基线方案 RR：周期性滚动重训（Rolling Retrain）

RR（Rolling Retrain）是评估动态适应方法最基本的对照基线。它的思想非常朴素：周期性地利用最新可得的数据重新训练模型，从而让模型持续贴合当前市场分布。RR 的完整说明位于 examples/benchmarks_dynamic/baseline/README.md。

运行方式

python rolling_benchmark.py run

默认预测模型为Linear；RR 框架通过model_type/conf_path参数切换预测模型，例如切换到 LightGBM：

python rolling_benchmark.py --conf_path=workflow_config_lightgbm_Alpha158.yaml run

参数化的代码入口

examples/benchmarks_dynamic/baseline/rolling_benchmark.py 非常精简，本质是 Qlib 内置Rolling滚动框架的一层薄封装：

class RollingBenchmark(Rolling): CONF_LIST = [ DIRNAME / "workflow_config_linear_Alpha158.yaml", DIRNAME / "workflow_config_lightgbm_Alpha158.yaml", ] DEFAULT_CONF = CONF_LIST[0] def __init__(self, conf_path=DEFAULT_CONF, horizon=20, **kwargs): super().__init__(conf_path=conf_path, horizon=horizon, **kwargs) for f in self.CONF_LIST: if conf_path.samefile(f): break else: self.logger.warning("Model type is not in the benchmark!")

这里CONF_LIST限制了可选模型集合，若传入不属于 benchmark 的配置会发出告警；horizon=20与目录 README 中"标签预测周期为 20 个交易日"的实验口径一一对应。

滚动运行机制（源码级）

RR 的核心逻辑完全复用 Qlib 的滚动模块 qlib/contrib/rolling/base.py 中的Rolling类，其设计目标在类注释中写得很清楚："离线地把一个具体任务转化为时间序列上的多个滚动子任务并逐一运行"，与在线服务的OnlineStrategy、元学习的MetaController分工不同，滚动只负责把一段任务按时间切片：

def run(self): self._train_rolling_tasks() # 1) 每个滚动子任务作为一个 record 存入 rolling_models self._ens_rolling() # 2) 拼接所有滚动预测，结果存入最终 experiment self._update_rolling_rec() # 3) 对拼接后的结果执行评测 record

其关键环节与所依赖的 Qlib 组件：

1. 生成滚动任务列表：get_task_list()调用task_generator(task, RollingGen(step=self.step, trunc_days=self.horizon + 1))。step=20表示滚动时间间隔为 20 个交易日（与 README 实验设置一致）；trunc_days=21即horizon+1，目的是截断最后几天，防止标签信息泄露（代码注释原文："the last two days should be truncated to avoid information leakage"）。生成出的每个子任务在滚动阶段不再做独立分析（record仅保留SignalRecord），分析统一推迟到最终集成环节。相关生成器实现见 qlib/workflow/task/gen.py。
2. 训练滚动任务：TrainerR(experiment_name=self.rolling_exp)批量训练；实验名未显式指定时自动生成rolling_models_<时间戳>。
3. 集成拼接预测：RecorderCollector从滚动实验各 record 中抽取pred与label两个 artifact，经 qlib/model/ens/ensemble.py 的RollingEnsemble拼接，再以R.save_objects(**{"pred.pkl": ..., "label.pkl": ...})存入最终 experiment。
4. 组合评测：_update_rolling_rec()从原始配置读取record列表，跳过SignalRecord（预测已在集成阶段产生），对其余分析类 record（如SigAnaRecord、PortAnaRecord）逐一generate()，最终将评测结果写入名为exp_name的实验。

此外，Rolling支持通过命令行直接驱动，方便在不写代码的情况下复用任意 YAML：

python -m qlib.contrib.rolling.base --conf_path <配置文件路径> run

在运行前建议清理历史 mlflow 结果（mlruns目录）。原因在源码注释中有说明：mlflow 无法彻底删除 experiment（删除只会移入.trash），重名会抛错。目录下的 Makefile 提供了现成的清理目标：make clean（等价于删除*.pkl与mlruns）。

基线配置文件解读

线性与 LightGBM 两套配置分别对应 workflow_config_linear_Alpha158.yaml 与 workflow_config_lightgbm_Alpha158.yaml，二者共享相同的评测口径。以线性版为例，关键配置项如下：

需要特别注意的一点是：滚动重训时，训练/测试分段并非直接使用 YAML 中写死的segments。Rolling.basic_task()（qlib/contrib/rolling/base.py）会动态改写 handler 的标签表达式：

task["dataset"]["kwargs"]["handler"]["kwargs"]["label"] = [ "Ref($close, -{}) / Ref($close, -1) - 1".format(self.horizon + 1) ]

即标签被统一改写为未来horizon+1天相对下一天的收盘收益率（Ref($close, -21) / Ref($close, -1) - 1，对应 label horizon=20）。这样Rolling只依赖horizon/step/segments三个时间参数即可完成任意窗口的切片，这也是两个子 README 均以horizon=20为默认入口参数的原因（源码注释指出该改写方式仅对Alpha158/Alpha360这类内置数据集有效）。

DDG-DA：预测数据分布并生成训练样本的动态适应方法

方法背景与核心思想

examples/benchmarks_dynamic/DDG-DA/README.md 给出了 DDG-DA 的设计动机：在许多真实场景中，流式数据（如金融行情）随时间顺序到达，且由于环境非平稳，数据分布可能以不可预测的方式变化，即概念漂移。以往方法通常先检测漂移发生的时间与位置，再让模型适配最新数据分布。但现实中很多环境演化背后的底层因素是可预测的，这就使得"建模未来概念漂移趋势"成为可能，而此前的工作对此探索不足。

因此 DDG-DA 提出了一条三步流水线：

1. 先训练一个**预测器（predictor）**估计未来的数据分布；
2. 利用该预测生成（generate）训练样本；
3. 在生成的数据上训练最终预测模型。

值得注意的是，论文原文使用的是私有数据，本仓库改用 Qlib 公开数据集进行实验（即上文的 Alpha158 crowd-sourced 数据）。README 明确指出：虽然数据集不同，但结论保持一致——应用 DDG-DA 后，测试阶段代理模型的 IC 与预测模型的性能都呈现上升趋势。

运行方式与模型切换

在 examples/benchmarks_dynamic/DDG-DA/ 目录下执行：

python workflow.py run

默认预测模型为Linear；切换预测模型时通过--conf_path指定其他 YAML（注意路径是相对 DDG-DA 目录指向基线配置目录的上一级配置）：

python workflow.py --conf_path=../workflow_config_lightgbm_Alpha158.yaml run

examples/benchmarks_dynamic/DDG-DA/workflow.py 同样是薄封装：其DDGDABench直接继承 Qlib 的DDGDA类，将工作目录固定为自身所在目录，并用--conf_path校验模型是否属于可选的 benchmark 集合。

源码级实现：DDGDA 如何工作

DDG-DA 的滚动实现在 qlib/contrib/rolling/ddgda.py 中，类DDGDA继承自前文Rolling，因此天然复用整套"滚动切片—训练—集成—评测"机制，但把run()的前半段替换为三步"元模型准备"阶段（源代码 qlib/contrib/rolling/ddgda.py）：

def run(self): # 准备 meta model self._dump_data_for_proxy_model() # 1) -> handler_proxy.pkl（代理模型数据集） self._dump_meta_ipt() # 2) -> internal_data_s20.pkl（meta 模型输入） self._train_meta_model() # 3) meta model 存入 experiment "DDG-DA" # 滚动重训 super().run() # 4) 生成 tasks_s20.pkl 并滚动训练、集成、评测

• 第 1 步：为代理模型准备数据（_dump_data_for_proxy_model）。先用内置 LightGBM 配置训练一个"特征重要性模型"（存入 experimentfeature_importance，见 qlib/contrib/rolling/ddgda.py），取出fea_imp_n（默认 30）个最重要的特征；若meta_data_proc="V01"，再按(x - mean) / std做逐截面标准化并fillna(0)。处理后的"特征+标签"数据被存为fea_label_df.pkl，并包装成DataHandlerLP后落盘为handler_proxy.pkl。代理模型采用简化线性代理，用于快速评估各滚动期的数据分布变化。
• 第 2 步：生成 meta 模型输入（_dump_meta_ipt）。调用InternalData(sim_task, step, ...)（来自 qlib/contrib/meta/data_selection/dataset.py）把滚动任务组织成"内部数据"，产出internal_data_s20.pkl；相似度模型（按sim_task_model参数取linear或gbdt，默认gbdt）训练在 experimentdata_sim_s20中，用于刻画各时段数据分布的相似度。GBDT 版会显式关闭早停并固定num_boost_round=150以保证可复现。
• 第 3 步：训练 meta 模型（_train_meta_model）。meta 模型的训练窗口默认取2008-01-01 ~ 2010-12-31（可通过meta_1st_train_end覆盖），测试起点自动取训练结束次日，从而确保后续正式滚动任务不会泄漏进训练数据。核心训练对象是 qlib/contrib/meta/data_selection/model.py 的MetaModelDS，关键超参在 qlib/contrib/rolling/ddgda.py 中写死：lr=0.001、max_epoch=30、seed=43、alpha=0.01（该alpha作为 L2 正则只传给MetaModelDS的 ridge 层）、loss_skip_thresh=50（单日样本量低于该阈值时跳过该日损失计算）；数据集划分比例segments=0.62（float 语义为"训练数据占比 62%"），历史窗口hist_step_n=30。训练好的 meta 模型存入 experimentDDG-DA。
• 第 4 步：元推理生成新任务并滚动。get_task_list()从DDG-DA实验加载 meta 模型，读取训练时记录的trunc_days/step/hist_step_n/fill_method等配置（保证推理口径与训练一致），用segments=0.0（全部作为测试）与task_mode=MetaTask.PROC_MODE_TRANSFER构建MetaDatasetDS（PROC_MODE_TRANSFER定义于 qlib/model/meta/task.py），由 meta 模型对每个滚动期输出数据重加权方案（reweighter），生成带权重的滚动任务集合并存为tasks_s20.pkl，最后交给父类Rolling.run()完成滚动训练与组合评测。

一句话概括：DDG-DA 在训练预测模型之前，先学习"各历史时段之间数据分布相似度 → 应如何为未来时段加权/生成样本"的元知识，从而把可预测的分布演化显式编码进滚动训练流程。

DDGDA 主要初始化参数速查

结合 qlib/contrib/rolling/ddgda.py 的类定义，常用参数及语义如下（其中未列出的conf_path/horizon/step等继承自Rolling）：

实验结果与结论：DDG-DA 对两类预测模型的提升

主 README 在 Alpha158 数据集上给出了 RR 与 DDG-DA 分别搭配 Linear、LightGBM 两种预测模型的完整对照结果（本仓库公布的事实数据）：

可以观察到的规律（仅就表内数据而言）：

• IC 类指标全面占优：无论 Linear 还是 LightGBM，DDG-DA 的 IC、ICIR、Rank IC、Rank ICIR 均高于 RR，说明动态生成/加权后的样本确实带来了更强的预测与排序能力；
• 收益—回撤改善不同：LightGBM 搭配 DDG-DA 时年化收益（0.1261 vs 0.0771）、信息比率（2.0096 vs 1.3196）提升显著且最大回撤收窄（-0.0744 vs -0.0909）；Linear 搭配 DDG-DA 时年化收益与信息比率略低于 RR，但最大回撤同样更小（-0.0769 vs -0.0986）。两类模型一致地表现为回撤控制更好。

实验口径（务必复现时对齐）

主 README 明确列出了如下实验设置，任何复现实验都应保持这些口径一致，否则结果不可比：

• Alpha158 数据集的标签预测周期（label horizon）设为 20；
• 滚动时间间隔为 20 个交易日（对应Rolling.step=20、RollingGen的步长）；
• 测试滚动期覆盖 2017 年 1 月至 2020 年 8 月（对应配置文件中backtest与test段的[2017-01-01, 2020-08-01]）；
• 训练拟合窗口为2008-01-01 ~ 2014-12-31（见配置文件fit_start_time/fit_end_time与train分段）。

关于数据版本的重要警告：为什么必须用 crowd-sourced 数据

主 README 末尾专门强调了一个容易踩坑的点：结果基于 crowd-sourced 版本数据，而 Yahoo 版本的 Qlib 数据不包含VWAP。由于 Alpha158 中所有涉及VWAP的因子在 Yahoo 版数据下全部缺失并被填充为 0，会导致特征矩阵秩亏（rank-deficient，即矩阵不满秩），进而使 DDG-DA 中的底层优化（lower-level optimization）无法求解。这也解释了为何整个目录的所有配置都把provider_uri指向 crowd-sourced 版数据目录，而自动下载逻辑（GetData().qlib_data）也只是为了方便首次实验。

深度诊断：用 vis_data.py 观察 DDG-DA 内部状态

除端到端跑实验外，examples/benchmarks_dynamic/DDG-DA/vis_data.py 提供了对 DDG-DA 中间产物的可视化分析脚本（近似 notebook 工作流），可帮助研究者理解其内部机制：

• Meta 输入分析：读取internal_data_s20.pkl，用 seaborn 热力图展示各滚动期相似度矩阵（data.data_ic_df），并叠加rolling(20).mean()观察其趋势平滑形态；
• Meta 模型分析：从 experimentDDG-DA加载 meta 模型权重meta_m.tn.twm.linear.weight，绘制权重随时间的取值曲线及其 5 期移动平均，观察元模型学到的"时段→加权"模式；
• Meta 输出（任务重写）分析：读取tasks_s20.pkl，逐任务提取dataset.kwargs.segments.test并对比重写前后差异，验证 meta 推理是否按预期为各滚动期分配了不同数据权重。

该脚本的使用前提是先用python workflow.py run跑通全流程、生成上述*.pkl中间文件与 mlflow 实验记录。

运行环境与注意事项

• 硬件门槛：按 DDG-DA 子 README 给出的最低配置要求，运行 examples/benchmarks_dynamic/DDG-DA/workflow.py 需要约45G 内存与 4G 磁盘；DDG-DA 的默认实验只需CPU + 内存即可完成，不强制 GPU。
• 依赖版本：examples/benchmarks_dynamic/DDG-DA/requirements.txt 中固定了torch==1.10.0（meta 模型的训练基于 PyTorch），安装新版本可能出现接口不兼容，建议按该文件锁定版本。
• 实验清理：由于 mlflow 无法彻底删除同名 experiment（删除只进.trash），重复运行前应清理mlruns目录与中间 pkl 文件，可执行make clean（定义于 examples/benchmarks_dynamic/DDG-DA/Makefile），或直接按 qlib/contrib/rolling/base.py 中的说明手动执行rm -r mlruns。
• 中间产物归属：一次完整 DDG-DA 运行会在工作目录生成handler_proxy.pkl、fea_label_df.pkl、internal_data_s20.pkl、tasks_s20.pkl等文件，并在 mlflow 的mlruns中留下feature_importance、data_sim_s20、DDG-DA、滚动模型实验与最终组合实验等多组记录，可用于逐步检查各环节是否正确。

小结

examples/benchmarks_dynamic/为量化研究者在 Qlib 生态中对比"被动滚动重训 vs. 主动分布适应"提供了开箱即用的完整闭环：底层是 qlib/contrib/rolling/base.py 中可复用的Rolling滚动—集成—评测流水线，上层是RR（baseline/rolling_benchmark.py）与DDG-DA（qlib/contrib/rolling/ddgda.py）两种策略化封装，两者共享同一套 Alpha158 配置文件与评测口径。如果你正面临"模型上线后随市场漂移快速失效"的问题，可以基于本目录的 YAML 修改market、时间窗口、预测模型或DDGDA的sim_task_model/segments/fea_imp_n等超参，把实验扩展到自己的股票池与数据上，并在复现时务必使用包含VWAP字段的 crowd-sourced 数据集。

【免费下载链接】qlibQlib is an AI-oriented Quant investment platform that aims to use AI tech to empower Quant Research, from exploring ideas to implementing productions. Qlib supports diverse ML modeling paradigms, including supervised learning, market dynamics modeling, and RL, and is now equipped with https://github.com/microsoft/RD-Agent to automate R&D process.项目地址: https://gitcode.com/GitHub_Trending/qli/qlib