157、基于模型的强化学习：学习动力学模型与规划融合

157、基于模型的强化学习：学习动力学模型与规划融合

上个月在调试一个机械臂插拔USB接口的任务，用DreamerV3训练了整整两天，策略在仿真里已经能稳定插拔了，结果一上真机就翻车——机械臂每次快碰到接口时都会剧烈抖动，然后“啪”地一下怼歪。我盯着reward曲线看了半天，发现仿真里明明收敛得很好，真机上却像喝醉了酒。

后来排查到根因：动力学模型在训练时只见过“干净”的状态转移，真机上的摩擦力、关节柔性、甚至线缆的轻微摆动，都让模型预测的下一状态和实际差了那么一两个像素级别的误差。而规划器又特别自信，沿着模型给出的“最优轨迹”猛冲，误差一累积，动作就炸了。

这个经历让我彻底明白：基于模型的强化学习（MBRL）不是把动力学模型训出来就完事了，模型和规划器之间的“信任分配”才是真正的坑。今天这篇笔记，就把我踩过的这些坑，连同能跑通的代码，一起摊开来讲。

核心思想：别把动力学模型当“上帝”，要当“参谋”

MBRL的思路很直白：与其让智能体在真实环境里瞎试几百万步，不如先学一个环境模拟器（动力学模型），然后在这个模拟器里“脑补”各种可能性，再用规划或策略优化来选动作。听起来很美，但问题在于——模型永远是错的，只是错多错少的问题。

我见过太多新手一上来就追求模型预测的均方误差（MSE）降到最低，结果模型在训练分布内确实准，一旦遇到分布外的状态（比如机械臂碰到障碍物反弹了一下），预测就完全放飞自我。这时候如果你还拿它当“上帝”来规划，策略就会变得极其脆弱。

正确的姿势是：把模型当成一个“参谋”