21.1 强化学习进阶
强化学习作为人工智能实现序贯决策的核心范式，其目标在于通过与环境的交互试错，学习能够最大化长期累积奖励的最优策略。基础强化学习理论围绕马尔可夫决策过程、值函数和策略迭代展开。随着深度学习的发展，深度强化学习通过将深度神经网络作为函数近似器，成功解决了高维状态和动作空间下的决策问题，并在游戏、机器人控制、自动驾驶等领域取得了突破性进展。本节“强化学习进阶”将深入探讨三个核心前沿方向：深度强化学习核心算法、多智能体系统，以及模仿学习与逆强化学习，旨在构建从理论基础到前沿研究的完整知识体系。
21.1.1 深度强化学习核心算法：值函数、策略梯度与混合架构
深度强化学习算法主要沿三大分支演进：基于值函数、基于策略梯度以及结合二者优势的演员-评论家架构。
1. 深度Q网络及其变体：稳定化值函数学习
深度Q网络是将深度学习与Q-Learning结合的开创性工作。其核心是使用一个参数为θ\thetaθ的神经网络来近似最优动作值函数Q∗(s,a;θ)Q^*(s, a; \theta)Q∗(s,a;θ)。经典Q-Learning的更新规则为：
Q(s,a)←Q(s,a)+α[r+γmaxa′Q(s′,a′)−Q(s,a)]Q(s, a) \leftarrow Q(s, a) + \alpha [r + \gamma \max_{a'} Q(s', a') - Q(s, a)]Q(s,a)←Q(s,a)+α[r+γa′maxQ(s′,a′)−Q(s,a)]
DQN在此基础上引入了两项关键创新以稳定训练：
- 经验回放：将智能体与环境交互得到的转移样本(st,at,rt,st+1)(s_t, a_t, r_t, s_{t+1})(st,at,rt,st+1)存储于回放缓冲区中，训练时从中随机采样进行批量更新。这打破了样本间的时序相关性，提高了数据利用率并稳定了学习过程。
- 目标网络：使用一个独立的、参数为θ−\theta^-θ−的目标网络来计算TD目标y=r+γmaxa′Q(s′,a′;θ−)y = r + \gamma \max_{a'} Q(s', a'; \theta^-)y=r+γmaxa′Q(s′,a′;θ−)。目标网络的参数定期（而非每一步）从在线网络同步，缓解了目标值随估计值不断波动的问题。
后续研究围绕提升DQN的效率和稳定性提出了重要变体：
- Double DQN：解决了Q-Learning中的过估计问题。它将动作选择和目标值计算解耦，用在线网络选择动作，用目标网络评估该动作的值：y=r+γQ(s′,argmaxa′Q(s′,a′;θ);θ−)y = r + \gamma Q(s', \arg\max_{a'} Q(s', a'; \theta); \theta^-)y=r+γQ(s′,argmaxa′Q(s′,a′;θ);θ−)。
- Dueling DQN：对网络架构进行革新，将Q值流分解为状态值函数V(s)V(s)V(s)和优势函数A(s,a)A(s, a)A(
)
