Q-learning 算法 —— 无模型（model-free）强化学习-编程实验室

眼里没有对纪念日的专属感言，只有对优质文章诞生的渴望！！！

- 一、研究背景与意义
- 二、Q-learning 的核心思想
- - 1. 状态-动作价值函数（Q 函数）
  - 2. 核心创新点
- 三、Q-learning 的更新公式（核心公式）
- 四、Q-learning 的算法流程
- 五、理论基础与收敛性（Watkins 的重要贡献）

1989 年，Christopher J. C. H. Watkins在其博士论文中系统提出并分析了Q-learning 算法，开创无模型（model-free）强化学习理论体系，为智能体在未知环境中通过试错交互直接学习最优状态-动作价值函数。

一、研究背景与意义

80 年代以前的强化学习 =已知 MDP + 动态规划 + 解 Bellman 方程
Watkins 的Q-learning = 未知环境 + 交互采样 + 收敛保证

在 20 世纪 80 年代以前，强化学习研究多依赖于已知环境模型（如马尔可夫决策过程 MDP 的转移概率与奖励函数），典型方法包括动态规划。

但在现实问题中：

环境模型往往未知或难以精确建模
状态空间可能很大
只能通过与环境交互获得经验

Watkins 的核心贡献在于：

不需要已知环境模型，仅通过经验样本，就能在理论上保证收敛到最优策略。

这使强化学习真正具备了“从试错中学习”的能力。

二、Q-learning 的核心思想

1. 状态-动作价值函数（Q 函数）

在强化学习中，Q-learning 直接学习状态-动作价值函数：

Q ∗ ( s , a ) = E [ ∑ t = 0 ∞ γ t r t + 1 ∣ s 0 = s , a 0 = a , π ∗ ] Q^*(s,a) = \mathbb{E}\left[\sum_{t=0}^{\infty} \gamma^t r_{t+1} \mid s_0=s, a_0=a, \pi^*\right]Q∗(s,a)=E[t=0∑∞γtrt+1∣s0=s,a0=a,π∗]

含义：在状态s ss下采取动作a aa，并在此后始终执行最优策略所能获得的期望折扣回报。

一旦得到Q ∗ ( s , a ) Q^*(s,a)Q∗(s,a)，最优策略可直接由：

π ∗ ( s ) = arg ⁡ max ⁡ a Q ∗ ( s , a ) \pi^*(s) = \arg\max_a Q^*(s,a)π∗(s)=argamaxQ∗(s,a)

得到。

2. 核心创新点

Q-learning 的关键思想是：

不学习环境模型（转移概率、奖励函数）
直接逼近最优 Q 函数
采用“贪婪目标 + 任意行为策略”进行学习

这使它成为一种off-policy 强化学习算法。

三、Q-learning 的更新公式（核心公式）

Watkins 提出的 Q-learning 更新规则如下：

Q ( s t , a t ) ← Q ( s t , a t ) ∗ α [ r t + 1 ∗ γ max ⁡ a ′ Q ( s t + 1 , a ′ ) − Q ( s t , a t ) ] Q(s_t, a_t) \leftarrow Q(s_t, a_t) * \alpha \Big[ r_{t+1} * \gamma \max_{a'} Q(s_{t+1}, a') - Q(s_t, a_t) \Big]Q(st,at)←Q(st,at)∗α[rt+1∗γa′maxQ(st+1,a′)−Q(st,at)]

各项解释：

s t , a t s_t, a_tst,at：当前状态与动作
r t + 1 r_{t+1}rt+1：执行动作后获得的即时奖励
s t + 1 s_{t+1}st+1：下一状态
α \alphaα：学习率（learning rate）
γ \gammaγ：折扣因子（discount factor）
max ⁡ a ′ Q ( s t + 1 , a ′ ) \max_{a'} Q(s_{t+1}, a')maxa′Q(st+1,a′)：对下一状态采取最优动作的估计回报

📌关键点：即使当前执行的动作不是最优的，更新时仍然假设“下一步采取最优动作”，这正是off-policy的本质。

四、Q-learning 的算法流程

典型 Q-learning 算法步骤如下：

初始化：对所有状态-动作对，初始化Q ( s , a ) Q(s,a)Q(s,a)（通常为 0 或随机值）
重复以下过程（每个 episode）
- 初始化状态s ss
- 在状态s ss下，根据某种行为策略（如 ε-greedy）选择动作a aa
- 执行动作，观察奖励r rr和下一状态s ′ s's′
- 按 Q-learning 更新公式更新Q ( s , a ) Q(s,a)Q(s,a)
- 令s ← s ′ s \leftarrow s's←s′
- 若到达终止状态，结束 episode
最终策略：π ( s ) = arg ⁡ max ⁡ a Q ( s , a ) \pi(s) = \arg\max_a Q(s,a)π(s)=argmaxaQ(s,a)

五、理论基础与收敛性（Watkins 的重要贡献）

Watkins 在理论上证明了：

在以下条件下，Q-learning几乎必然收敛到最优Q QQ函数Q ∗ Q^*Q∗：

所有状态-动作对被无限次访问
学习率满足 Robbins–Monro 条件：∑ t α t = ∞ , ∑ t α t 2 < ∞ \sum_t \alpha_t = \infty,\quad \sum_t \alpha_t^2 < \infty∑tαt=∞,∑tαt2<∞
环境是有限状态、有限动作的 MDP
折扣因子γ < 1 \gamma < 1γ<1