9.3 学习控制与智能控制
机器人系统的传统控制方法，无论是基于精确模型的计算力矩控制，还是处理不确定性的鲁棒与自适应控制，其有效性在很大程度上依赖于对系统动力学的准确建模或不确定性范围的先验知识。然而，面对高度非结构化、动态变化的复杂环境（如家庭服务、野外探索、非精密装配），构建精确的解析模型变得异常困难，甚至不可能。此外，许多复杂的机器人技能（如灵巧手操作、四足动物跨地形运动）难以用传统的控制律直接描述。
学习控制与智能控制为解决上述挑战提供了新的范式。其核心思想是赋予机器人系统从与环境的交互数据中自主学习和优化控制策略的能力，或利用仿生智能的计算模型来处理不确定性、非线性和认知任务。这类方法不追求建立精确的物理模型，而是通过数据驱动或启发式规则，使控制器具备适应与进化的智能。本节将重点讨论两大类方法：以强化学习和模仿学习为代表的数据驱动学习控制，以及以模糊控制和神经网络控制为代表的智能控制理论。
9.3.1 强化学习
强化学习是机器学习的一个重要分支，它通过智能体与环境的试错交互来学习最优决策策略。在机器人控制中，智能体即机器人控制器，环境即机器人的动力学及外部物理世界。RL不依赖于环境的显式模型，而是通过评估动作产生的长期累积奖赏来学习。
9.3.1.1 基本框架：马尔可夫决策过程
RL问题通常建模为马尔可夫决策过程，由四元组(S,A,P,R)(\mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R})(S,A,P,R)描述：
- S\mathcal{S}S：状态空间，机器人的状态（如关节位置、速度、传感器读数）。
- A\mathcal{A}A：动作空间，控制器的输出（如关节力矩或位置增量）。
- P\mathcal{P}P：状态转移概率，P(st+1∣st,at)P(s_{t+1} | s_t, a_t)P(st+1∣st,at)，描述环境的动态特性。在无模型RL中，此模型未知。
- R\mathcal{R}R：奖赏函数，rt=R(st,at,st+1)r_t = R(s_t, a_t, s_{t+1})rt=R(st,at,st+1)，为每个状态转移赋予一个标量奖赏，用于定义任务目标。
智能体的目标是学习一个策略π:S→P(A)\pi: \mathcal{S} \to \mathcal{P}(\mathcal{A})π:S→P(A)（从状态到动作概率分布的映射），以最大化期望的累积折扣奖赏：
Eπ[∑t=0∞γtrt] \mathbb{E}_{\pi} \left[ \sum_{t=0}^{\infty} \gamma^t r_t \right]
