本章的主题是强化学习（Reinforcement Learning，RL），它或许能够给出答案。我们会从经典的动物实验讲起，再到严谨的数学理论，这两者的结合诞生了强化学习，后来深度学习加入，成为了它强大的动力。在此之上，AGI 将如何实现？会是 LLM 吗？读完本章，图灵奖得主的答案或许将给你完全不同的启发。

试错与求解，强化学习的两种思想源流#

要理解 AlphaGo 如何通过强化学习计算出超越人类棋手的“直觉”，我们必须回溯两条截然不同的思想源流。第一条道路根植于对生物本能的观察，它试图回答“什么是学习？”；第二条道路诞生于数学的严谨推演，它试图回答“什么是（最优）解？”。

这两条分别关于“试错”与“求解”的道路，看似在不同的情境下追寻不同的目的，却最终被强化学习的框架奇迹般地统合到了一起。

在试错中学习#

第一条思想路线，即“试错”，是古老且直观的。它源于一个根本性的观察：我们，以及我们身边的动物，究竟是如何在没有说明书的情况下学会与这个复杂世界共存的？我们谈论的并非是背诵事实的知识，而是习得“行动智慧”的过程——如何在环境中做出正确的举动，以趋利避害，达成所愿。

行为主义心理学家爱德华·桑代克（Edward Thorndike）最早系统地研究了这种主动的、有目的的学习。他设计了著名的“猫迷箱”实验：被困箱中的猫必须执行一个特定的、非本能的动作才能打开门获得食物。在偶然成功后，猫的无效行为会逐渐减少，逃脱时间也随之缩短。

桑代克将这一过程总结为“效果律”（Law of Effect）：如果一个反应之后伴随着一个“令人满意的状态”，该情境与该反应之间的联结就会被加强；反之则被削弱。

这就是试错学习（Trial-and-Error Learning）的根本机制：有机体通过主动探索，其行为被环境的后果所选择。

B. F. 斯金纳（B. F. Skinner）继承并极大地发展了“效果律”。他的贡献之一，是用“强化”（Reinforcement）这一客观术语取代了“满意”。

“强化”被精确定义为：任何能增加一个行为在未来发生概率的后果。他将这一学习单元总结为“三期联动”，即情境（辨别性刺激 $S^D$ ）—行为（反应 $R$ ）—奖励（强化性刺激 $S^R$ ）的循环。

从桑代克的主动试错，到斯金纳的系统性强化，这条思想路线逐渐清晰。它们共同描绘了一种不依赖完美知识、不预设最优路径的学习范式。这种学习根植于与环境的直接互动之中，以经验为师，以结果为准绳。

然而，尽管这条思想路线深刻地揭示了学习的本质，它只是一套优美的原则性描述，而非一套严谨的工程实现方法。桑代克的“效果律”和斯金纳的“强化”原则缺少量化的方法和具体的实现机制（例如，如何精确量化“满意”或“价值”）。

这条路线在等待一种更精确的数学语言，来将这些观察锻造成可计算的现实。

精确模型下的规划与求解#

与那条植根于动物本能、在模糊的试错中摸索前进的道路不同，历史中还并行着另一条截然不同的思想路径。

这条路来自数学背景，它始于20世纪50年代，由理查德·贝尔曼（Richard Bellman）等数学家和工程师开辟。它所关心的，并非是“学习”这一充满生物色彩的过程，而是一个更纯粹的数学命题：

如果一个序贯决策问题可以被完整描述，我们应如何计算出它的最优解？

这条路线的世界观，或者它描述问题的基础，是马尔可夫决策过程（Markov Decision Process, MDP）。它提供了一种通用的形式化语言。

MDP 之所以能成立，依赖于马尔可夫性质：未来只取决于现在，而与所有过去无关。

这个简化的力量是巨大的，如果没有它，我们就必须考虑决策的全部历史，状态空间将随时间指数级增长，使问题在计算上变得不可解。马尔可夫性质将这个无限复杂的问题，压缩到了一个有限的、可解的空间之内。

在定义了 MDP 之后，动态规划（Dynamic Programming, DP）便是用于求解它的核心方法论（前提是 $P$ 和 $R$ 均已知）。DP 的理论基石是贝尔曼提出的最优性原理（Principle of Optimality）。

最优性原理指出：一个最优策略的任何“后半段”，对于由前半段决策导致的状态而言，也必定是一个最优策略。

这可以用一个简单的反证法来理解：假设一条从 A 到 D 的最优路线途经 B。如果其中“B—D”路段不是 B 到 D 的最优解，我们就可用一条更好的 B—D 路段来替换它，从而得到一条比原“最优”路线更好的 A—D 路线，这显然与假设矛盾。

贝尔曼方程（Bellman Equation）是最优性原理在 MDP 框架下的数学化身。

它建立了一个关于最终目标——最优价值函数 $V_*(s)$ （即从状态 $s$ 出发所能获得的最大未来回报）——的递归关系。

贝尔曼最优方程给出了它必须满足的条件：

V_*(s) = \max_{a \in A} \sum_{s' \in S} P(s'|s,a) \left[R(s,a,s') + \gamma V_*(s')\right]

因为 $\max$ 操作，这个方程是非线性的，无法一次性解出。但它可以用一个迭代算法求解，即价值迭代（Value Iteration）。

该算法从一个随意的猜测 $V_0$ 开始，然后不断地将当前的猜测 $V_k$ 代入贝尔曼方程的右侧，以此计算出一个新的、更准确的猜测 $V_{k+1}$ ：

V_{k+1}(s) \leftarrow \max_{a \in A} \sum_{s' \in S} P(s'|s,a) \left[R(s,a,s') + \gamma V_k(s')\right]

这个迭代过程被证明最终必然会收敛到唯一的最优价值函数 $V_*$ 。

数学路线是如此强大和优雅，它提供了一套完整的理论框架和计算方法，让我们能找到一个可证明的“最优解”。

然而，动态规划的整个图景，都建立在一个前提之上：我们必须拥有对环境的完美模型。

为了运行价值迭代，我们必须预先知道世界的所有规则，即精确的转移概率 $P$ 和奖励函数 $R$ 。但在现实世界中，这通常是不满足的。

这便是这条路线最终的困境：数学总是太理想，它定义了我们要寻找的终点，却要求我们手持一张现实中几乎不存在的完整地图。

思想交汇：巴托与萨顿的图灵奖之路#

于是，在历史长河中，两条探索智能的道路曾一度并行：一条根植于生物的本能（试错），充满了对经验的洞察，却苦于缺乏精确的计算语言；另一条诞生于数学的殿堂（求解），拥有求解最优的强大理论，却因对完美世界模型的苛求而步履维艰。

前者知道如何学习，却无法计算；后者知道如何计算，却无法在未知中学习。

历史的交汇，最终由安德鲁·G·巴托（Andrew G. Barto）与理查德·S·萨顿（Richard S. Sutton）完成，他们也因此获得了2024年的 ACM A. M. 图灵奖。

2024年图灵奖得主巴托和萨顿 — 2024年图灵奖得主安德鲁·巴托和理查德·萨顿

他们的合作完美地人格化了这两条思想路线。巴托的学术背景横跨心理学和神经科学，深受“试错”路线中生物学习机制的启发。而师从巴托的萨顿，则贡献了强大的数学和算法构建能力，是“求解”路线的继承者。

他们联手解决了那个核心困局：动态规划（“求解”路线）之所以受困，是因为它依赖完整计算一个完美的模型 $P$ 和 $R$ 来计算贝尔曼方程中的期望（Expectation）。

而他们的伟大创见，就是用“试错”路线的灵魂——即通过与环境真实互动获得的样本（Sample）——来替代这个无法计算的“期望目标”。

这个融合在数学上是这样发生的。

在动态规划中，更新依赖于一个无法获知的“期望”：

V_{k+1}(s) \leftarrow \max_a \underbrace{\sum_{s' \in S} P(s'|s,a) \left[R(s,a,s') + \gamma V_k(s')\right]}_{\text{依赖模型 P 和 R 的期望计算}}

而在强化学习中，智能体通过“试错”获得一个真实样本 $(s,a,r,s')$ 。

Barto 和 Sutton 的创见，就是用这个基于真实样本的估计目标（例如 $r + \gamma V(s')$ ）来替代那个无法计算的“期望目标”。

这种基于样本的学习采用了一种渐进式的更新形式：

V(s) \leftarrow V(s) + \alpha\left[\text{Target} - V(s)\right]

这里的 $\text{Target}$ 就是来自经验的估计目标，而 $\alpha$ （学习率）则是试错精神的数学体现：我们用经验来纠正当前估计，但只朝这个新方向挪动一小步。

“用样本估计来求解贝尔曼方程”的强大思想，就是他们最核心的贡献之一：时间差分（Temporal Difference, TD），它精妙地解决了“延迟奖励”问题。

在此基础上，他们还发展了演员—评论家架构（Actor-Critic Architectures），通过巧妙的分工让学习过程更稳定高效。

这两个我们将在后文详细展开的关键概念，正是强化学习的核心算法基石。

除这些算法基石外，他们还完成了另一项贡献：将整个领域系统化。

1998年，两人合著的教科书《强化学习导论》（Reinforcement Learning: An Introduction）正式出版。

这本书是该领域当之无愧的“圣经”，它首次将动态规划、蒙特卡洛方法和他们开创的时间差分学习等不同来源的思想，统一到了一个清晰、连贯的理论框架之下。

这本书定义了强化学习的术语、符号和核心问题，培养了此后几乎所有的强化学习研究者。本文的写作也在很大程度上参考了这本书（特别是其2018年的第二版）。

至此，两条路线的优势完美地结合在了一起。

强化学习既拥有了行为主义的灵魂——在与世界的直接互动中学习；也拥有了数学的严谨大脑——以贝尔曼方程为目标进行优化。

它不再是只能定性描述的原则，也不是只能在理想模型中运行的算法，而 Barto 与 Sutton 的贡献，正是这一切的基石。

权衡与设计，强化学习的架构分野#

强化学习的落地必须面对纷繁复杂的现实世界：一个用于玩井字棋的智能体，和一个用于控制多自由度机械臂的智能体，它们所需的架构设计显然是天差地别的。

井字棋的状态空间 $S$ 离散而窄小，甚至能用表格记录并背下来。机械臂的动作是连续的，还涉及速度、姿态与路径的协调，状态空间是连续而无比庞大的。

二者汲取经验的方式很可能也不同。这样的背景下，我们不能指望适用于井字棋的方法能够解决机械臂的问题，而将适用于机械臂的方法用于井字棋又产生浪费。

因此在现实的强化学习问题中，我们需要总结关键的问题差异，并探索对应的方案抉择。

本节将要介绍的，就是基础的强化学习概念在一系列核心矛盾下所演化出的不同架构分野。

价值、策略与行动的选择#

我们在动态规划的部分介绍过价值函数 $V_*(s)$ ，它代表了一个状态的最优长期价值。

然而，在动态规划中，我们之所以能从 $V_*(s)$ 推导出最优动作，是因为我们拥有一个完美的模型（ $P$ 和 $R$ ），可以让我们“向前看”一步（ $\max_a \sum_{s'} P[\ldots]$ ）来计算所有动作的期望价值。

但在现实的强化学习问题中，我们恰恰没有 $P$ 和 $R$ 。这个“无法向前看”的根本差异，构成了强化学习在决策架构上的第一个关键。

基于价值（Value-Based）#

基于价值（Value-Based）的方法提出了一种巧妙的解决方案：既然无法在需要时临时计算出动作的价值，那我们干脆不学习 $V(s)$ （状态有多好），转而学习一个更强大的函数——动作价值函数 $Q(s,a)$ 。

它的含义是：“在状态 $s$ 下，执行动作 $a$ 的期望回报”。

$Q$ 函数的本质，就是将那个无法计算的“向前看”的结果，通过经验学习直接估计并缓存起来。

有了 $Q$ 函数，决策变得极其简单：在状态 $s$ 下，只需在所有动作中，选择那个 $Q(s,a)$ 值最大的动作（即 $\arg\max_a Q(s,a)$ ）即可。

这个由 Watkins 引入的 Q-Learning 算法是如此经典，以至于后来的 DQN 等诸多算法都是围绕它展开的。

然而，这个架构也引入了新的“天花板”。它的决策机制依赖于 $\max_a$ 操作。

这在“井字棋”或雅达利游戏等离散动作空间中非常有效，但如果面对“机械臂”的连续动作空间（例如，动作是0.0到1.0之间的任意实数），我们无法在无限个动作中执行 $\max$ 操作。

基于策略（Policy-Based）#

为了解决连续动作空间的难题，基于策略（Policy-Based）的方法应运而生。

它绕开了价值函数，不存储“价值地图”，而直接存储“行为准则”，即策略 $\pi(a|s)$ 。

这个函数直接回答：“在状态 $s$ 下，我应该以多大概率执行动作 $a$ ？”

策略函数 $\pi$ 可以被设计为输出一个连续的概率分布（例如，高斯分布），智能体只需从这个分布中采样一个动作即可，从而避免了 $\max_a$ 操作。

但这种架构也带来了新的挑战：为了优化 $\pi$ ，算法需要知道哪些动作是“好”的。

这个“好”的信号通常必须等到整个回合结束才能判断，这就导致信号充满“噪声”：一个早期的好动作，可能因为后期的坏运气而受到“惩罚”。

这种学习信号的不稳定性是它最大的挑战。

演员—评论家架构（Actor-Critic）#

于是，一个试图集两者之长的集大成架构——演员—评论家架构——诞生了。

它试图同时拥有“基于策略”的连续动作处理能力和“基于价值”的稳定学习信号。它设计了两种角色的分工：

演员（Actor）： 一个基于策略的组件，它学习策略 $\pi(a|s)$ ，负责决策（“该做什么”）。
评论家（Critic）： 一个基于价值的组件，它学习价值函数 $V(s)$ （或 $Q(s,a)$ ），负责评估（“做得好不好”）。

在这种设计下，评论家不再等待回合结束，而是在每一步都为演员的行动提供一个更及时、更稳定的“指导信号”。

演员现在可以根据这个即时的“批评”来高效地更新自己的策略。

这三种架构并非绝对的“好”与“坏”，而是在不同的任务情形下，面临“是否需要处理连续动作”和“如何平衡学习稳定性”两个问题时，所演化出的不同方法。

如何提取更新信号？蒙特卡洛与时序差分#

不同架构（如纯策略方法与 Actor-Critic）在学习稳定性上的差异，来自于对一个问题的回答：智能体应如何从经验中提取学习信号。

具体地说，智能体是应该等到一个完整的任务回合（Episode）结束后再统一“复盘”，还是应该在与环境交互的每一步中就“当场反思”？

蒙特卡洛方法（Monte Carlo）#

蒙特卡洛（Monte Carlo，MC）方法代表了前者，即“复盘”的策略。

它要求智能体必须等待一个完整的回合结束，才能进行学习。其学习的“目标值”是完整的、真实的总回报 $G_t$ ，即从 $t$ 时刻开始，未来所有奖励的折扣总和：

G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots = \sum_{k=0}^{\infty}\gamma^k R_{t+k+1}

使用 $G_t$ 作为更新目标的优点在于它是无偏的（Unbiased）。

$G_t$ 是对“真正价值”的一个完全公平、基于真实结果的采样，它不依赖任何估计值。

然而，这种方法的缺点也同样致命：高方差（High-Variance）。

$G_t$ 混合了从 $t$ 时刻到回合结束所有的随机性——例如，一个早期的绝妙决策，可能因为后期的一个随机失误而导致整局皆输，从而让这个早期决策的 $G_t$ 值变得极低。

这种不确定性累积使得学习信号充满噪声，导致训练过程不稳定且收敛缓慢。

时序差分学习（Temporal Difference）#

时序差分学习则采取了“当场反思”的策略。

它不需要等到回合结束，在很多情境下，每行动一步就可以立刻学习。

TD 学习的核心在于继承了动态规划中的“自举（Bootstrapping）”思想：它不再使用（也无法获取）完整的真实回报 $G_t$ ，而是用当前的即时奖励 $r$ 加上对下一步价值的估计值来共同构建一个“TD 目标”。

这种思想是现代强化学习的基石，在“基于价值”和“Actor-Critic”架构中都有核心应用。

例如，在Q-Learning中，TD 目标被用来更新 $Q$ 值：

Q(s,a) \leftarrow Q(s,a) + \alpha\left[\underbrace{\left(r+\gamma\max_{a'}Q(s',a')\right)}_{\text{TD 目标}} - Q(s,a)\right]

在Actor-Critic中，它被用于生成“TD 误差 $\delta_t$ ”来指导“演员”：

\delta_t = \underbrace{\left(r+\gamma V(s')\right)}_{\text{TD 目标}} - V(s)

其中 $V(s)$ 和 $V(s')$ 都由评论家进行估计。

TD 学习的优点是低方差（Low-Variance）。

它的学习信号（如 $\delta_t$ ）只包含了一步的随机性，而不是一整个回合的，这使得训练过程更稳定、更高效。

但其代价是有偏（Biased）。因为 TD 目标严重依赖于 $V(s')$ 这样的估计值，所以在训练初期，当这个估计值尤其不准确时，会给学习带来系统性的误差。

因此，如何在“高方差的无偏估计”（MC）和“低方差的有偏估计”（TD）之间取得平衡，是强化学习算法设计的核心挑战之一。

学习样本的权衡#

前面两节我们看得出，在世界未知的情况下，（最优价值的）求解从动态规划那种基于确定性模型的直接计算，转变成了基于经验样本的迭代优化问题。

无论是基于价值的方法（如 Q-Learning）还是 TD 学习本身，其核心都是用新的“估计”来不断“纠正”旧的“估计”。

这个转变是根本性的。

在确定性的计算中，模型（ $P$ 和 $R$ ）提供了唯一的、权重无限大的“真理”。但在迭代优化中，每一个经验样本 $(s,a,r,s')$ 都只是对“真理”的一个带有噪声的、片面的观察。

优化过程因此变成了如何“加权”这些观察的问题：我们应该偏向于探索哪些未知的状态和动作空间来获取新样本？我们应该给予来自不同行为模式（策略）或不同时间点的样本多大的权重或信任？

强化学习用三个角度回答这个问题：

探索与利用（Exploration vs. Exploitation）#

首先是探索（Exploration）与利用（Exploitation）的平衡。

为了避免因经验不足而陷入局部最优，智能体必须在执行当前已知最佳动作（利用）和尝试未知动作以收集新信息（探索）之间做出抉择。

像 $\epsilon$ -贪婪策略是一种动态调整探索力度的常用方法，其核心在于平衡获取高质量数据（通过利用已知最优）和获取广覆盖数据（通过探索未知）的需求。

On-Policy 与 Off-Policy#

On-Policy 和 Off-Policy 方法指的是，使用的数据来源，或者说经验与当前智能体的策略是否匹配。

On-Policy 方法使用由当前策略产生的数据，保证了经验的针对性。这是因为 On-Policy 经验反馈的问题直接出自当前策略，但这种方法的数据利用效率可能相对较低，因为它需要随着智能体的优化不断获取对应的经验。

而 Off-Policy 方法（如 Q-Learning）允许从历史或其他策略的数据中学习，通过经验回放（Experience Replay）等技术提升数据效率，但也需处理由此带来的稳定性挑战。

Online Learning 与 Offline Learning#

Online Learning 是边互动边学习（这里可以使用智能体自身的探索策略，也可以使用与智能体无关的方法，比如随机游走），实时适应环境。

Offline Learning 则是在无法进行新互动的情况下，尝试从一个固定的历史数据集中学习。

这对于许多现实场景（如医疗、自动驾驶）至关重要，但对算法的泛化性和安全性提出了极高要求。

Offline Learning 和 On-Policy 逻辑上是冲突的，因此只能使用 Off-Policy 的方法。

这三个维度紧密相连，共同影响强化学习的效率、稳定性和最终效果。

无模型（Model-Free）vs. 基于模型（Model-Based）#

模型指的是智能体可用来预测环境对其行为将如何响应的任何事物，它可以是一个准确的理想模型，或者是对环境响应的估计。

无模型方法（Model-Free）#

我们前面讨论的大部分方法，包括 Q-Learning、DQN、经典策略梯度以及 Actor-Critic，都属于无模型（Model-Free）的范畴。

这些算法不试图学习环境的模型（即转移概率 $P$ 和奖励函数 $R$ ）。它们直接从与环境互动的经验样本 $(s,a,r,s')$ 中，学习一个“控制器”——要么是动作价值函数 $Q(s,a)$ ，要么是策略 $\pi(a|s)$ 。

这完全继承了行为主义的“试错”精神：通过反复试验和结果反馈，直接塑造出“正确的”行为模式。

无模型方法的优点在于算法相对简单直接，并且不受模型误差的影响（因为它根本不学模型）。

但其代价通常是样本效率低下，需要海量的真实互动经验才能学好，因为它无法在“想象”中进行推演和规划。

基于模型方法（Model-Based）#

基于模型（Model-Based）的方法采取了不同的策略，它继承了数学/求解路线的规划精神。

如果能先搞清楚世界的规则，那么结合规划的决策过程将变得高效、准确得多。

其过程通常分为两步：

模型学习（Model Learning）： 智能体尝试从经验中学习（或估计）出环境的模型 $\hat{P}(s'|s,a)$ 和 $\hat{R}(s,a,s')$ ，试图构建一幅世界的地图。
规划（Planning）： 一旦有了这个（可能不完美的）“地图” $\hat{P},\hat{R}$ ，智能体就可以利用它在内部模拟或想象中进行规划。

例如，它可以像动态规划一样迭代计算价值函数，或者使用蒙特卡洛树搜索（MCTS）等方法来推演未来的多种可能性，从而找到最优策略。

基于模型方法的核心优势在于极高的样本效率。在真实世界中互动一步，可能足以让智能体在“内部地图”上模拟成千上万步，从而快速学习。

然而，这种高效率是有代价的。

最大的挑战在于学习到的模型 $\hat{P},\hat{R}$ 几乎永远是不完美的。

强化学习算法可能会发现并剥削（Exploit）这个不完美模型中的漏洞或错误，导致在模拟中看似最优的策略在现实中无效甚至有害。

模型剥削（Model Exploitation）与其他模型偏误引入的问题，是基于模型方法面对的核心难题。

这样的背景下，我们就能理解为何强化学习似乎特别偏爱游戏环境（包括早期的迷宫探索、棋类博弈，到后来的视频游戏）。

因为它恰好处在无模型与基于模型的一个甜区：对于许多游戏而言，我们拥有其完美的、可计算的规则，或者可以构建一个完美的环境模拟器。

这意味着，即使采用无模型的强化学习算法，我们也可以通过大规模并行模拟来几乎无限地生成准确无偏的经验样本 $(s,a,r,s')$ 。

换句话说，游戏环境允许无模型算法在实践中享受到类似于基于模型方法的高样本效率（通过海量模拟），同时又完全避免了学习模型所带来的“模型误差”和“模型剥削”风险。

这种两全其美的特性使得游戏成为了测试和展示强化学习算法能力的理想试验场。

强化学习许多引人注目的成果，例如在 Atari、Dota 2 以及棋类游戏上取得的超越人类的表现，正是这种“无模型算法 + 海量完美模拟”策略威力的体现。

当强化学习遇上深度学习#

我们在前两节中看到，强化学习的核心是在未知世界中，通过与环境互动的经验样本进行迭代优化，其目标本质上是估计那个数学上最优的价值函数或策略。

然而，传统方法（如表格型 Q-Learning）在面对现实世界的复杂性时遭遇了根本瓶颈——“维度诅咒”。

当状态空间（如棋盘局面、屏幕像素）或动作空间（如机器人关节角度）变得无比巨大甚至无限时，用表格精确存储每一个状态或动作的价值变得完全不可能。

为了克服这个瓶颈，引入函数近似（Function Approximation）是一种好的方案。

其核心思想是：不再为每个状态精确存储一个值，而是学习一个带有参数 $\theta$ 的函数（例如 $Q(s,a;\theta)$ ），来近似这些真实的价值或策略。

这个函数的关键能力在于泛化：它能够根据状态 $s$ 的特征来估计其价值或应采取的动作，即使这个具体状态从未见过。

而深度神经网络（DNNs）正是目前已知的最强大的函数近似器之一。它们具备从高维、复杂的原始输入（如图像像素）中自动学习相关特征的能力。

大约在2013—2015年，将强化学习与深度学习结合，用 DNN 作为函数近似器，催生了深度强化学习（Deep Reinforcement Learning, DRL），极大地扩展了强化学习的应用边界。

深度价值学习：DQN 与 Atari 游戏的突破#

将深度神经网络（DNNs）作为函数近似器引入强化学习的第一个里程碑式成果，发生在“基于价值”这条路线上，其代表作就是 DeepMind 提出的深度 Q 网络（Deep Q-Networks, DQN）。

它的目标简单而宏大：让智能体能够直接从高维的原始像素输入（例如 Atari 游戏画面）中学习如何玩游戏，而无需任何手工设计的特征。

DQN在Atari游戏Seaquest中的价值学习 — 2013年发表的研究中，DeepMind 构建了一个端到端的卷积神经网络，使用 Q-Learning 的变体和经验回放技术，在无需针对性调整的情况下，成功将深度强化学习方法应用于多款不同的 Atari 游戏，展现了惊人的通用性，并在多数测试游戏中超越了以往的方法。图为游戏 Seaquest 的三个场景（A、B、C）与神经网络对应预测的价值函数变化。

为了实现这一点，DQN 创造性地将卷积神经网络（CNN）与经典的 Q-Learning 算法结合起来。

其核心思想是训练一个 CNN $Q(s,a;\theta)$ ，输入是游戏画面（状态 $s$ ），输出是对应每一个离散动作 $a$ 的 Q 值。

然而，将 Q-Learning 与非线性函数近似器（如 DNN）结合极易导致训练过程不稳定甚至发散。

DQN 的成功关键在于引入了两项核心技术来克服这个问题：经验回放（Experience Replay）和目标网络（Target Network）。

DQN学习到的Atari游戏状态表征 — 2015年发表的研究中，这一架构被应用于更广泛的游戏集，与专业人类游戏测试员进行对比，在超过一半的游戏上达到了人类水平或更高。图中展示了游戏 Space Invaders 中智能体最后一层游戏状态表征的二维 t-SNE 降维结果，并根据预测的状态价值进行由红到蓝的着色（红色对应高预测价值）。

首先，经验回放打破了数据相关性问题。

智能体将大量的历史经验 $(s,a,r,s')$ 存储在一个巨大的“经验池”中，每次学习时随机抽取一批数据训练。这极大地提高了训练的稳定性和数据利用效率。

其次，目标网络解决了 Q-Learning 更新目标 $r+\gamma\max_{a'}Q(s',a';\theta)$ 中的不稳定性。

DQN 引入了一个独立的、参数 $\theta^-$ 周期性固定的“目标网络” $Q(s,a;\theta^-)$ ，专门用于计算 TD 目标：

r+\gamma\max_{a'}Q(s',a';\theta^-)

这大大稳定了学习目标，降低了发散风险。

凭借这两项关键创新，DQN 首次证明了可以直接从高维感官输入中端到端地学习复杂的控制策略，在众多 Atari 游戏上达到了超越人类的水平，开启了深度强化学习的时代。

AlphaGo：学习与规划的融合#

如果说 DQN 展示了深度学习如何赋能“无模型”的价值学习，那么AlphaGo则通过超越人类棋手认知的“神之一手”揭示了将深度学习与基于模型的规划/搜索相结合的巨大威力。

2016年，DeepMind 开发的 AlphaGo 击败世界围棋冠军李世石，标志着 AI 在最具挑战性的完美信息博弈之一中超越了人类。

AlphaGo 的成功并非依赖单一技术，而是巧妙地融合了两大部分。

1. 深度学习：学习“直觉”

策略网络 $\pi(a|s;\theta)$ ： 一个 CNN，预测下一步有潜力的落子位置，用于指导搜索。
价值网络 $V(s;\phi)$ ： 另一个 CNN，估计当前局面的胜率，用于评估搜索中的局面。

这两个网络都是通过监督学习（模仿人类）和强化学习（自我对弈）训练出来的，AlphaZero 则更进一步，通过完全的自我对弈进行训练。

2. 蒙特卡洛树搜索（MCTS）：进行“规划”

这是一个强大的基于模型的规划/搜索算法。它利用围棋的完美规则（即已知的环境模型 $P$ 和 $R$ ）在“想象”中进行大量的前向模拟。
融合的关键： MCTS 在在线对弈时，同时使用策略网络来优先探索有希望的分支（削减广度），并使用价值网络来快速评估局面（削减深度）。

AlphaGo 的架构，是我们将前文讨论的核心权衡进行融合的典范。

它本质上是基于模型的（核心决策依赖 MCTS 规划），但又巧妙利用了无模型的深度强化学习（训练出强大的策略和价值网络作为“启发式直觉”），使得在围棋天文数字般的状态空间中的高效规划成为可能。

同时它也极致地利用了围棋的理想游戏环境。

AlphaGo 将强大的学习能力（用于处理高维输入并形成“直觉”）与强大的规划/搜索能力（用于利用模型进行深思熟虑的决策）相结合，是构建超越人类能力的关键方法。

DQN 和 AlphaGo 这两大里程碑共同揭示了深度强化学习的核心潜力——利用深度学习的表示学习能力和强化学习的决策学习框架，去解决那些传统方法无法应对的、具有巨大状态空间和复杂动态的挑战性问题。

强化学习的应用前沿#

前面的章节，我们已经追溯了强化学习的思想源流，剖析了其核心架构与关键权衡，并见证了深度学习如何为其注入强大的动力，催生了深度强化学习（Deep Reinforcement Learning, DRL）的突破。

现在，我们将目光投向应用前沿，看强化学习（特别是 DRL）如何在两个截然不同的、极具挑战性的领域——LLM 的训练和地理空间智能（GeoAI）与城市规划中，展现出其独特的价值和潜力。

LLM 的强化学习#

将强化学习的思想应用于大型语言模型的训练，已成为提升模型能力、使其行为更符合人类期望的关键路径。

这个过程通常遵循几个阶段。

首先是指令微调（Supervised Fine-Tuning, SFT）。

SFT 不是强化学习，它如同教导学生听懂题目要求，通过大量“指令—优质回答”的示例，让预训练好的 LLM 学会理解并遵循人类的指令格式，具备基础的“有用性”。

接着是基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）。

在模型能听懂之后，我们需要让它的回答更“好用”，更符合人类的价值观（如无害、诚实）。

RLHF 通过训练一个奖励模型来模仿人类对不同回答的偏好排序，然后使用强化学习算法（比较常用的近端策略优化 Proximal Policy Optimization, PPO）让 LLM 学会最大化这个奖励模型的分数，实现与人类偏好的对齐。

然而，传统的 RLHF 流程（特别是基于 PPO 的方法）面临着挑战。

PPO 通常需要训练一个独立的价值模型（即“评论家”）来评估当前状态的好坏，以计算优势函数。

对于 LLM 而言，其生成文本的状态空间极其庞大复杂，训练一个精确且高效的价值模型本身就非常困难且耗费资源。

此外，依赖模仿人类偏好的奖励模型作为信号源，可能会限制模型探索超越人类范式的、更优的解决方案。

为了应对这些挑战，DeepSeek 团队在训练其DeepSeek-R1模型时，采用了他们提出的GRPO（Group Relative Policy Optimization）算法。

GRPO 的核心思想是摒弃传统 PPO 中那个昂贵的价值模型，通过一种更直接的“小组竞赛”方式来驱动学习。

面对一个问题（prompt $q$ ），GRPO 不再让 LLM 单独作答，而是鼓励它一次性生成一组多个不同的答案 $\{O_1,O_2,\ldots\}$ 。

随后，一个客观的“裁判”——例如，对于数学题是检查最终答案是否正确的验证器，对于编程题是能运行单元测试的环境——会对小组中的每一个答案 $O_i$ 进行打分，给出明确的奖励 $r_i$ 。

GRPO 的关键创新在于，它认为驱动学习的有效信号并非来自“绝对价值”，而是来自答案在当前小组内的“相对排名”。

它通过简单的组内计算，直接衡量出每个答案 $O_i$ 相对于同组其他答案的“相对优势” $A_i$ 。

如果一个答案 $r_i$ 远高于小组平均，其优势 $A_i$ 就高。这个基于组内比较产生的 $A_i$ 信号，直接被用来指导 LLM 的参数更新。

通过这种“分组采样、组内比较、择优学习”的机制，GRPO 极大地简化了优化过程，省去了训练独立价值模型的巨大开销。

DeepSeek 团队甚至尝试在训练初期完全绕过 SFT 阶段，直接使用 GRPO 和客观奖励，他们认为这能更好地激励模型无限制地探索，避免被人类固有的解题模式所“束缚”。

有趣的是，在这种纯粹的、基于客观结果（而非模仿人类过程）的强化学习压力下，DeepSeek-R1-Zero 模型自发地“涌现”出了复杂的推理行为，例如自我反思、过程验证、探索多种解法，甚至在思考过程中出现了类似人类“等等，让我想想”（Wait, wait. Wait.）的停顿与重新评估。

这表明，通过设计合适的 RL 框架和客观的奖励机制，我们或许能够“激励”而非“教会”LLM 发展出更深层次的自主推理能力。

当然，这种“野蛮生长”出的能力需要与人类偏好进行对齐。

因此，这种解锁了强大推理能力的推理型 LLM 还需要与后续的 SFT 和 RLHF 进行多阶段融合，最终才能打造出一个既有顶尖问题解决能力，又符合人类使用习惯和价值观的强大智能体。

吴恩达对不同AI技术经济价值的预测 — 吴恩达（Andrew Ng）2023年7月26日在 Stanford 的演讲“Opportunities in AI”中提到他对通用 AI 方法在当时（深色区域）和3年后（浅色区域）的价值（Financial Value）估计，其中监督学习占据着主导地位，生成式 AI 的价值将迎来爆发式增长。而强化学习的价值在当时的版图中几乎微不可见，三年后的估计虽有增长但依然与监督学习和生成式 AI 不在一个量级。这次演讲的一年半后，通过与 LLM 推理的深度结合，强化学习再次走到台前，特别是强化学习的 LLM 展现了强化学习与生成式 AI 的融合。面对 RL 在 LLM 推理上展现出的惊人潜力，吴恩达教授是否会修正当初的判断？更重要的是，展望下一个三年，AI 的价值版图究竟是会延续他当初的预测，还是会转向一个出人意料的新方向？

GeoAI 的应用#

强化学习与城市规划#

城市规划，作为一项涉及高维空间、多目标优化和长期后果的复杂工程，长期以来依赖于人类专家的经验和直觉。

设计师们在巨大的解空间中，难以找到能够最优权衡服务可达性、生态覆盖和建设成本等的布局方案，导致流程耗时漫长且效率低下。

强化学习（RL），特别是深度强化学习（DRL），为此提供了一种革命性的解决方案，其核心优势在于将复杂的空间规划问题，转化为一个动态的、序贯的决策过程。

这种方法与传统的人类规划师的思维过程有其相似之处，但又通过强大的计算能力实现了更好地辅助与超越。

1. 分步决策与空间布局

与人类规划师一步步绘制蓝图类似，RL 智能体（Agent）通过分步构建的方式来生成方案。

例如，在设施选址中，它在每一步只选择一个位置放置新设施；在土地利用规划中，它一次只放置一个功能地块。

这种方式将一个巨大、难以直接求解的组合优化问题，分解为一系列更小、更易于处理的单步决策，极大地降低了求解难度。

2. 动态反馈与实时调整

城市本身是一个动态系统，一个决策会影响后续所有可能性。

RL 的序列决策框架天然契合这一特性。每完成一步决策（如放置一个医院），城市空间的“状态”就会发生改变（如周边的医疗服务覆盖率提升）。

这个包含了最新空间关系的新状态，会立刻作为下一步决策的依据。

这种动态反馈机制，使得规划过程能够实时考虑到每一个决策的连锁影响，从而避免陷入局部最优，寻求全局更优的解决方案。

3. 奖励机制

强化学习在城市规划中的强大效能，根植于其独特且高度适配的奖励（Reward）机制。

其核心特色在于延迟性、目标导向性和灵活性。

RL 常常采用延迟性的奖励，在整体布局结束后根据最终方案进行综合评估，这也迫使我们的 Agent 能够具有更加长远的眼光，而非局部最优。

并且其目标导向的特性也符合我们规划文件中的区域特色理念，这也可以根据规划师的目标要求得到更加合理的空间规划布局方案。

最后，奖励机制的灵活性也能够适配我们采用多目标共同优化的理念，规划者可以引导生成不同侧重的优化方案，从而将主观的规划权衡转变成为一个高效的、数据驱动的多目标过程。

强化学习的序贯决策框架虽然强大，但其智能体（Agent）本身并不直接理解地理空间中的坐标、形状或拓扑关系。

为了让 RL 成为一个真正的数据驱动型 GeoAI 工具，我们必须首先解决一个核心问题：

如何将复杂的、非结构化的城市空间数据，转化为模型能够读取、学习和推理的格式？

为了让强化学习（RL）模型能够进行数据驱动的决策，必须首先将复杂的城市地理空间转化为其能够“读取”的格式。

为更好地理解地理实体间的连接关系，前沿研究普遍将城市空间抽象为一个图（Graph）结构，其中地理实体（如需求点、地块）是图的节点，它们之间的空间关系（如邻接、距离）则为边。

构建了图的骨架后，下一步是为节点注入信息，即进行特征嵌入。这些特征被巧妙地分为两类，以同时捕捉城市的不变属性和动态变化：

静态特征（Static Embedding）： 代表节点固有的、在规划任务中不会改变的属性，最基本的就是其二维地理坐标。
动态特征（Dynamic Embedding）： 这是 RL 实现智能决策的关键，这些特征会随着智能体的每一步动作而实时更新。例如，一个节点的“被覆盖”状态会随着新设施的放置而改变，模型会通过一个“动态覆盖向量”来记录这一变化，从而影响后续决策。

在具体的设施选址任务中，有的研究直接将需求点或潜在的设施位置作为图的节点进行嵌入。

这种以“点”为核心的图构建方式，非常适合处理 p-Median、最大覆盖（MCLP）等经典的选址优化问题。

而且其中作为节点的“需求点”就是在城市地图上需要被某个设施所服务的具体位置，代表着“需求”的来源地。

比如说在医疗设施选址中，“需求点”就是每一个居民小区或居民楼。它们表达了居民对便捷医疗服务的需求。

在应急设施规划中，“需求点”可能是指重要的交叉路口或居民社区，代表了对快速应急响应的需求。

需求点的内部特征也常常带有一个权重，来代表其特征所需要的需求量的大小，而更加丰富的节点信息也会让 Agent 有更加精确的方案。

最后，为了让模型不仅能读取单个节点的特征，还能理解其在整个城市空间中的上下文信息，研究者们普遍采用图神经网络（GNN）。

现有研究就利用 GNN 的消息传递机制，让每个节点能够聚合其邻居节点的信息，从而有效提取邻里信息并理解当前规划的效率。

更进一步地，部分研究则采用了图注意力网络（Graph Attention Network, GAT），该网络能够动态计算不同邻居节点的重要性，使得模型在聚合信息时能更有侧重地关注那些对当前决策更关键的邻近节点，从而获得更丰富的空间上下文信息。

强化学习在城市道路规划中的应用 — 强化学习在道路规划中的应用：（b）相对于（a）路径变短，减少了绕行

强化学习在城市地块空间布局中的应用 — 强化学习在地块分目标空间布局中的应用结果

其他应用#

1. 无人机自主路径规划

在复杂环境中，无人机需要实时规划路径并躲避动态障碍物。

基于深度强化学习（DRL）的方法，如 DDPG 算法，允许无人机通过“端到端”的训练，直接根据传感器数据（如激光雷达、视觉信息）生成飞行策略，而无需预先构建完整的环境地图。

这种方法的优势在于其出色的实时动态响应能力。

通过在仿真环境中进行大量“试错”学习，无人机可以习得高效的飞行策略，例如在密集建筑群中采用“贴壁飞行”来缩短路径。

虽然“贴壁飞行”策略是在仿真环境中验证的，但这类技术已广泛应用于现实世界。

例如，NVIDIA 公司利用其 Isaac Sim 仿真平台，使用强化学习训练无人机在复杂的仓库和工厂环境中进行自主导航和避障，以执行库存盘点和检查等任务。

这种“仿真到现实”（Sim-to-Real）的迁移是该领域常见的应用模式。

2. 城市交通信号协同控制

为解决传统固定配时信号灯无法应对实时车流变化导致的拥堵问题，研究者采用多智能体强化学习（MADDPG）技术，将每个路口的信号灯作为一个独立的“智能体”。

这些智能体通过实时分析路口摄像头捕捉的车流量数据，相互协作，动态调整绿灯时长，以达到整个区域路网的通行效率最优。

杭州“城市大脑”项目是这一技术的著名真实应用案例。该项目由阿里巴巴集团与杭州市政府合作推出，确实应用了强化学习等人工智能技术。

通过对城市交通的全局实时分析，系统能够动态调控众多个路口的信号灯，优化交通流量。据报道，该系统在部分试点区域使车辆通行速度大幅提升，并缩短了应急车辆（如救护车）的到达时间。

这证实了强化学习在城市级交通管理中的实际效用。

写在最后：苦涩的教训#

我们从简单通用的 MLP，走到为特定数据（如图像、序列）精心设计了“归纳偏置”的 CNN、RNN，试图为模型“指明方向”；而到了 Transformer 的时代，似乎又在向更通用的架构回归。

强化学习的基础框架，其核心的学习与搜索思想，本身也蕴含着这种通用性。

这背后是否隐藏着某种规律？我们是该继续为智能体精心设计“引导”，还是应该更多地相信“通用学习机制”本身的力量？

这里分享一篇 Sutton 的博客文章，它可能会告诉我们答案。

“苦涩的教训（The Bitter Lesson）”是 Richard Sutton 于2019年3月13日发表在其个人网站“Incomplete Ideas”上的一篇影响深远的博客文章。

文章的核心思想是，回顾人工智能七十年的发展史，可以得出一个明确的结论：

那些充分利用计算能力的通用方法，最终总是以巨大优势胜出。

Sutton 用一系列历史案例来支撑这一观点：

计算机象棋与围棋： 在国际象棋中击败世界冠军卡斯帕罗夫的，是基于大规模深度搜索的方法“深蓝”，而非当时研究者们偏爱的、注入了人类象棋理解的策略。这种暴力搜索的方法在当时并未完全服众。20年后，在围棋领域，AlphaGo 靠使用海量算力自我对弈学习的方式，用“棋感”替代了完全的暴力搜索，表现超越了人类，这一做法也在国际象棋中复现。
语音与视觉识别： 在20世纪70年代的语音识别竞赛中，基于统计和大量计算的隐马尔可夫模型（HMMs）战胜了依赖人类声学知识（如音素、声道）的方法。同样，在计算机视觉领域，早期基于边缘、广义圆柱体或 SIFT 特征的方法，如今已被表现更佳、仅使用卷积和不变性等通用概念的深度神经网络所取代。

这篇文章之所以用“苦涩”来命名，是因为它揭示了一种令人不适的模式：

研究者们总是倾向于将自己对世界的理解和思考方式构建到模型中，这种做法在短期内确实有效，也能带来个人满足感。

然而，从长远来看，这种依赖人类知识的方法会遭遇瓶颈，甚至阻碍进步，最终被那些基于大规模计算的、更通用的方法所超越。

Sutton 总结道，尽管这与我们天生倾向的人类中心视角冲突，但我们应该吸取这样“苦涩的教训”：

通用方法的巨大力量： 我们必须认识到通用方法的威力，它们能随着计算能力的增长而持续扩展。在人工智能领域，能够以这种方式无限扩展的两种核心方法就是搜索和学习。
心智内容的极端复杂性： 我们应该承认，心智的实际内容是“极其、无可救药地复杂的”。因此，我们不应再试图将我们对空间、物体等内容的简单理解内置于系统中，而应该致力于创造能够自行发现并捕捉这种任意复杂性的“元方法”（Meta-methods）。最终的目标是能像我们一样去发现的 AI 智能体，而不是包含了我们已经发现的东西的智能体。

LLM，强化学习，我们怎么到达 AGI？#

LLM 是不是通往智能的正确路径？

关于这个问题的讨论从 LLM 展现出“通用能力”以来甚嚣尘上，一派观点认为智能是一种涌现现象，持续扩大模型规模、数据量和计算量，更高级、更通用的智能能力就会自然而然涌现出来，并且现实中模型的性能表现也确实符合这一规律。

语言本就是人类发展智能的交互界面，互联网上的人类语言数据包含了关于物理世界、社会规则、人类心理等一切事物的间接编码，“语言即世界”的哲学观念也为这一路径提供了理论支持。

然而 Sutton 在近期的一场播客中（以及长期以来）表示对于 LLM 的方式能走向“AGI”不看好。

这是因为 LLM 做法与强化学习所要求的互动和直接的经验总结不匹配：LLM 没有自己的“世界模型”，而是尝试复制“人类的世界模型”；LLM 没有直接地与世界交互，这意味着它虽然能说出合理的话，但不真正理解用手触碰刚烧开的水壶是什么概念。

LLM 的支持者认为，LLM 可以作为后续（更符合 Sutton 描述的）学习过程的“先验知识”。

而 Sutton 不同意这一点。他引用自己写的“苦涩的教训”，这个教训是指，利用海量计算的、可扩展的通用方法，最终总是胜过那些依赖人类知识的方法。

LLM 确实利用了海量计算，但它归根结底依赖人类生成、总结的数据。把这作为基础，会是一个错误的开端。

但 Andrej Karpathy（曾任特斯拉 AI 总监和 OpenAI 的创始成员）在同一个播客频道后续的内容中，却表达了不同的看法。

他认同了 Sutton 的部分表述：“苦涩的教训”已经成为圈子里的“圣经”，研究者们不断叩问，自己的方法是否足够符合“苦涩的教训”，也就是从海量计算的通用方法，而不是从人类认知中获益。

他解读 Sutton 的观点为：就像 Sutton 的自我描述，是“古典主义”的。这些观点描述了非常不同的一种架构，而 LLM 的做法与这个架构多有冲突。

比如 LLM 的预训练和监督微调——动物当然也会观察演示，但它们并不像 LLM 一样被强制模仿。

没有人类数据监督的 AlphaZero 表现超越人类数据参与的 AlphaGo，这确实符合“苦涩的教训”所描述的规律。

然而 Karpathy 指出，棋类游戏与更复杂的人类智能和复杂现实依然有差异。

他还举了斑马的例子，小斑马刚出生几十分钟后就能够跟随母亲一起奔跑，这是一项高度复杂的能力，不是由强化学习赋予的——否则从随机的肌肉抽动开始学习，小斑马根本活不下来——这项能力更像是由进化基因而不是学习提供的。

Karpathy 更从务实的角度出发，他把 LLM 的预训练比作一种蹩脚的进化。

因此把互联网数据作为“软约束”是一种很好的冷启动方案，现在最前沿的 LLM 实验室正是这么做的。

Karpathy 认为，从动物身上找寻灵感是值得的，LLM 仍然缺乏一些动物具备的强大能力，“苦涩的教训”依然是正确的，但更多地被视作一种理想化的追求，实践中可以有不同的选择。

作者信息与参考来源#

李国隆
本科毕业于山东大学，现为深圳大学城市空间信息工程系，2023级人工智能专业硕士研究生。
研究方向：GeoAI、Geospatial Data Representation Learning。

肖智雄
深圳大学城市空间信息工程系，2023级测绘工程专业硕士研究生。
研究方向：GeoAI、强化学习与城市规划。

李秉函
本科毕业于武汉大学，现为深圳大学城市空间信息工程系，2024级测绘工程专业硕士研究生。
研究方向：GeoAI、POI重分类。

本章节由李国隆、肖智雄、李秉函负责编写，含 AI 工具辅助，文中所用插图部分来源于网络。

封面图片由即梦 AI 合成，prompt 为：

在一个由旋转星云和流动数据构成的未来感世界里，一个机器人正在探索学习的核心。它周围漂浮着多个半透明的卷轴，每个卷轴上都呈现出经典的迷宫或寻宝地图，象征着强化学习中的探索与决策过程。某些卷轴上，路径探索最终中断，闪烁着代表失败的红色光芒；而机器人高举的卷轴上，一条通路被成功点亮，发出代表成功的金色光芒，象征着它在无数次失败后终于找到了正确的解法。旁边，它的同伴安静地观察，面前摊开一本发光的古老书籍，似乎在将书本的理论知识与“学习者”的实践经验进行对比。

参考来源#

The Bitter Lesson — Richard Sutton (2019)
Andrew Ng: Opportunities in AI (2023)
Dwarkesh播客：Richard Sutton — Father of RL thinks LLMs are a dead end
Dwarkesh播客：Andrej Karpathy — “We’re summoning ghosts, not building animals”
Sutton, R. S., & Barto, A. G. (1998). Reinforcement learning: An introduction (Vol. 1). MIT Press, Cambridge.
Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., Zhu, Q., Xu, R., Zhang, R., Ma, S., & Bi, X. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature, 645(8081), 633–638.
Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D., & Riedmiller, M. (2013). Playing Atari with deep reinforcement learning. arXiv preprint arXiv:1312.5602.
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., Graves, A., Riedmiller, M., Fidjeland, A. K., & Ostrovski, G. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529–533.
Zheng, Y., Lin, Y., Zhao, L., Wu, T., Jin, D., & Li, Y. (2023). Spatial planning of urban communities via deep reinforcement learning. Nature Computational Science, 3(9), 748–762.
Lai, X., Yang, Z., Xie, J., & Liu, Y. (2024). Reinforcement learning in transportation research: Frontiers and future directions. Multimodal Transportation, 3(4), 100164.
Zheng, Y., Su, H., Ding, J., Jin, D., & Li, Y. (2023, August). Road planning for slums via deep reinforcement learning. In Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (pp. 5695–5706).
Liang, H., Wang, S., Li, H., Zhou, L., Chen, H., Zhang, X., & Chen, X. (2024). Sponet: Solve spatial optimization problem using deep reinforcement learning for urban spatial decision analysis. International Journal of Digital Earth, 17(1), 2299211.
Zhong, Y., Wang, S., Liang, H., Wang, Z., Zhang, X., Chen, X., & Su, C. (2024). ReCovNet: Reinforcement learning with covering information for solving maximal coverage billboards location problem. International Journal of Applied Earth Observation and Geoinformation, 128, 103710.
Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction. MIT Press.
Arulkumaran, K., Deisenroth, M. P., Brundage, M., & Bharath, A. A. (2017). Deep reinforcement learning: A brief survey. IEEE Signal Processing Magazine, 34(6), 26–38.
王中, & 曹凯. (2024). 耦合改进图注意力网络与深度强化学习的公共服务设施智能化选址方法. 地球信息科学学报, 26(11), 2452.