强化学习中的蒙特卡洛方法

摘要：强化学习中的蒙特卡洛方法通过与环境交互的经验片段进行学习，无需先验知识。该方法通过重复采样估算状态或动作价值，包括在线策略和离线策略两种方式。蒙特卡洛控制算法通过改进动作价值函数优化策略，适用于游戏、机器人及金融等领域。但其存在高方差、长片段效率低等局限性，在大规模状态空间学习较慢。

强化学习中的蒙特卡洛方法

什么是蒙特卡洛方法？

蒙特卡洛方法的核心概念

蒙特卡洛策略评估

评估的分步流程

在线策略方法与离线策略方法

在线策略方法

离线策略方法

蒙特卡洛控制

蒙特卡洛控制算法

蒙特卡洛方法的应用

蒙特卡洛方法的局限性

强化学习中的蒙特卡洛方法无需马尔可夫决策过程（MDP）转移的先验知识，直接从智能体与环境交互过程中获取的经验片段（episode）中学习。

在强化学习中，蒙特卡洛方法是一类算法，用于基于真实经验或采样轨迹来估计状态、动作或状态 - 动作组合的价值。其核心思想是通过重复随机采样，对难以通过解析方法求解的数值进行估算。

以下是蒙特卡洛方法中常用的关键术语定义：

蒙特卡洛方法通过对多个经验片段的回报取平均值，来计算状态或动作的价值。其基本流程包括模拟一个或多个经验片段，并利用这些结果更新价值函数。

对于给定状态 s，状态价值 V (s) 的蒙特卡洛估计公式为：V (s) = (1/N) × Σ（从 i=1 到 N）Gᵢ

其中：

每个经验片段都会包含一系列状态和奖励。根据定义，我们可以计算每个状态（或状态 - 动作对）的回报，即所有未来奖励的总和。

蒙特卡洛方法的分步执行流程如下：

在蒙特卡洛方法中，可根据生成经验片段所使用的策略与待优化的策略是否一致，来区分在线策略（On-Policy）方法和离线策略（Off-Policy）方法。

生成经验片段的策略与当前正在评估和优化的策略完全一致。这意味着智能体仅从自身根据当前策略执行动作所产生的经验中学习。

例如，首次访问蒙特卡洛法（First-Visit Monte Carlo）：仅使用状态在经验片段中第一次出现时的回报来更新价值估计。

生成经验片段的策略可以与待优化的策略不同。这使得智能体能够从任意策略生成的轨迹中学习，而非局限于目标优化策略。

例如，当经验片段由与目标策略不同的行为策略生成时，可以通过采样调整价值函数的更新过程。

蒙特卡洛控制算法的目标是在估计价值函数的同时，迭代地改进策略。主要通过以下方式实现：

蒙特卡洛探索：强化学习的核心挑战之一是平衡探索（exploration）与利用（exploitation）。蒙特卡洛方法采用 ε- 贪婪（epsilon-greedy）或 SoftMax 等探索策略，在从收集的经验中学习的过程中促进探索。
蒙特卡洛控制核心：通过改进动作价值函数 Q (s, a) 来优化策略 ——Q (s, a) 表示在状态 s 下执行动作 a 后所能获得的期望奖励。

蒙特卡洛控制的算法流程如下：

初始化所有状态 - 动作对的 Q (s, a) 值以及策略 π(s)。
对于每个经验片段，遵循策略 π 生成状态 - 奖励 - 动作序列。
计算该经验片段中每个状态 - 动作对（s, a）的回报 Gₜ。
利用每个状态 - 动作对的回报 Gₜ的平均值更新 Q (s, a)：Q (s, a) = Q (s, a) + α × (Gₜ - Q (s, a))（其中 α 为学习率）
通过选择使 Q (s, a) 最大化的动作 a，改进策略 π(s)。
迭代重复上述过程，直至策略得到改进并收敛至最优策略。