多人强化学习

Gradient

Counterfactual multi-agent policy gradients

这里有个后面流传很广的算法：COMA(counterfactual multu-agent)
文中有提到最简单的policy gradient的形式是Reinforce，公式如下：
∇_θ J(θ) = E_{τ~π_θ} [∑_t=0^T ∇_θ log π_θ(a_t | s_t) G_t ]

∇_θ J(θ): 这是 objective function J(θ) 对 policy 参数 θ 的 gradient。 Objective function 通常就是 expected cumulative discounted reward，说白了就是agent期望获得的总回报。
E_{τ~π_θ}: 这是对 trajectories τ 的 expectation，这些 trajectories 是根据 policy π_θ sample 出来的。Trajectory 就是 agent 和 environment 交互过程中的一串 states, actions, and rewards。
∑_t=0^T: 这是对 trajectory里所有 time steps t 的 summation，从 initial time step 0 到 final time step T。
∇_θ log π_θ(a_t | s_t): 这是 policy π_θ 在 state s_t 采取 action a_t 的 log probability 的 gradient。这个term capture了 policy parameters 是如何 influence action selection 的。
G_t: 这是 return，也就是从 time step t 开始的 cumulative discounted reward。计算公式是 G_t = ∑_k=0^∞ γ^k r_t+k+1， γ 是 discount factor (0 < γ ≤ 1)，决定了 future rewards 的重要性。

它用 Monte Carlo sampling 来 estimate expected return，所以 gradient estimates 的 variance 会比较高

传统的 Actor-Critic:

一个 shared critic 给所有 agents 提供 value function。
所有 agents 的 actions 都会影响这个 shared critic。

Independent Actor-Critic (IAC):

每个 agent 都有自己的 critic，只evaluate 自己的 actions。
Critic 不受其他 agents 的 actions 影响，更 focused，学习效率更高。
避免了 “credit assignment” 问题，每个 agent 的贡献更容易被 evaluate。
优点:
学习效率高：每个 critic 只关注自己的 agent，学习起来更 focused，更快。
Scalability 好：适用于 large-scale multi-agent systems，agents 多了也不怕。
Robustness 强：一个 agent 坏了，不会影响其他 agents 的 learning。
缺点:
可能会忽略 agents 之间的 cooperation：因为每个 agent 只顾自己，可能会导致 overall performance 不 optimal。
有些情况下，shared critic 反而更有利于学习 complex interactions。
总的来说，IAC 是一种很 practical 的 multi-agent reinforcement learning 方法，特别适合那些 agents 之间 interaction 比较少，或者 scalability 很重要的场景。

COMA:

它用一个 centralized critic 来评估所有 agents 的 actions。
然后，它用 “反事实基线” 来计算每个 agent 的 advantage function。这个 “反事实基线” 就是假设这个 agent 不存在，其他 agents 行动不变，最终得到的 reward。
通过比较 agent 的实际 reward 和 “反事实基线”，就能更准确地评估 agent 的贡献，从而更好地更新 policy。

Centralized Critic: COMA 使用一个 centralized critic 来估计 Q-function。这个 critic 可以观察到所有 agents 的状态和动作，从而更准确地估计 Q-function。
Counterfactual Baseline: COMA 使用一个 “反事实基线” 来计算 advantage function。这个基线是假设某个 agent 不存在，其他 agents 的 actions 不变的情况下，得到的 expected return。
Monte Carlo Estimation: COMA 使用 Monte Carlo 方法来估计 Q-function 和 “反事实基线”。
- policy network可以根据当前状态输出一个概率分布，然后从这个分布中采样 action （To be dived…）
Advantage Function: COMA 计算每个 agent 的 advantage function，用于更新 policy。