Sarsa算法实战：从零构建安全导向的强化学习智能体

在强化学习的世界里，Q-learning常常被视为入门首选，但很多初学者忽略了另一个同样重要且在某些场景下表现更优的算法——Sarsa。与Q-learning追求最大回报的"冒险精神"不同，Sarsa更像是一位谨慎的决策者，特别适合那些需要规避高风险的应用场景。本文将带你用Python实现一个完整的Sarsa智能体，并通过经典的"悬崖寻路"环境直观展示其与Q-learning的行为差异。

1. 为什么选择Sarsa？理解On-policy的核心优势

Sarsa全称State-Action-Reward-State-Action，是一种典型的On-policy算法。这意味着它学习和优化的是当前正在执行的策略，而非像Q-learning那样学习一个理想化的最优策略。这种特性带来了几个关键优势：

• 安全性优先：在更新Q值时考虑实际要采取的行动，而非理论上的最优行动
• 策略一致性：学习过程中不存在策略"分裂"问题，行为策略和目标策略始终一致
• 风险规避：特别适合机器人控制、自动驾驶等容错率低的场景

让我们通过一个简单的对比表来直观感受两者的区别：

2. 环境搭建：悬崖寻路问题解析

为了具体展示Sarsa的特性，我们选择OpenAI Gym中的"CliffWalking"环境。这个4x12的网格世界包含：

• 起始点：左下角(3, 0)
• 目标点：右下角(3, 11)
• 悬崖区域：第3行除起点和终点的所有格子

智能体每走一步获得-1奖励，掉下悬崖获得-100奖励并回到起点。以下是环境初始化代码：

import numpy as np import gym env = gym.make('CliffWalking-v0') state = env.reset() print(f"初始状态: {state}") print(f"动作空间: {env.action_space}") print(f"状态空间: {env.observation_space}")

环境中的动作对应关系：

• 0：上
• 1：右
• 2：下
• 3：左

3. Sarsa算法实现详解

3.1 Q表初始化与参数设置

Sarsa采用表格法存储状态-动作值，我们先初始化Q表并设置关键参数：

# 初始化Q表 q_table = np.zeros((env.observation_space.n, env.action_space.n)) # 超参数设置 alpha = 0.1 # 学习率 gamma = 0.99 # 折扣因子 epsilon = 0.1 # 探索率 episodes = 1000 # 训练轮数

3.2 核心训练逻辑实现

下面是Sarsa算法的完整训练流程，注意与Q-learning的关键区别在于更新规则：

for episode in range(episodes): state = env.reset() done = False # 选择初始动作 if np.random.uniform(0, 1) < epsilon: action = env.action_space.sample() # 探索 else: action = np.argmax(q_table[state]) # 利用 while not done: # 执行动作，观察新状态和奖励 next_state, reward, done, _ = env.step(action) # 选择下一个动作(Sarsa关键区别点) if np.random.uniform(0, 1) < epsilon: next_action = env.action_space.sample() else: next_action = np.argmax(q_table[next_state]) # Sarsa更新公式 current_q = q_table[state, action] next_q = q_table[next_state, next_action] q_table[state, action] = current_q + alpha * (reward + gamma * next_q - current_q) # 转移到下一个状态 state, action = next_state, next_action

3.3 策略可视化与效果评估

训练完成后，我们可以可视化学习到的策略：

def visualize_policy(q_table): policy = np.argmax(q_table, axis=1).reshape(4, 12) arrows = {0: "↑", 1: "→", 2: "↓", 3: "←"} for row in policy: print(" ".join([arrows[action] for action in row])) visualize_policy(q_table)

典型输出示例：

→ → → → → → → → → → → ↓ → → → → → → → → → → → ↓ → → → → → → → → → → → ↓ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ →

可以看到Sarsa倾向于选择远离悬崖的安全路径，即使这条路可能更长。

4. Sarsa与Q-learning的实战对比

4.1 代码层面的关键差异

两者主要区别体现在Q值更新部分：

# Q-learning更新规则 max_next_q = np.max(q_table[next_state]) q_table[state, action] += alpha * (reward + gamma * max_next_q - current_q) # Sarsa更新规则 next_action = np.argmax(q_table[next_state]) # 实际会采取的动作 next_q = q_table[next_state, next_action] q_table[state, action] += alpha * (reward + gamma * next_q - current_q)

4.2 性能指标对比

我们在相同环境下训练两种算法，统计100次测试的平均表现：

4.3 策略行为分析

在悬崖环境中，两种算法表现出明显不同的策略特性：

• Q-learning：

  • 倾向于选择理论上的最短路径
  • 靠近悬崖边缘行走
  • 偶尔会因为探索或噪声掉下悬崖

• Sarsa：

  • 主动避开悬崖边缘
  • 选择更安全的内部路径
  • 几乎不会掉下悬崖

5. 高级技巧与工程实践

5.1 参数调优指南

根据经验，Sarsa对参数选择较为敏感，以下是调优建议：

1. 学习率(α)：

   • 初始建议：0.1
   • 动态调整：随着训练进行线性衰减
   • 公式：alpha = max(0.01, alpha * 0.995)

2. 探索率(ε)：

   • 高风险环境：0.05-0.1
   • 一般环境：0.1-0.2
   • 衰减策略：指数衰减效果较好

3. 折扣因子(γ)：

   • 短期任务：0.9
   • 长期任务：0.99
   • 风险敏感任务：适当降低

5.2 经验回放的替代方案

虽然Sarsa不能直接使用经验回放，但可以采用以下替代方法：

# 使用近期经验缓冲 experience_buffer = [] buffer_size = 100 # 在训练循环中 experience_buffer.append((state, action, reward, next_state, next_action)) if len(experience_buffer) > buffer_size: experience_buffer.pop(0) # 从缓冲中随机采样进行更新 batch = random.sample(experience_buffer, min(32, len(experience_buffer))) for s, a, r, ns, na in batch: # 正常Sarsa更新 ...

5.3 结合神经网络实现

对于大规模状态空间，可以使用神经网络近似Q函数：

import torch import torch.nn as nn class SarsaNetwork(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.fc1 = nn.Linear(state_dim, 64) self.fc2 = nn.Linear(64, 64) self.fc3 = nn.Linear(64, action_dim) def forward(self, x): x = torch.relu(self.fc1(x)) x = torch.relu(self.fc2(x)) return self.fc3(x)

训练时需要注意：

• 使用当前策略生成的动作进行更新
• 保持足够的探索
• 适当减小学习率

在实际项目中，Sarsa的这种保守特性曾帮助我们在工业机器人控制系统中避免了多次潜在的危险动作。当系统需要在狭窄空间操作时，Sarsa学习到的策略会主动保持安全距离，而Q-learning则偶尔会导致机械臂过于接近障碍物。