1. 项目概述：当强化学习遇上传统控制

四旋翼飞行器的控制一直是自动控制领域的经典课题。传统的PD（比例-微分）控制器因其结构简单、易于实现而被广泛应用，但在面对复杂环境扰动或非线性动态时，固定参数的PD控制器往往表现乏力。这正是我们引入深度确定性策略梯度（DDPG）算法的出发点——通过强化学习动态优化PD控制参数，让飞行器在变化环境中始终保持最佳控制性能。

我在无人机控制系统开发中多次遇到这样的场景：精心调参的PD控制器在实验室表现完美，一旦到户外遇到风扰就出现明显超调。DDPG的独特价值在于它能通过与环境持续交互，自主发现参数调整策略。这种"学习型控制器"的思路，正是当前智能控制领域最前沿的探索方向。

2. 核心架构设计

2.1 系统整体框架

我们的混合控制系统采用双环结构：

[状态观测] → [DDPG智能体] → [PD参数调整] → [执行机构] ↑_________[环境反馈]_________↓

内环是传统PD控制器，负责快速响应；外环是DDPG智能体，持续评估控制效果并优化参数。这种架构既保留了PD控制的实时性，又获得了强化学习的适应能力。

2.2 状态空间设计

四旋翼的状态表示需要包含足够信息又不至于冗余：

state = [x, y, z, roll, pitch, yaw, vx, vy, vz, wx, wy, wz];

其中位置、姿态各3个维度，加上对应的线速度和角速度。这种12维状态空间在实践中被证明能有效表征飞行动态。

2.3 动作空间定义

DDPG输出的是PD参数的调整量而非直接控制量：

action = [ΔKp_x, ΔKd_x, ΔKp_y, ΔKd_y, ΔKp_z, ΔKd_z];

这种设计确保系统始终工作在PD控制框架内，安全性更有保障。

3. Matlab实现详解

3.1 环境建模

使用Simulink搭建飞行器动力学模型：

% 六自由度刚体模型 quadcopter = multicopterModel; quadcopter.Mass = 1.2; % 千克 quadcopter.Inertia = diag([0.03, 0.03, 0.04]); % 惯性矩

3.2 智能体构建

强化学习工具箱提供了完整的DDPG实现：

% 演员网络（全连接层） actorNetwork = [ featureInputLayer(12) fullyConnectedLayer(128) reluLayer fullyConnectedLayer(64) reluLayer fullyConnectedLayer(6) tanhLayer]; % 输出归一化到[-1,1] % 评论家网络（合并状态和动作） criticNetwork = [ featureInputLayer(12,'Name','state') fullyConnectedLayer(128) reluLayer concatenationLayer(1,2,'Name','concat') fullyConnectedLayer(64) reluLayer fullyConnectedLayer(1)];

3.3 训练参数配置

关键训练参数需要精心调整：

opt = rlDDPGAgentOptions; opt.SampleTime = 0.01; % 10ms控制周期 opt.DiscountFactor = 0.99; % 长期回报系数 opt.TargetSmoothFactor = 1e-3; % 目标网络更新率 opt.NoiseOptions.Variance = 0.1; % 探索噪声

4. 实战技巧与避坑指南

4.1 奖励函数设计

好的奖励函数需要平衡多个控制目标：

function reward = calculateReward(state, action) % 位置误差惩罚 pos_error = norm(state(1:3) - target_pos); % 姿态稳定奖励 attitude_stability = 1/(1 + norm(state(4:6))); % 控制量惩罚（防止过大动作） control_penalty = 0.01*norm(action); reward = -pos_error + attitude_stability - control_penalty; end

4.2 训练加速技巧

• 课程学习：先从简单任务（如悬停）开始训练，逐步增加难度
• 并行采样：使用parfor并行运行多个环境实例
• 经验回放：设置足够大的经验缓冲区（至少1e6条记录）

4.3 常见问题排查

1. 训练发散：

   • 检查奖励函数是否出现NaN
   • 降低学习率（尝试1e-4到1e-5）
   • 增加目标网络更新周期

2. 收敛速度慢：

   • 增加噪声方差促进探索
   • 检查状态归一化是否合理
   • 尝试优先经验回放（Prioritized Experience Replay）

3. 实际部署震荡：

   • 在仿真中加入执行器延迟模型
   • 限制参数调整幅度（如每次ΔKp不超过10%）
   • 添加低通滤波器平滑输出

5. 性能评估与对比

我们在三种场景下测试了混合控制器的表现：

（ISE：积分平方误差，数值越小性能越好）

实测发现DDPG-PD在应对扰动时展现出明显优势。特别是在突风测试中，传统PD需要约2秒恢复稳定，而DDPG-PD能在0.5秒内重新稳定。

6. 进阶优化方向

对于追求更高性能的开发者，可以考虑：

1. 混合观测输入：加入IMU噪声模型和延迟补偿
2. 分层强化学习：上层规划轨迹，下层执行控制
3. 在线学习机制：在真实飞行中持续微调网络参数
4. 多智能体协同：多个飞行器的协同控制

我在最近的项目中还尝试了结合L1自适应控制的方案，发现能进一步提升抗扰能力。具体做法是在DDPG输出后增加一个快速环路补偿器，这个技巧对要求高动态性能的场景特别有效。