1. 项目概述：当Simulink遇上强化学习设计器

如果你已经跟着这个系列走过了前面四篇，用MATLAB的强化学习工具箱写了不少脚本，也调了不少算法，那你可能会觉得，强化学习好像总是在一个“黑盒子”里训练——我们定义环境、设计奖励、跑训练循环，然后等着看结果。但很多实际问题，尤其是工程控制领域，其核心模型往往是用Simulink搭建的。一个电机、一辆车、一个机器人，它们的动力学模型在Simulink里被描绘得栩栩如生。这时候，一个很自然的想法就冒出来了：能不能让我训练好的智能体，直接去控制这个Simulink模型？或者更进一步，能不能直接在Simulink的环境里训练我的智能体？

这就是我们这次要啃的硬骨头：Simulink与强化学习设计器的联合使用。这不仅仅是把两个工具简单地连起来，它代表了一种更贴近工程实践的开发范式。想象一下，你有一个用Simulink精心搭建的倒立摆模型，里面包含了真实的电机特性、摩擦力和传感器噪声。现在，你想训练一个智能体来平衡这个摆。传统方法可能需要你把模型导出成一组微分方程，再在MATLAB脚本里重新实现环境接口，过程繁琐且容易出错。而Simulink+强化学习设计器的组合，让你能直接在熟悉的Simulink框图里定义强化学习环境，利用设计器可视化地配置和训练智能体，最后还能把训练好的策略部署回Simulink进行实时仿真或代码生成。这不仅仅是方便，更是保证了从模型到算法再到实现的一致性。

对于控制工程师、机器人学研究者，或者任何需要将AI决策嵌入到动态系统中的朋友来说，掌握这套流程至关重要。它打通了模型驱动设计与数据驱动学习之间的壁垒。接下来，我们就一步步拆解，如何从零开始，搭建起这座桥梁。

2. 核心思路与架构设计

2.1 为什么是Simulink环境？

在深入操作之前，我们必须先理解一个核心概念：在MATLAB强化学习框架下，Simulink模型本身可以作为一个“环境”。这与我们之前用函数（如rlFunctionEnv）或自定义类（继承rl.env.MATLABEnvironment）创建的环境，在本质上是一样的，都需要实现与智能体交互的标准接口：接收动作，返回新的观测、奖励和终止信号。

那么，用Simulink作为环境有什么独特优势？

1. 保真度与复杂性：Simulink擅长建模复杂的连续动力学系统、混合信号系统（模拟+数字）以及包含现成模块（如Simscape物理模型、电机驱动库）的系统。你可以轻松构建一个包含齿轮间隙、饱和非线性、传输延迟的高保真模型，这是用纯代码难以高效实现的。
2. 可视化与调试：整个系统的状态流、信号流向一目了然。你可以在仿真过程中实时观察任何一个中间变量，这对于调试奖励函数设计（比如，某个惩罚项为什么突然激增）或理解智能体行为至关重要。
3. 与现有工作流集成：许多工业研发流程本身就建立在Simulink模型之上。直接利用这些模型作为训练环境，避免了重复建模，也使得训练出的智能体能够无缝对接后续的硬件在环（HIL）测试或自动代码生成。
4. 便于集成外部工具：通过Simulink可以方便地与Carsim、Unity等第三方高精度仿真器进行联合仿真，为智能体提供极度逼真的训练场。

其核心架构是这样的：你的Simulink模型中，需要明确标出哪些信号是给智能体的观测，哪些信号是接收智能体发出的动作，以及如何计算奖励和判断终止条件。MATLAB强化学习工具箱会通过一个特殊的接口模块，在仿真运行时与这个模型进行交互，驱动整个训练过程。

2.2 强化学习设计器的角色定位

“强化学习设计器”是一个图形化App，它把我们之前用命令行完成的许多工作（如创建环境、定义智能体、设置训练参数、启动训练、评估策略）都集成到了一个界面里。当环境是Simulink模型时，设计器的作用更加突出：

• 环境集成向导：它提供了一个直观的流程，引导你从Simulink模型中提取观测和动作信号，并定义奖励和终止逻辑。
• 集中化管理：你可以在一个界面里管理多个智能体配置、训练进度和结果对比，而无需在多个脚本文件之间切换。
• 可视化训练：实时绘制训练进度图，如回合奖励、平均步长等，帮助直观判断收敛情况。
• 策略评估与部署：训练完成后，可以直接在设计器里仿真评估智能体性能，并一键生成MATLAB脚本或函数，将训练好的策略固化下来，方便集成到更大的系统中。

简单说，Simulink提供了高保真的“物理世界”，强化学习设计器提供了管理这个“世界”并训练“驾驶员”的“控制中心”。我们的任务，就是正确地连接这两者。

2.3 典型工作流程预览

在动手前，我们先俯瞰整个流程，做到心中有图：

1. 准备Simulink模型：确保你的被控对象模型是正确且可运行的。明确系统的输入（动作）和输出（观测）。
2. 创建强化学习环境：利用rlSimulinkEnv函数或在设计器中，将Simulink模型封装成一个强化学习环境对象。
3. 定义观测与动作空间：详细描述观测信号的维度、数据类型和范围，以及动作信号的维度、类型（连续或离散）和范围。
4. 在模型中嵌入奖励与终止逻辑：在Simulink模型中，通过模块组合（如加减乘除、逻辑判断、积分器）计算出每一步的奖励和是否终止的信号。
5. 使用强化学习设计器：导入创建好的环境，创建或选择智能体（如DDPG, PPO, DQN），配置训练参数，启动训练。
6. 训练与监控：在设计器中监控训练过程，根据需要调整超参数。
7. 评估与导出：训练完成后，在设计器或Simulink中测试智能体性能，并导出训练好的策略模块，用于独立仿真或代码生成。

3. 从Simulink模型创建RL环境详解

3.1 模型准备与接口信号定义

假设我们有一个经典的小车爬坡模型。任务是小车需要控制其电机力，在有限的距离内，将一个倒立摆平衡在竖直位置。我们在Simulink中已经搭建好了小车的动力学模型。

第一步，也是最重要的一步，是在Simulink模型中显式地标记出强化学习接口信号。这通常通过添加“信号线标签”或使用“From/Goto”模块来实现，但更规范的做法是使用Simulink Bus来组织数据。不过，对于入门，我们先从最直接的方式开始。

在你的模型中，你需要：

1. 动作信号：找到智能体输出动作的地方。比如，控制电机力的信号线。在这条信号线上右键，选择Properties，在Signal name字段给它起一个明确的名字，例如action或force。确保这个信号是模型的一个输入（可能来自一个Constant模块，稍后会被替换）。
2. 观测信号：找出所有智能体需要感知的状态。对于倒立摆，这可能包括小车位置x、小车速度x_dot、摆杆角度theta、摆杆角速度theta_dot。同样，给这些信号线命名，如obs_x,obs_x_dot等。观测通常来自模型的输出（如Integrator模块的输出）。
3. 奖励信号：你需要设计一个子系统来计算每一步的即时奖励。奖励函数的设计是强化学习的灵魂。对于平衡任务，一个常见的奖励是：r = -(0.1*x^2 + theta^2 + 0.01*force^2)，即惩罚偏离中心的位置、大的角度和大的控制力（耗能）。在Simulink中用Math Operations模块实现这个计算，并将其输出信号命名为reward。
4. 终止信号：定义一个逻辑条件来判断回合是否结束。例如，当摆杆角度超过某个阈值（如±15度），或者小车跑出轨道边界时，回合终止。使用Relational Operator和Logical Operator模块生成一个布尔信号，命名为isDone。

注意：奖励reward和终止isDone信号必须是标量。观测和动作可以是向量。所有接口信号最好在模型顶层引出，方便后续识别。

3.2 使用rlSimulinkEnv函数创建环境

当模型接口信号准备好后，我们就可以在MATLAB命令行或脚本中创建环境了。核心函数是rlSimulinkEnv。

% 假设模型文件名为 ‘cartpole.slx’ mdl = ‘cartpole’; % 1. 定义观测信息 % obsInfo 是一个 rlNumericSpec 对象或对象数组，描述观测空间 % 假设我们有4个观测，都是连续值，范围理论上无限，但我们可以根据物理意义设定合理范围 obsInfo = rlNumericSpec([4 1]); % 4行1列的向量 % 可以为每个观测设置名称（可选，但有助于调试） obsInfo.Name = ‘cartpole_observations’; % 也可以设置范围，例如位置在[-2.4, 2.4]，角度在[-pi, pi]等，但这更多是用于归一化提示，不影响模型内部运行 % obsInfo.LowerLimit = [-2.4; -Inf; -pi; -Inf]; % obsInfo.UpperLimit = [2.4; Inf; pi; Inf]; % 2. 定义动作信息 % 假设动作是施加在小车上的连续力 actInfo = rlNumericSpec([1 1]); % 1维连续动作 actInfo.Name = ‘force’; % 设置力的范围，例如 -10N 到 10N actInfo.LowerLimit = -10; actInfo.UpperLimit = 10; % 3. 定义Simulink模型中对应信号块的路径 % 这些路径是Simulink模型中对应模块的完整块路径 % 观测信号：通常连接到一个 ‘RL Agent’ 模块的 ‘observation’ 端口，或者来自一组 ‘Outport’ 模块。 % 这里假设我们在模型顶层放了4个Outport模块，名字分别为 ‘obs1’, ‘obs2’, ‘obs3’, ‘obs4’。 observationPaths = { [mdl ‘/obs1’] [mdl ‘/obs2’] [mdl ‘/obs3’] [mdl ‘/obs4’] }; % 动作信号：通常连接到一个 ‘Inport’ 模块，假设名为 ‘action_in’。 actionPaths = { [mdl ‘/action_in’] }; % 奖励信号：来自一个名为 ‘reward_calc’ 的子系统输出，或一个 ‘Outport’ 模块 ‘reward_out’。 rewardPath = [mdl ‘/reward_out’]; % 终止信号：来自一个名为 ‘isDone_logic’ 的子系统输出，或一个 ‘Outport’ 模块 ‘isDone_out’。 terminationPath = [mdl ‘/isDone_out’]; % 4. 创建Simulink环境 env = rlSimulinkEnv(mdl, observationPaths, actionPaths, rewardPath, terminationPath);

创建成功后，env就是一个标准的强化学习环境对象，可以和之前一样，用getObservationInfo(env)和getActionInfo(env)来检查其属性。

3.3 在强化学习设计器中导入Simulink环境

虽然用代码创建很灵活，但对于初学者或快速原型设计，强化学习设计器提供了更友好的图形化方式。

1. 在MATLAB Apps标签页中，找到并打开Reinforcement Learning Designer。
2. 点击New Environment。
3. 在弹出的窗口中，选择Simulink Model选项。
4. 点击Browse，选择你的.slx模型文件。
5. 设计器会自动扫描模型，尝试查找可能的观测和动作信号。它通常会列出模型中的所有Inport和Outport。你需要手动将正确的信号与观测/动作/奖励/终止角色对应起来。
   • 在Observation部分，点击加号，然后从模型浏览器或信号列表中，选择你标记为观测的那些Outport信号。
   • 在Action部分，点击加号，选择接收智能体动作的Inport信号。
   • 在Reward部分，选择输出奖励值的信号。
   • 在IsDone部分，选择输出终止布尔信号的信号。
6. 设计器会根据你选择的信号，自动推断其维度并创建obsInfo和actInfo。你可以在界面上修改它们的名称、数据类型和范围。
7. 点击Create，环境就会被创建并添加到设计器的“Environment”列表中。

实操心得：设计器的自动识别有时不准确，特别是当模型复杂时。务必仔细核对每个信号的角色。一个常见的错误是把某个内部状态误设为奖励信号，导致训练完全无法收敛。建议在Simulink模型中，为这四个关键信号使用命名清晰且独立的Outport模块，会大大减少配置错误。

4. 智能体配置与训练参数设定

4.1 为Simulink环境选择合适的智能体

环境创建好后，下一步是创建智能体。选择哪种算法（DDPG, TD3, PPO, SAC, DQN）主要取决于你的动作空间和问题特性。对于我们的连续力控制问题（连续动作空间），DDPG、TD3、PPO或SAC都是合适的选择。

在设计器中：

1. 在Agent部分，点击New Agent。
2. 选择与你环境匹配的智能体类型。由于我们的动作是连续的，选择DDPG Agent。
3. 设计器会基于环境信息（obsInfo,actInfo）自动生成智能体的Actor和Critic网络初始结构。这些默认的网络通常是带有ReLU激活函数的多层感知机。

关键步骤：调整网络结构。默认网络可能过于简单或复杂。你需要根据问题的复杂度来调整：

• 观测维度：我们的观测是4维向量，输入层大小自动匹配。
• 隐藏层：对于倒立摆这类相对简单的问题，一两层隐藏层，每层128或256个神经元通常足够。你可以在设计器的网络编辑器中修改层数和神经元数量。
• 动作维度：输出层大小自动匹配动作维度（1维），并使用tanh激活函数将输出限制在[-1,1]，然后根据actInfo的上下限进行缩放。
• Critic网络：需要将观测和动作作为输入。默认结构会处理这个连接。确保Critic网络的容量（神经元数）不小于Actor网络，以保证其有足够的能力评估状态-动作对的价值。

4.2 训练参数精细调优

点击智能体下的Training Settings，进入参数配置。这里是决定训练成败的关键。

1. 训练回合数：MaxEpisodes。对于简单任务，可以从1000开始。如果奖励曲线早早就平台期且性能满意，可以提前停止。
2. 每回合最大步数：MaxStepsPerEpisode。设置为一个足够大的值，使得智能体有充足的时间完成任务，但也不要过大以免浪费时间。对于平衡任务，可以设为500或1000。
3. 经验回放缓存：ExperienceBufferLength。通常设为1e6。确保它远大于一个回合的步数，以保证数据的多样性。
4. Mini-Batch大小：MiniBatchSize。从256开始尝试。较大的Batch训练更稳定，但更耗内存。
5. 学习率：ActorLearnRate和CriticLearnRate。这是最重要的超参数之一。通常Critic的学习率可以略高于Actor（例如，Critic: 1e-3, Actor: 1e-4）。如果训练不稳定（奖励剧烈震荡），首先尝试降低学习率。
6. 折扣因子：DiscountFactor。通常设为0.99，表示智能体更看重近期奖励。
7. 探索噪声：对于DDPG，需要配置探索噪声模型。NoiseOptions.Variance和NoiseOptions.VarianceDecayRate是关键。初始方差可以设得大一些（如0.3），并设置衰减率，让智能体在训练后期减少探索，专注于利用学到的策略。

注意事项：Simulink环境下的仿真速度通常比纯MATLAB函数环境慢，因为每一步都需要推进Simulink求解器。因此，在训练初期，不要一下子把回合数设得太大。可以先进行少量回合（如50-100回合）的试跑，观察奖励曲线趋势和单回合耗时，估算总训练时间，再调整参数。

4.3 设计有效的奖励函数与终止条件

奖励函数是智能体学习的“指挥棒”。在Simulink中实现奖励函数，给了你极大的灵活性，可以利用任何Simulink支持的数学和逻辑运算。

奖励函数设计技巧：

• 稀疏奖励与稠密奖励：对于平衡任务，使用稠密奖励（每一步都根据状态给出奖励）效果更好，能提供更丰富的学习信号。我们之前设计的-(0.1*x^2 + theta^2 + 0.01*force^2)就是一个典型的稠密奖励。
• 尺度与平衡：奖励函数中各项的系数（如0.1, 1, 0.01）需要仔细调整。目标是让不同目标的惩罚项在数值尺度上大致平衡，避免某一项主导整个奖励。可以通过观察训练初期各项的贡献度来调整。
• 使用Simulink子系统：将奖励计算逻辑封装成一个子系统，使模型更清晰。你可以在子系统中使用MATLAB Function模块嵌入更复杂的计算逻辑。

终止条件设计：

• 终止条件应清晰明确，且与任务失败紧密相关。例如，abs(theta) > deg2rad(15) | abs(x) > 2.4。
• 终止后，环境会返回isDone = true，并自动重置到初始状态，开始新的回合。
• 谨慎使用超时终止：除了失败条件，有时也设置一个最大步数作为成功终止（即坚持了足够久）。但在训练初期，主要依赖失败终止来提供负反馈。

5. 训练执行、监控与问题诊断

5.1 启动训练与实时监控

在设计器中，选中创建好的环境和智能体，点击Train按钮即可开始训练。设计器会打开一个训练进度窗口，其中包含几个关键的实时图表：

• Episode Reward：每回合的总奖励。这是最主要的监控指标。我们希望看到它的整体趋势是上升的，并且最终稳定在一个较高的水平。初期震荡剧烈是正常的。
• Average Reward：最近N个回合的平均奖励，能更好地反映整体学习趋势，平滑噪声。
• Episode Steps：每回合持续的步数。对于平衡任务，我们希望这个值越来越大，直到达到最大步数限制，说明智能体能保持平衡更长时间。
• Q0 Value：Critic网络对初始状态-动作对价值的估计。这个值通常应该随着训练逐渐上升并趋于稳定。

训练过程中，你可以随时点击Pause暂停，然后Save Agent保存中间结果。也可以修改参数后点击Resume继续训练。

5.2 常见训练问题与排查思路

在Simulink环境中训练，除了算法本身的问题，还可能遇到一些与集成相关的问题。

问题1：训练速度极慢，每一步都卡顿。

• 可能原因：Simulink仿真步长太小，或者模型本身非常复杂，求解器计算开销大。
• 排查与解决：
  • 检查Simulink模型的求解器配置。在Model Configuration Parameters中，将求解器类型（Solver type）设置为Fixed-step，并选择一个合适的固定步长（如0.01或0.05）。离散求解器（如discrete）通常比连续求解器（如ode45）更快。对于强化学习，固定步长更常见。
  • 简化模型。如果模型中有高保真但非必需的模块（如复杂的摩擦模型、详细的电力电子开关），可以考虑先用简化版本进行训练。
  • 利用加速模式。在创建rlSimulinkEnv时，可以设置UseFastRestart为on。Fast Restart模式可以避免每次仿真开始时的编译开销，显著提升训练速度。命令格式：env = rlSimulinkEnv(..., ‘UseFastRestart’, ‘on’);。在设计器中，创建环境时也有相应选项。

问题2：奖励曲线不上升，或者毫无规律地随机波动。

• 可能原因：学习率过高、网络结构不合适、奖励函数设计有误、探索噪声太大。
• 排查与解决：
  • 首先检查奖励信号：在Simulink中单独运行模型，手动给一个简单的动作信号（如正弦波），观察奖励信号reward的输出是否如你预期那样变化。确保奖励计算逻辑正确，没有出现NaN或Inf。
  • 降低学习率：这是最常用的稳定训练的手段。将Actor和Critic的学习率同时降低一个数量级（如从1e-3降到1e-4）再试。
  • 调整网络：尝试增加或减少隐藏层的神经元数量。有时更简单的网络反而更容易训练。
  • 减少探索噪声：降低NoiseOptions.Variance的初始值。
  • 检查观测归一化：如果观测值（如位置和角度）的数值范围差异巨大（位置是0.1量级，角速度是10量级），可能会给网络训练带来困难。考虑在Simulink环境中对观测信号进行归一化处理，或者使用rlNumericSpec的LowerLimit和UpperLimit进行缩放（但这更多是信息性的）。

问题3：智能体似乎“学傻了”，行为非常保守或重复单一动作。

• 可能原因：奖励函数中对于控制力force的惩罚系数过大，导致智能体倾向于输出零动作以避免惩罚；或者陷入了局部最优。
• 排查与解决：
  • 降低对force的惩罚系数（如从0.01降到0.001），鼓励智能体进行更主动的控制。
  • 增加探索噪声，或者尝试不同的随机种子重新训练。
  • 考虑使用像PPO或SAC这类在探索-利用平衡上表现更好的算法。

5.3 利用Simulink Scope进行深度调试

强化学习设计器的图表是宏观监控，而Simulink的Scope是微观诊断的利器。你可以在模型中添加多个Scope，连接到关键信号上：

• 动作信号：观察智能体输出的力是否平滑，是否有异常的突变。
• 观测信号：观察状态量的变化，看智能体是否在有效调节这些状态。
• 奖励组成：将奖励函数中的各项（位置惩罚、角度惩罚、力惩罚）分别用Scope显示，看是哪一项导致了奖励的骤降。

在训练过程中，虽然Scope不会实时更新（因为训练是后台运行的），但你可以在训练暂停或结束后，使用设计器的Simulate功能，用当前策略运行一个回合，并同时打开Scope来观察这个回合的详细信号变化。这能帮你直观理解智能体是如何做出决策的。

6. 策略评估、部署与集成

6.1 在设计与Simulink中评估训练结果

训练出一个奖励曲线看起来不错的智能体后，不要急于收工，必须进行系统性的评估。

在设计器中：

1. 选中训练好的智能体，点击Simulate。
2. 设置仿真的最大步数（比如1000步）。
3. 点击运行。设计器会调用Simulink模型，使用训练好的智能体策略运行一个或多个回合，并显示最终的回合奖励。你可以多次运行，观察其表现的稳定性。

更彻底的评估是回到Simulink环境：

1. 在设计器中，将训练好的智能体导出到MATLAB工作区（通常是一个rlAgent对象）。
2. 在Simulink模型中，你需要用一个RL Agent模块替换掉之前用于训练的动作输入源（比如那个Constant模块）。
   • 在Simulink Library Browser中，搜索RL Agent，将其拖到模型中。
   • 双击该模块，在Agent参数栏，选择你从工作区导入的智能体对象。
   • 将该模块的输出连接到原本的动作输入信号线。
   • 将该模块的观测输入端口，连接到你的观测信号。
3. 将模型的奖励和终止信号与RL Agent模块断开（在评估时不需要），或者保持连接但不影响仿真。
4. 像正常仿真一样运行Simulink模型。现在，你的智能体就在“实时”控制这个系统了。通过Scope观察系统的动态响应，这比只看一个奖励数字要直观得多。

6.2 生成可部署的策略模块

训练好的智能体本质上是一个神经网络。为了将其集成到其他系统或进行代码生成，我们需要将其“固化”。

方法一：导出为MATLAB函数设计器支持将智能体策略导出为一个MATLAB函数。这个函数以当前观测为输入，直接输出动作。你可以将这个函数封装成一个SimulinkMATLAB Function模块，嵌入到任何需要的模型中。这种方式灵活，但执行效率依赖于MATLAB解释器。

方法二：生成可移植的Simulink模块（推荐）MATLAB提供了generatePolicyFunction和generatePolicyBlock等函数，可以将智能体策略转换为独立的、可代码生成的Simulink模块。

% 假设 ‘trainedAgent’ 是你的智能体对象 policy = getPolicy(trainedAgent); % 从智能体中提取策略对象 % 生成一个Simulink库，其中包含一个封装了该策略的子系统 generatePolicyBlock(policy, ‘MyTrainedPolicy’, ‘ObservationInfo’, obsInfo);

执行后，会生成一个.slx文件（库文件）。打开它，里面有一个封装好的子系统。你可以将这个子系统像普通Simulink模块一样，复制粘贴到你的主模型中。这个模块内部通常是一个Interpreted MATLAB Function或一个深度学习网络层序列，支持使用Simulink Coder进行C/C++代码生成，从而部署到嵌入式设备或实时仿真机中。

6.3 迭代优化与模型在环测试

第一次训练很少能得到完美策略。通常需要多次迭代：

1. 分析失败案例：在Simulink中回放智能体失败的回合，观察是在哪种状态下失控的。是角度快速偏转时反应太慢，还是对小幅振荡过度补偿？
2. 调整奖励函数：根据分析，微调奖励函数。例如，如果发现小车总是跑到边界失败，可以增加对位置x的惩罚权重。如果控制力抖动太厉害，可以增加对力变化率d(force)/dt的惩罚。
3. 调整环境/模型：有时问题出在模型本身。比如，传感器噪声是否模拟了？执行器延迟是否考虑？可以逐步在Simulink模型中增加这些现实因素，让智能体在更逼真的环境中学习，提高其鲁棒性。
4. 进行模型在环测试：将训练好的策略模块集成到更复杂的系统模型中进行测试。例如，将倒立摆控制器集成到一个更大的机器人系统模型中，检验其与其他子系统的协同工作能力。

从Simulink模型创建环境，到在设计器中训练调优，最后将策略部署回Simulink，这套流程形成了一条完整的、基于模型的强化学习开发闭环。它极大地提升了将AI算法应用于复杂工程系统的效率和可靠性。掌握了它，你就拥有了将智能决策注入传统仿真模型的强大能力。