5分钟快速上手Skywork-OR1：从安装到运行你的第一个RL训练任务 🚀

【免费下载链接】Skywork-OR1Unleashing the Power of Reinforcement Learning for Math and Code Reasoners项目地址: https://gitcode.com/gh_mirrors/sk/Skywork-OR1

想要快速掌握Skywork-OR1强化学习框架，开始训练自己的数学和代码推理模型吗？这篇终极指南将带你从零开始，在短短5分钟内完成安装并运行第一个训练任务！Skywork-OR1是一个强大的开源项目，专注于释放强化学习在数学和代码推理模型中的潜力，让你能够轻松训练出高性能的推理模型。

什么是Skywork-OR1？ 🤔

Skywork-OR1（Open Reasoner 1）是一个基于大规模规则化强化学习的数学和代码推理模型训练框架。它提供了一套完整的工具链，让你能够：

• 🧠 训练高性能的数学推理模型
• 💻 开发强大的代码生成模型
• ⚡ 使用先进的PPO（Proximal Policy Optimization）算法
• 🚀 支持多节点分布式训练

该项目已经在AIME24、AIME25和LiveCodeBench等基准测试中取得了优异成绩，Skywork-OR1-32B模型在数学任务上超越了DeepSeek-R1和Qwen3-32B，展现了强大的推理能力。

Skywork-OR1-7B模型在多阶段训练中的性能表现

环境准备与快速安装 🛠️

方法一：Docker快速安装（推荐）

这是最快速的安装方式，适合想要立即开始实验的用户：

# 拉取预构建的Docker镜像 docker pull whatcanyousee/verl:vemlp-th2.4.0-cu124-vllm0.6.3-ray2.10-te2.0-megatron0.11.0-v0.0.6 # 运行Docker容器 docker run --runtime=nvidia -it --rm --shm-size="10g" --cap-add=SYS_ADMIN -v <image:tag> # 在容器内安装Skywork-OR1 git clone https://gitcode.com/gh_mirrors/sk/Skywork-OR1.git cd Skywork-OR1 pip3 install -e .

方法二：Conda环境安装

如果你更喜欢使用Conda管理环境：

# 创建Python 3.10环境 conda create -n verl python==3.10 conda activate verl # 安装PyTorch和其他依赖 pip3 install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu124 pip3 install flash-attn --no-build-isolation # 克隆并安装Skywork-OR1 git clone https://gitcode.com/gh_mirrors/sk/Skywork-OR1.git cd Skywork-OR1 pip3 install -e .

数据准备：获取训练数据集 📊

在开始训练之前，你需要准备训练数据。Skywork-OR1支持多种数据集，这里我们以GSM8K数学推理数据集为例：

# 下载并预处理GSM8K数据集 python3 examples/data_preprocess/gsm8k.py --local_dir ~/data/gsm8k

这个命令会自动下载GSM8K数据集并进行预处理，生成适合RL训练的格式。

Skywork-OR1-32B在多个基准测试中的优异表现

运行你的第一个RL训练任务 🏃

现在让我们开始第一个强化学习训练任务！我们将使用Qwen2.5-0.5B-Instruct模型在GSM8K数据集上进行PPO训练：

# 设置环境变量 export PYTHONUNBUFFERED=1 # 运行PPO训练 python3 -m verl.trainer.main_ppo \ data.train_files=$HOME/data/gsm8k/train.parquet \ data.val_files=$HOME/data/gsm8k/test.parquet \ data.train_batch_size=256 \ data.val_batch_size=1312 \ data.max_prompt_length=512 \ data.max_response_length=256 \ actor_rollout_ref.model.path=Qwen/Qwen2.5-0.5B-Instruct \ actor_rollout_ref.actor.optim.lr=1e-6 \ critic.optim.lr=1e-5 \ critic.model.path=Qwen/Qwen2.5-0.5B-Instruct \ algorithm.kl_ctrl.kl_coef=0.001 \ trainer.logger=['console'] \ trainer.n_gpus_per_node=1 \ trainer.nnodes=1 \ trainer.save_freq=10 \ trainer.test_freq=10 \ trainer.total_epochs=15

训练参数说明：

• data.train_files: 训练数据路径
• actor_rollout_ref.model.path: Actor模型路径
• critic.model.path: Critic模型路径
• trainer.n_gpus_per_node: 每节点GPU数量
• trainer.total_epochs: 训练总轮数

监控训练进度 📈

训练开始后，你会在控制台看到类似下面的日志输出：

step:0 - timing/gen:21.470 - timing/ref:4.360 - timing/values:5.800 critic/kl:0.000 - critic/kl_coeff:0.001 - timing/adv:0.109 actor/entropy_loss:0.433 - actor/pg_loss:-0.005 - actor/pg_clipfrac:0.000 critic/score/mean:0.004 - critic/score/max:1.000 - critic/score/min:0.000

关键指标说明：

• critic/score/mean: 平均奖励分数
• actor/pg_loss: 策略梯度损失
• critic/vf_loss: 价值函数损失

使用预训练模型快速开始 🎯

如果你想直接使用Skywork-OR1预训练模型，可以按照以下步骤：

1. 下载模型权重

# 下载7B模型 git clone https://huggingface.co/Skywork/Skywork-OR1-7B # 下载32B模型 git clone https://huggingface.co/Skywork/Skywork-OR1-32B

2. 运行推理示例

查看 examples/generation/ 目录中的脚本，了解如何使用预训练模型进行推理。

Skywork-OR1-7B与其他同类模型的性能对比

高级功能：多节点分布式训练 🌐

对于大规模训练任务，Skywork-OR1支持使用Ray进行多节点分布式训练：

步骤1：在头节点启动Ray

ray start --head --dashboard-host=0.0.0.0

步骤2：在工作节点连接

ray start --address='<头节点IP>:6379'

步骤3：检查集群状态

ray status

常见问题与解决方案 🔧

内存不足问题

如果遇到内存不足，可以调整以下参数：

actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu=1 \ critic.ppo_micro_batch_size_per_gpu=1 \

训练速度优化

• 启用梯度检查点：actor_rollout_ref.model.enable_gradient_checkpointing=True
• 调整批次大小：根据GPU内存调整ppo_micro_batch_size_per_gpu
• 使用混合精度训练：trainer.mixed_precision='bf16'

下一步学习路径 📚

现在你已经成功运行了第一个Skywork-OR1训练任务！接下来可以：

1. 探索更多示例：查看 examples/ppo_trainer/ 目录中的其他训练脚本
2. 自定义奖励函数：学习如何设计自己的奖励函数
3. 尝试不同数据集：在更多任务上测试模型性能
4. 调优超参数：优化训练效果

Skywork-OR1为强化学习在推理模型中的应用提供了强大的工具链。无论是学术研究还是工业应用，这个框架都能帮助你快速构建和训练高性能的推理模型。开始你的RL训练之旅吧！ 🚀

【免费下载链接】Skywork-OR1Unleashing the Power of Reinforcement Learning for Math and Code Reasoners项目地址: https://gitcode.com/gh_mirrors/sk/Skywork-OR1