一篇文章讲清楚：预训练、SFT、RLHF
一个“空白”模型，要经历预训练、SFT 和 RLHF三个阶段，才会从“什么都不懂”，变成会和人对话、还能给出好答案的 ChatGPT 或 Claude。
这篇文章只解决一个问题：
一个刚初始化、还没有任何知识的模型，是怎么一步步变成会跟你聊天、帮你干活的 AI 的？
训练模型，很像培养一个天才。
你要把一个刚出生、什么都不懂的小婴儿，慢慢培养成一个知识渊博、能和人沟通，而且说话有品味、有分寸的人。
整个过程可以压缩成三句话：
01 预训练：读很多书，学会语言和知识。
02 SFT：学习怎么理解指令、回答问题。
03 RLHF：学习什么样的答案才算好答案。
01 预训练：从空白大脑到博览群书
预训练解决的是“学会语言和世界知识”。这个阶段的模型主要会续写，还不能自然地回答问题。
在预训练阶段，我们要把一个什么都不懂的模型，培养成一个博览群书的人。
这时需要给它“喂”大量资料，包括互联网内容、GitHub 上的代码、新闻和论坛等。
但机器不能直接理解人类的自然语言，所以需要先把文字转换成机器可以处理的数字。
整个过程可以简化为：
文字 → Tokenizer 切分 → Token → 模型计算
Token 可以理解为被切分后的文字小片段，每一个片段都有对应的数字编号。
读完这些材料后，模型会反复做一件事：
预测下一个 Token 是什么。
经过大量训练，模型就拥有了很强的续写能力。给它任意一个开头，它都能接得自然流畅。
但问题也在这里：它最擅长的是续写，而不是回答问题。
比如你问：“2+2 等于几？”
它可能不会直接回答“2+2=4”，而是把这句话当成一篇文章的开头，写成：
“2+2=4是小学数学老师经常会问的问题……”
这就像一个人积累了很多知识，却还不知道怎么根据别人的问题，给出清晰、直接的回答。
02 SFT：从续写机器到会回答问题
SFT 解决的是“能不能答”：让模型学会直接回答问题，而不是沿着问题继续往下编。
到了第二阶段，也就是 SFT 指令微调阶段，要解决的问题变成了：
怎么把一个只会续写的机器，变成一个会回答问题的人？
做法是准备大量“问题 + 标准答案”的配对。例如：
• 问题：2+2 等于几？答案：2+2=4。
• 问题：把这段话翻译成英文。答案：Here is the translation……
模型在这个阶段仍然是在预测下一个 Token，但它学习的对象变成了标准答案。
通过大量问答配对，它逐渐建立起一种新的反应模式：
别人提问，我就给出回答。
所以再问它“2+2 等于几”，它就会直接告诉你“2+2=4”，不会再把问题当成一篇文章的开头。
03 RLHF：从能回答到回答得更好
SFT 解决“能不能答”，RLHF 则解决“答得好不好”。
到了 RLHF，也就是人类反馈强化学习阶段，模型已经会回答问题了。现在，它要学习的是怎样把问题回答好。
但“好”是一种很细腻的感受。
如果只是不断让人工重写标准答案，效率很低，而且人工写出来的答案也未必是最优答案。
更合适的做法，是让模型对同一个问题生成多个答案，再由人类进行排名和评分：
模型针对同一个问题生成多个答案。
人类评委对这些答案进行排名。
用大量排名训练出一个奖励模型。
模型根据奖励信号不断调整，朝更高分的方向优化。
近年来也出现了 DPO（Direct Preference Optimization）等简化方案，跳过单独训练奖励模型的步骤，但核心思路相同：
用人类偏好来指导模型优化。
在这个过程中，原本模糊的人类偏好，被变成了可以优化的信号。
模型逐渐知道，什么样的回答更有帮助、更无害，也更诚实。
这就是常说的3H 原则：
•Helpful**：** 回答切题，有实际价值。
•Harmless：拒绝有害请求，不输出危险内容。
•Honest：不确定时坦率说明，不编造信息。
最后，再把三步串起来
预训练的互联网材料是混杂的，好坏都有；SFT 主要让模型学会按照示例回答；RLHF 则把人类对答案的偏好，转化成更明确的优化方向，即：
预训练：学知识。
SFT：学会回答。
RLHF：学会回答得更好。
就像一个实习生写了多份方案，领导一一打分点评。他会慢慢知道，什么样的方案才算靠谱。
假如你从2026年开始学大模型，按这个步骤走准能稳步进阶。
接下来告诉你一条最快的邪修路线，
3个月即可成为模型大师，薪资直接起飞。
阶段1:大模型基础
阶段2:RAG应用开发工程
阶段3:大模型Agent应用架构
阶段4:大模型微调与私有化部署
配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇