从分布式视角看 SFT【直接提供考试答案给学生背下来,学生只能应对背过答案的考试试卷】、RL 以及OPD(On-Policy Distillation)【学生先自己做题,老师批改,学生修改提高能力】
📅 2026/7/9 3:09:46
👁️ 阅读次数
📝 编程学习
从分布视角看SFT、RL和OPD
SFT、RL、OPD 的分布形变示意图
SFT, RL, and On-Policy Distillation Through a Distributional Lens
从分布式视角看 SFT、RL 以及基于策略的蒸馏技术
I have been thinking about post-training methods in terms of distributions. A language model is a distribution over sequen
编程学习
技术分享
实战经验