从分布式视角看 SFT【直接提供考试答案给学生背下来,学生只能应对背过答案的考试试卷】、RL 以及OPD(On-Policy Distillation)【学生先自己做题,老师批改,学生修改提高能力】

📅 2026/7/9 3:09:46 👁️ 阅读次数 📝 编程学习
从分布式视角看 SFT【直接提供考试答案给学生背下来,学生只能应对背过答案的考试试卷】、RL 以及OPD(On-Policy Distillation)【学生先自己做题,老师批改,学生修改提高能力】

从分布视角看SFT、RL和OPD

SFT、RL、OPD 的分布形变示意图


SFT, RL, and On-Policy Distillation Through a Distributional Lens

从分布式视角看 SFT、RL 以及基于策略的蒸馏技术

I have been thinking about post-training methods in terms of distributions. A language model is a distribution over sequen