论文综述：同家族在线策略蒸馏的缩放规律

一、论文是干什么的？

现在的大模型常用强化学习（RL）练出很强的推理能力，但 RL 很贵。一个自然的问题是：已经花钱练好的 RL 模型，能不能把本事「传」给别的尺寸的模型，而不用每个尺寸都重练一遍？这篇论文研究的就是这种「传功」的规律。

传功的方法叫在线策略蒸馏（On-Policy Distillation，简称 OPD）。打个比方：传统蒸馏像是学生抄老师的标准答案；OPD 则是学生自己先动手做题，老师在旁边针对学生写出的每一步给出点评。因为点评针对的是学生自己真实走过的路，所以更有效。

作者在同一家族（Qwen2.5 Base，0.5B、1.5B、3B、7B、14B 五种大小）内做了 25 组老师与学生的组合，包括小老师教大学生（weak-to-strong）、同尺寸（same-base）、大老师教小学生（strong-to-weak）三类，然后总结出一套可以事先预测蒸馏效果的数学规律。

二、核心方法与创新

1. 用「走了多远」来刻度训练进度。 作者不看训练步数，而是看学生相对初始状态偏离了多少。偏离量用 token 级反向 KL 散度的估计量 $k_3$ 衡量（论文式 5），再取平方根得到 $d=\sqrt{k_3}$ 。这就像不看你学了几个小时，而是看你「思路变了多少」。

2. 发现「有效迁移区」是一条直线。 训练早期，留出测试集上的准确率（论文称 gold score，记为 $G$ ）与 $d$ 近似成线性关系：

$G(d)=c+m\,d$

斜率 $m$ 就是「迁移速率」。作者在训练轨迹前 30 个检查点上做线性拟合， $R^2$ 在 0.932 到 0.988 之间；对 Delta-OPD 取前 40 个检查点时， $R^2$ 在 0.916 到 0.987 之间（两个数字对应不同的拟合口径）。之后曲线进入嘈杂阶段：增速变慢、饱和，甚至回退。

3. 两条联合幂律预测结果。 作者拟合了峰值剩余误差和迁移速率与三个量的关系：学生规模 $\tilde N_S$ 、有效老师规模 $\tilde N_T^{\mathrm{eff}}$ （老师参数量与学生参数量取较小值，再以 1B 为单位）、以及被封顶后的老师得分 $G_T^{\mathrm{eff}}$ ：

$1-G_{\mathrm{peak}}=A\,\tilde N_S^{-\alpha}\,(\tilde N_T^{\mathrm{eff}})^{-\beta}\,(1-G_T^{\mathrm{eff}})^{\zeta}$

$m=B\,\tilde N_S^{-\gamma}\,(\tilde N_T^{\mathrm{eff}})^{\delta}\,(1-G_T^{\mathrm{eff}})^{-\xi}$

其中 Vanilla-OPD 拟合出 $\alpha=0.30,\ \beta=-0.27,\ \zeta=0.95,\ \gamma=0.19,\ \delta=-0.61,\ \xi=1.90$ ；Delta-OPD 为 $\alpha=0.34,\ \beta=-0.33,\ \zeta=1.01,\ \gamma=0.20,\ \delta=-0.73,\ \xi=2.01$ 。

最值得注意的是 $\zeta$ 约等于 1：学生的峰值错误率几乎正比于老师剩下的错误率。而 $\beta$ 和 $\delta$ 为负，意味着在老师得分相同时，老师越小，反而教得越好。生活类比：两位老师考分一样，其中一位是「小个子靠努力考到高分」，另一位是「大个子轻松考到」，前者的方法更容易被学生学走。

4. 两种蒸馏目标的对比：Vanilla-OPD 与 Delta-OPD。 Vanilla-OPD（论文式 2）的逐 token 奖励是学生与老师的对数概率之差： $r_t=\log\pi_T(y_t\mid x,y_{<t})-\log\pi_\theta(y_t\mid x,y_{<t})$ 。Delta-OPD（论文式 3）则把老师相对于它自己「RL 之前的基础版本」的对数概率变化作为优势：

$A_t^{\Delta}=\log\pi_T(y_t\mid x,y_{<t})-\log\pi_{T_{\mathrm{base}}}(y_t\mid x,y_{<t})$

并配合对参考策略的 KL 正则。直观地说，它只学老师「被 RL 改变的那部分」，而不是老师的全部。结果：Delta-OPD 在 15 组共享配对里局部斜率更大，在 12 组里观测到的峰值提升更大。

5. 三个设计选择的结论。

在线程度：纯 OPD 在每一种设置下峰值都最好；先用老师样本做一轮离线 SFT 冷启动，会随着强弱差距增大而越来越有害（3B、7B、14B 学生分别损失 6.6、15.7、19.4 个点）。纯离线蒸馏（OffPD）也不如 OPD。
同基座：Vanilla-OPD 的结果与直接做 RL 相差在 0.5 个点以内。
接力式（bootstrapping）：让弱老师教中等学生、再让它教更大的学生，所有链条的峰值都低于直接用最小的专家一步教到位。

三、使用了哪些模型和计算资源？

基础模型： Qwen2.5 Base（非指令微调版）五个尺寸：0.5B、1.5B、3B、7B、14B。
训练流程： 先做 SFT（学会指令跟随；所用数据来自 Dolci 系列，具体子集以论文为准），再用 GRPO 在 GSM8K 加 MATH 混合训练集（14.8K 条）上做 RL 得到各尺寸专家，最后做 OPD。
OPD 时长设置： 每次 OPD 最多十个 epoch，共 580 次更新，并定期评测。对比实验里，冷启动先用老师样本做一轮 SFT（样本量未能核实）；纯离线蒸馏每个提示采 5 条回答训练 5 个 epoch。
评测： 留出的 GSM8K 加 MATH 混合测试集共 6.3K 条；回答长度上限 2K token。
训练框架： verl。
GPU 型号与数量： 暂无相关信息（论文正文中未见说明）。
单次训练或单次实验耗时： 暂无相关信息（只知道单次 OPD 最多 580 次更新，没有给出墙钟时间）。
其他： 作者在项目页公开了 25 条训练轨迹，并发布了 311 个训练检查点（来自第三方 GitHub 议题页面对项目页的转述，未在论文正文中核实）。

四、实验结果

现象	数据
小老师教大学生，学生可超过老师	弱到强配对中，学生峰值 gold score 高于老师自身
7B 学生，老师从 0.5B 换到 14B	峰值由 72.7% 升到 81.9%
14B 学生，老师从 0.5B 换到 14B	峰值由 77.7% 升到 87.3%
0.5B 学生遇到过大的老师	3B 老师时峰值 40.8%，14B 老师时降到 37.7%
联合峰值幂律，留一尺寸交叉验证 RMSE	Vanilla-OPD 为 1.66 个点，Delta-OPD 为 0.82 个点
外推到最大的留出尺寸	误差在 0.4 到 0.7 个点范围内
离线冷启动的代价	3B、7B、14B 学生分别损失 6.6、15.7、19.4 个点

大白话总结：老师越大并不总是越好，老师规模的收益大约在达到学生规模之后就封顶；而老师「剩余错误率」才是更关键的指标。在其他条件相同时，用最小的、已经被 RL 练好的专家来教，往往是性价比最高的选择，接力式一级一级往上教并没有额外好处。

作者也坦承局限：证据只来自一个预训练家族（Qwen2.5，0.5B 到 14B）、一类数学推理数据、每个师生配对只有一次规范运行；回答长度只有 2K；没有逐提示的自助法置信区间；接力实验样本很少；迁移范围（transfer extent）的幂律无法被识别。

五、潜在应用与已落地应用

潜在方向：

训练前预测：根据学生规模、老师规模和老师得分，在花算力之前先估计 OPD 能带来多少提升，用来选老师、定预算。
把昂贵的 RL 成果复用：先在小模型上做 RL，再蒸馏到大模型，可能比直接给大模型做 RL 省事。
模型合并与领域专家整合：同家族下把多个专家的能力迁移到一个模型。

已落地案例： 论文本身是研究性分析，暂无公开的产业部署案例信息。第三方页面提到作者提供了交互式项目页（含预测计算器）。

六、网络上的讨论与评价

Hugging Face 论文页（票数 294，来自周榜统计）页面可访问，但未显示评论内容。
GitHub 上有两处自动化的论文整理议题（一处是 hanzhad/squelch-news-engine 的 Issue 1254，另一处是 jjakimoto/research-issues 的 Issue 1918），均为机器生成的摘要或研究想法，不是人类社区的评论。后者提出了一个有意思的检验：用同样得分、但「基础模型强弱不同」的两个 3B 老师去教同一个 7B 学生，看学生结果是否一致，以判断规律究竟是由老师规模还是由老师相对基础模型的提升决定的。这只是一个提案，不是已完成的实验。
暂无来自 Reddit、X、Hacker News 的针对该论文的专门讨论。

七、思维导图

mindmap
  root((同家族 OPD 缩放规律))
    研究背景与问题
      RL 昂贵 想跨尺寸复用
      OPD 学生自采样 老师逐 token 打分
      未知 师生规模与老师质量如何决定结果
    方法与设置
      Qwen2.5 Base 0.5B 1.5B 3B 7B 14B
      SFT 到 GRPO 到 OPD 三阶段
      GSM8K 加 MATH 14.8K 训练 6.3K 留出测试
      25 组师生 weak-to-strong same-base strong-to-weak
      OPD 最多十个 epoch 580 次更新 框架 verl
    训练动态刻画
      d 等于 根号 k3 反向 KL 估计 式5
      有效迁移区 G(d) 等于 c 加 m d
      线性拟合 前30检查点 R2 0.932 到 0.988
      之后 噪声 饱和 或回退
    幂律拟合
      峰值误差 1-G_peak 联合幂律
        Vanilla-OPD zeta 0.95
        Delta-OPD zeta 1.01
      迁移速率 m 幂律
        xi 1.90 与 2.01
      留一尺寸 RMSE 1.66 与 0.82
      有效老师规模 min(N_T, N_S)
    设计选择消融
      Vanilla-OPD 式2 对数概率差奖励
      Delta-OPD 式3 老师对其基础版的变化
        15 组斜率更大 12 组峰值提升更大
      离线冷启动 损失 6.6 15.7 19.4 点
      纯 OPD 在所有格子最优
      Bootstrapping 接力链低于直接蒸馏
    关键数值
      7B 学生 72.7 到 81.9 随老师增大
      14B 学生 77.7 到 87.3
      0.5B 学生 40.8 降到 37.7
      同基座 OPD 与直接 RL 差 0.5 点内
    局限与展望
      单一 Qwen2.5 家族 与数学推理
      每配对单次运行 回答上限 2K
      小而强的老师性价比最高