论文综述：后训练会在无关决策上留下行为影子

一、论文是干什么的？

想象一位厨师刚去学了一门川菜课。他回来以后做西餐、做甜点时，你可能看不出他会炒回锅肉，但他放盐、放糖的小习惯已经悄悄变了。这些和川菜「毫不相干」的小习惯，就是本文所说的「行为影子」（behavioral shadow）：模型被后训练（比如用代码数据微调）以后，即使面对和代码、数学完全无关的问题（例如选一个词来续写一个小故事），它在「两个词差不多好」时的偏好也会发生细微而有方向的改变。

论文的核心发现是：这些影子里其实藏着「新能力」的方向信息。作者据此提出主动无任务蒸馏（Active Taskless Distillation，ATD）：学生模型不需要任何代码样例、不需要教师的参数，甚至不需要教师的概率输出，只要拿到教师对一批精心挑选的无关提示的单个单词回答，就能学到一部分教师的能力。主实验中，5664 个单词回答让 Qwen2.5-1.5B 学生在 HumanEval+ 上比严格匹配的对照组高 5.34 个百分点。这既是一种新的蒸馏方式，也提醒大家：只提供公开基座加私有微调的服务，可能通过看似无害的输出泄露微调内容。

二、核心方法与创新

1. 找到「差点打平」的提示（Near-Tie Selection）。 想知道一个人偏好有没有变化，最灵敏的办法是问他一道他本来「左右为难」的题。比如你原本对苹果和橘子五五开，稍微一点口味改变就会让你改选。ATD 做的就是这件事：

用公开的基座模型（祖先模型） $M_0$ 对大量与任务无关的提示，比较两个普通单词 $a_i$ 与 $b_i$ 的概率，计算归一化概率（论文式 5） $q_i = \exp(z_0(b_i|x_i)) / [\exp(z_0(a_i|x_i)) + \exp(z_0(b_i|x_i))]$ 。
只保留 $|q_i - 0.5| \le 0.02$ 的提示，也就是祖先模型几乎无法取舍的提示。
提示的格式很朴素：「Question: 一个中性前提 Answer: 词表 Choose exactly one. Options: w1 | w2」。

2. 为什么靠近平局点有用？ 论文用一阶泰勒展开解释（式 1 到式 4）：设教师参数为 $\theta_T=\theta_0+\delta$ ，两词的对数几率差为 $m_i$ ，参数从 $\theta_0$ 变成 $\theta_0+\delta$ 后， $m_i(\theta_0+\delta) \approx m_i(\theta_0) + g_i^{\top}\delta$ （式 3），观测到的单词选择近似为 $y_i \approx \mathrm{sign}(m_i(\theta_0)+g_i^{\top}\delta)$ （式 4）。当 $|m_i(\theta_0)|$ 很小时，哪怕私有更新 $\delta$ 很小，也足以让选择翻转，所以翻转与否就编码了 $\delta$ 在 $g_i$ 方向上的投影。这好比跷跷板正好水平时，一粒米就能让它倾斜。

3. 单词回答训练学生。 把近平局提示发给教师（只允许贪心解码，每次一个词），得到「提示加单词」配对。论文共发出 17858 个近平局查询（教师观测预算），保留 5664 个「载体」（约 31.7%）。学生与教师共享同一个公开祖先，用单 token 交叉熵（论文式 6）做 rank-16 LoRA 训练，固定 157 步，AdamW 优化。训练数据中只有提示和单词，不含 logits、概率或任何代码词汇；经冻结审计，确认没有代码、数学、基准或数字内容。

4. 严格的对照设计。 为排除「只是在随机词上微调就变好」这类解释，作者构造了精确干扰匹配对照（exact nuisance-matched permutation），用整数规划保证：输出词的多重集合相同、按公开边际分箱后的翻转率相同、与教师一致的比例为 50%。这样差别只能来自「提示和回答的配对信息」。另外还有教师标签打乱对照、不用教师的公开标签对照。

5. 一个附加目标。 论文还试了参考相对的成对边际目标（RPM，论文式 7）： $L_{RPM} = -E_i \log \sigma(\beta[\log \frac{p_\theta(w_i^T|x_i)}{p_\theta(\bar w_i|x_i)} - \log \frac{p_0(w_i^T|x_i)}{p_0(\bar w_i|x_i)}])$ ，按网页抽取的摘要，它在 HumanEval+ 上的差距略高于交叉熵版本，但并非处处占优；具体数值未能从原文核实，此处不列。此外论文还给出多 token 观测损失（式 8），用于后文 K=20 实验。

三、使用了哪些模型和计算资源？

项目	内容
主基座模型	Qwen2.5-1.5B-Instruct
其他测试模型	Qwen3-1.7B、Qwen3-4B、Llama-3.2-1B
教师	在公开语料 KAKA22/CodeRM-UnitTest 上用 DPO（含辅助监督微调项）加 rank-16 LoRA 训练的代码教师；过滤后偏好对 13607 个（训练 12921，验证 686），并去除与 HumanEval+、MBPP+ 的精确重合和 5-gram Jaccard 不低于 0.1 的重叠
学生适配	rank-16 all-linear LoRA，单 token 交叉熵，固定 157 步，AdamW；另测 rank 32、64 以及全参数 SFT（学习率 5e-6）
随机种子	通常每个实验 3 到 4 个种子；稳健性实验为 5 次独立采集乘 3 个训练种子
GPU 型号与数量	暂无相关信息（论文 HTML 全文中未明确给出）
每次训练、推理、实验的耗时	暂无相关信息
API 使用与费用	暂无相关信息
批大小、最大序列长度	暂无相关信息

说明：论文正文未明确给出 GPU 型号与总耗时，附录中是否另有算力说明暂无相关信息。

四、实验结果

主实验（Qwen2.5-1.5B，HumanEval+）：

对照	分数	信号组领先
信号组（ATD）	51.22%	无
精确干扰匹配对照（主对照）	45.88%	+5.34pp，95% 区间 [1.22, 9.60]
教师标签打乱	46.19%	+5.03pp
公开标签（不依赖教师）	46.65%	+4.57pp

5 次独立采集的平均提升为 +4.80pp，15 个信号与对照配对全为正，采集间标准差 0.83pp。

七项任务上的泛化（相对打乱对照）：

任务	提升
HumanEval+（代码）	+5.03pp，95% 区间 [0.91, 9.30]
ScienceQA	+2.53pp [1.57, 3.52]
HellaSwag	+2.90pp [2.44, 3.36]
RACE-high	+0.81pp [0.24, 1.40]
CommonsenseQA	+1.94pp [0.76, 3.19]
OpenBookQA	+2.07pp [0.33, 3.87]
PIQA	+1.25pp [0.15, 2.38]

关键消融与分析：

主动 vs 被动选择：相同教师查询量时，主动选择多出 +4.27pp；相同训练行数时多出 +5.03pp。
来源特异性：代码影子在 HumanEval+ 上 +5.34pp，在 ScienceQA 上仅 +0.60pp；科学影子在 ScienceQA 上 +2.52pp，在 HumanEval+ 上 -0.15pp，说明影子会「对号入座」。
适配方式：LoRA r16 为 +5.34pp，r32 为 +6.55pp，r64 为 +9.15pp，全参数 SFT 为 +4.67pp。
强度跟踪：学生恢复出的投影与教师检查点的更新强度 Spearman 相关为 1.0（3 个种子都是），甚至能还原非单调的检查点顺序。
双源叠加：50/50 混合近似正交的数学与代码影子时，两者的对齐优势都为正（数学 +.046，代码 +.062，3 个种子均成立）。
时间线：与教师对齐的功能对比指标在第 4 步已稳定为正，第 16 步明显成形，而可执行的 HumanEval+ 成绩要到第 80 步才显著与对照分开（此时 +4.27pp，第 157 步达 +5.34pp）。
多 token 观测（K=20）：GSM8K +6.37pp [+4.37, +8.42]，HumanEval+ +1.02pp，ScienceQA +0.84pp（后两者区间含零）。

局限与失败案例：

不可诱发的教师（论文表 3b）：把 HumanEval 解答背下来的教师（Qwen3-1.7B，差距 +39.02pp）和替换密码教师（Qwen2.5-1.5B，差距约 97pp）都无法传递能力，说明只有「可诱发」的能力才会在影子里留痕。
弱差距任务：MBPP+ 上信号减对照仅 +0.33pp，区间 [-2.25, +2.91] 含零；教师在该任务上的优势较小。
祖先不兼容：Qwen3-Coder-30B-A3B 与 7B 教师尽管教师优势很大（30B 约 +17.68pp），对 Qwen3-1.7B 学生仍无效。
其他模型（Qwen3-1.7B、Qwen3-4B、Llama-3.2-1B）论文称各设置平均提升均为正；置信区间是否含零未能从原文逐项核实，此处不下结论。
论文承认方法依赖主动构造的载体和已知的公共祖先，也并非在所有测试设置下都可靠迁移（见 5.5 节讨论和附录 H）。

五、潜在应用与已落地应用

潜在方向：

隐私与安全审计：提供「公开基座加私有微调」服务的厂商，需要意识到输出中的无关选择也可能泄露微调方向；可据此设计防御或检测。
低带宽蒸馏：教师只能给出极少信息（例如只允许返回一个词）时，仍可以做能力迁移。
模型溯源与更新强度探测：影子强度可跟踪检查点强度，可能用于判断模型是否被某类数据微调过。

已落地应用： 暂未发现。论文属于刚发布的研究工作，代码已公开在 GitHub myboker/ATD，没有查到产品化部署的报道。

六、网络上的讨论与评价

论文 arXiv 页面、HuggingFace 论文页（HF 周榜 2026-W40，票数 271）。
搜索到一个自动化论文聚合仓库中的 GitHub issue，只是摘要转载，并无独立评价；另有每日论文摘要与 hyper.ai 论文页等转载。
暂无来自 Reddit、Hacker News、X 等论坛的针对该论文的实质讨论，因此暂无可引用的社区评价。

七、思维导图

mindmap
  root((ATD 主动无任务蒸馏 行为影子))
    研究背景与问题
      私有更新 delta 通过无关输出泄露
      仅给单词 无 logits 无教师参数 无任务数据
    近平局选择
      式5 归一化概率 q_i 来自祖先 z_0
      保留 abs(q_i - 0.5) 不超过 0.02
      17858 次查询 保留 5664 个 carrier 约 31.7%
      128 个安全词 审计无代码数学数字
    一阶泰勒解释
      式3 m_i(theta_0 + delta) 约等于 m_i(theta_0) + g_i 转置 delta
      式4 观测选择约等于 sign 函数
      平局点附近小更新即可翻转
    学生训练
      式6 单 token 交叉熵
      rank-16 all-linear LoRA 固定 157 步 AdamW
      式7 RPM 参考相对成对边际
      式8 多 token 损失 K=20
    教师与对照
      DPO 加 LoRA r16 教师 CodeRM-UnitTest 13607 偏好对
      5-gram Jaccard 0.1 去污染
      精确干扰匹配置换 整数规划
    实验结果
      HumanEval+ 信号 51.22% 对照 45.88% 差 +5.34pp
      5 次采集平均 +4.80pp 标准差 0.83pp
      七项任务 ScienceQA +2.53 HellaSwag +2.90
      LoRA r16 +5.34 r32 +6.55 r64 +9.15 全参数 SFT +4.67
      主动对被动 等查询 +4.27 等行数 +5.03
      来源特异性 代码影子在 ScienceQA 仅 +0.60
      多 token GSM8K +6.37pp
    机制洞察
      Spearman 等于 1 跟踪教师更新强度 3/3 种子
      双源叠加 数学 +.046 代码 +.062
      第 4 步方向 第 16 步成形 第 80 步指标分离
    局限与展望
      背题教师 +39.02pp 与替换密码教师 约 97pp 无迁移
      MBPP+ +0.33pp 区间含零
      Qwen3-Coder 30B 祖先不兼容
      微调服务泄露与防御
      代码 github.com/myboker/ATD