• 在线蒸馏 OPD
  • 离线蒸馏
  • OPD 行业标配
  • 在线蒸馏
    • OPD 在学什么
    • 强老师带不动弱学生
  • 应用
    • 方案1：离线冷启动（Off-policy Cold Start）
    • 方案2：老师对齐提示词（Teacher-aligned Prompts）
  • OPD 问题
• 结束

在线蒸馏 OPD

【2026-4-16】搞懂大模型在线蒸馏OPD：成败关键、底层机理与工程方案

• 论文：《Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe》
• 代码地址 OPD

论文核心创新点总结

• 首次系统揭示OPD成败的两大必要条件（思维对齐+新知识），打破“强老师必成”的固有认知；
• 拆解OPD的token级底层机理，证明成功源于高概率token的渐进对齐，且97%–99%的收益集中在共享token；
• 提出两个可工程化的修复方案（离线冷启动、老师对齐提示词），直接解决OPD失败问题；
• 指出OPD的长文本局限，明确其适用边界，为未来混合蒸馏路线提供指导。

在线蒸馏OPD不是“越大越好”的暴力魔法，而是“思维对齐、知识增量、局部监督”的精细艺术。 想让小模型高效追上大模型，关键就3点：让老师和学生“同频”（思维对齐），让老师有“真东西”（新知识），让学生“精准学”（聚焦共享高概率token）。

离线蒸馏

传统离线蒸馏：“看录像学习”

流程：

• 老师先完成所有任务、生成标准答案，学生全程照着老师的“录像”模仿学习。

核心问题：

• 暴露偏差——学生平时练的是老师的正确轨迹，一旦自己生成时出错，后续会一步步错下去，无法自我修正。

OPD 行业标配

OPD成为大厂标配的原因

• 工业落地广泛：Qwen3、MiMo、GLM-5等主流大模型后训练均采用；
• 成本优势显著：比传统强化学习（RL）计算成本低一个量级；
• 效果更稳定：相比传统SFT，有效减少错误累积，小模型能快速追上大模型推理能力。

【2026-6-9】On-Policy Distillation (OPD)：起源、发展路线与当今现状

OPD 在 18 个月内完成了从 ICLR 论文到后训练新范式的跨越。

2026 年的核心命题从”要不要用 OPD”变成了”如何用 latent space / multi-teacher / adaptive KL / offline precompute 来突破 OPD 的 token 空间瓶颈和长序列限制”。路线图现已覆盖 56 篇参考文献、17 种 OPD 变体、14 篇深度论文分析（含 4 篇 latent reasoning）、完整的 Forward/Reverse KL 理论基础。

2026年4月，多家大模型开始重度使用 OPD

• DeepSeek-V4：先训练领域专家，再用 on-policy distillation 统一整合
• 论文 5 (Tsinghua)：OPD 机制深度分析，分布不可区分性，97-99% 概率质量
• MAD-OPD：多智能体辩论突破单教师天花板
• StableOPD / SCOPE：训练稳定性与采样策略改进
• Qwen3.5-Omni：全模态模型技术报告；此处不再作为 OPD 直接证据引用

在线蒸馏

在线蒸馏OPD：“实战陪练式学习”

OPD = 强化学习思路 + 蒸馏的密集监督

本质是“边练边改”，流程极简：

• 学生自主完成任务，生成属于自己的推理轨迹（相当于“自己做题”）；
• 老师对学生生成的每一个token（每一个字、每一个词）打分，给出密集奖励信号（相当于“逐字点评”）；

学生只在自己真实会踩的坑上学习，逐步对齐老师的分布（相当于“边错边改”）。

OPD 在学什么

token级机理拆解：OPD到底在学什么？

OPD训练过程拆解到每一个token，揭开了其底层逻辑——成功的OPD，本质是“高概率token的逐步对齐”。

成功OPD的三大核心特征

• 重叠率渐进提升：学生与老师的top-k token重叠率，从初始72%逐步提升到91%以上；
• 熵差持续缩小：学生和老师的熵（反映输出的不确定性）差距不断减小，自信程度逐步对齐；
• 概率高度集中：共享token集（学生和老师都认为是高概率的token），集中了97%–99%的概率质量。

关键发现：只学共享token就够了

论文通过消融实验验证：

• 仅优化“学生与老师的共享top-k token”，效果和优化全词表几乎一致；
• 仅优化“非共享token”，学生几乎没有任何提升。

结论：OPD 99%的收益，都来自极少数高概率共享token，非共享token几乎没有贡献。

强老师带不动弱学生

灵魂拷问：为什么强老师反而带不动弱学生？

论文最反直觉、最有价值的发现：

老师更强 ≠ 蒸馏一定成功，老师的“强”（参数大、分数高），不等于蒸馏一定成功。

实验中多次出现：

• 7B大模型老师，反而带不动1.5B小模型学生；
• 同一家族的大模型，效果不如经过RL优化的小模型。

论文给出OPD成败的两大铁律，缺一不可。

铁律1：思维模式必须对齐（最关键） 核心判断标准：学生和老师的top-k token（高概率候选词）重叠度要高。 思维对齐：即使老师不是最强，学生也能快速进步； 思维错位：哪怕老师分数更高，早期重叠度低，后期训练也无法挽回，蒸馏必然失败。 铁律2：老师必须有“真·新知识” “强老师”的核心不是参数大、分数高，而是拥有学生没有的新知识： 无效老师：仅参数更大、训练数据和学生一致，没有额外能力提升； 有效老师：经过额外RL后训练，掌握了学生没学过的能力（如更精准的推理逻辑）。 结论：高分 ≠ 新知识，没有新知识的老师，再强也带不动学生。

关键实验：反向蒸馏验证

实验设计：用“经过RL优化、变强后的1.5B模型”当学生，用“未优化的原始1.5B模型”和“未优化的原始7B模型”分别当老师。

实验结果：

• 学生在蒸馏后，直接退回未RL优化前的水平；
• 7B老师虽然分数更高，但蒸馏效果和1.5B老师完全一致。

核心证明：OPD本质是学习老师的思维模式，而非单纯复制分数。

应用

工程落地：2个直接可用的失败蒸馏救场方案

针对“思维错位”“无新知识”导致的蒸馏失败，论文给出两个可直接落地的修复方案，工程价值拉满。

方案1：离线冷启动（Off-policy Cold Start）

核心逻辑：先用离线蒸馏缩小思维差距，再启动OPD，专治“思维错位”。

两步执行流程：

• 冷启动阶段：用老师生成的标准答案，对学生做一轮SFT（监督微调），让学生先熟悉老师的思维模式；
• OPD阶段：从SFT后的模型开始，启动标准OPD训练。
• 效果：初始重叠率大幅提升，训练全程更稳定，最终效果比直接启动OPD显著更高。

方案2：老师对齐提示词（Teacher-aligned Prompts）

核心逻辑：让训练用的提示词，和老师后训练时用的提示词保持一致，强化高概率token对齐。

两个关键操作：

• 提示模板对齐：使用老师后训练时用的提示模板（如老师习惯“请分步推理，答案放方框内”，学生训练也用同样模板）；
• 提示内容对齐：使用老师后训练时见过的提示数据，让学生生成的轨迹更贴近老师熟悉的场景。

注意事项：需混合少量“分布外提示词”，防止学生熵崩塌（输出过于单一）。

OPD 问题

重要警告：OPD不是万能的，有明确天花板

OPD的致命缺陷：奖励质量随文本长度急剧退化，决定了适用边界。

文本长度的“甜蜜点”

• 短文本（0.5K–1K token）：监督token太少，学习效率低；
• 中等长度（3K–7K token）：奖励最可靠，效果最佳；
• 超长文本（10K+ token）：奖励质量急剧下降，训练后期会崩溃（错误从末尾往前传染）。

结论：

OPD不适合长推理、多轮智能体等长文本场景。

未来最优路线：

• 短片段密集监督（OPD） + 长文本稀疏奖励（传统RL），兼顾效率与可靠性。

结束