这项由中科院多模态人工智能系统国家重点实验室和中科院大学人工智能学院共同完成的研究，发表于2026年3月的预印本论文（编号arXiv:2603.25562v1），揭示了一个困扰AI训练领域已久的问题。有兴趣深入了解的读者可以通过该编号查询完整论文。

想象一个场景：你想学会一位大厨的拿手菜，于是请大厨指导你做菜。然而，大厨只能在你做每道工序时给出当时的建议，却无法看到整道菜的最终效果。这种学习方式听起来就有问题，对吧？在人工智能的世界里，这个问题被称为"在线策略蒸馏"（On-Policy Distillation，简称OPD），它让AI学生模型通过自己的"实际操作"来接受老师模型的指导。

传统的AI训练更像是让学生临摹老师的现成作品，但在需要长期推理的复杂任务中，学生很快就会遇到老师从未展示过的情况。于是，研究者们想出了一个看似聪明的办法：让学生自己动手做，老师在旁边随时指点。然而，这种看似合理的方法却隐藏着一个致命缺陷。

研究团队发现，当前最常用的"采样标记OPD"方法就像一个只会看单个字母的语文老师。每当学生写出一个字，老师只会评判这个字写得好不好，却完全忽略了整个句子的意思。这种局限性在需要长期推理的任务中尤其明显，比如数学题解答或复杂的对话生成。

一、单个标记评判的三大致命缺陷

研究团队深入分析后发现，现有的采样标记OPD方法存在三个根本性问题。

第一个问题是信号极度不平衡。想象你在学习写作，老师每次只看你写的一个词，然后告诉你这个词用得好还是不好。结果会怎样？大多数时候，你得到的都是负面评价，因为大部分普通词汇在老师眼中都不够出彩。研究数据显示，在实际训练中，超过80%的标记都会收到负面反馈，而正面的学习信号被压缩到极少数"幸运"的标记上。这就像一个只会批评、很少表扬的老师，学生很难从中获得有效的学习指导。

第二个问题是老师在陌生领域的指导变得不可靠。当学生开始生成老师不熟悉的内容时，老师可能会给出误导性的建议。比如，学生开始探索一种新的解题思路，虽然这个思路可能是正确的，但因为老师没见过，就可能给出错误的评价。更糟糕的是，老师可能会鼓励学生继续一些看起来合理但实际上毫无意义的行为，比如无休止的重复或者冗长的废话。

第三个问题是技术细节导致的失真。就像两个人使用不同的字典，同一个词可能被分解成不同的音节。在AI训练中，老师和学生如果使用不同的"词汇切分方式"（专业术语叫分词器），同样的内容可能被理解为完全不同的标记序列。这种不匹配会导致老师对本质上正确的输出给出错误的评价。

二、深层问题：短视评判与长期目标的矛盾

为了理解这个问题的根源，研究团队从理论层面进行了深入分析。他们发现，问题的核心在于单个标记的评判方法与整体序列优化目标之间存在根本性偏差。

用一个更贴切的比喻来说，这就像评判一首音乐的质量。如果你只听每个音符，然后判断这个音符好不好，最后把所有评价加起来，这样得出的结论能反映整首音乐的美妙程度吗？显然不能。音乐的魅力在于音符之间的配合与整体的和谐，单个音符的评价无法捕捉这种整体性。

研究团队通过数学推导证明了这一点。他们发现，传统的标记级别评判方法在理论上就是有偏的，它系统性地忽略了未来标记对当前标记评价的影响。更重要的是，虽然考虑整体序列的方法理论上更准确，但它会导致训练过程变得极不稳定。

为了验证这个理论分析，研究团队设计了一个简化的实验环境。在这个环境中，AI需要在一个一维空间中从起点移动到终点。实验结果清晰地显示了问题所在：当评判方法越注重长期效果时，训练过程的波动就越剧烈，模型的学习效果反而变差。这种现象在复杂的语言任务中更加明显。

具体来说，研究团队发现了一个重要的权衡关系：单个标记的评判方法虽然有偏差，但训练稳定性较好；而考虑整体序列的方法虽然理论上更准确，但训练的不稳定性会随序列长度快速增长。在数学上，单标记方法的方差增长速度为序列长度的平方，而序列级方法的方差增长速度为序列长度的四次方。

三、创新解决方案：局部支持集匹配

面对这个两难困境，研究团队提出了一个巧妙的解决方案：教师Top-K局部支持匹配。这个方法的核心思想是在保持局部评判稳定性的同时，避免单一标记评判的脆弱性。

继续用做菜的比喻来解释这个创新方法。传统的方法就像厨师只看你放的这一勺盐，然后说"好"或"不好"。而新方法则像一个更智慧的厨师，他会看你这一步可能采用的几种最合理的调料选择（比如盐、胡椒、香料等），然后评价你的调料搭配是否合理。这样既避免了过分关注单一选择的局限性，也保持了每一步指导的针对性。

具体来说，新方法不再只关注学生实际选择的那一个标记，而是考虑老师认为在当前情况下最有可能选择的前K个标记。然后，它比较老师和学生在这K个选择上的概率分布差异，而不是仅仅比较单个标记的概率。

这种方法带来了几个重要改进。首先，它大大缓解了信号不平衡问题。不再是大部分标记都收到负面评价，而是在一个相对平衡的概率分布上进行比较。其次，它减少了对单一随机选择的依赖，避免了因为偶然的"不幸选择"导致的误导性反馈。最后，通过重新规范化概率分布，它有效地处理了分词器不匹配等技术问题。

为了确保这个方法的实用性，研究团队还引入了几个关键的技术改进。他们使用top-p采样来生成训练样本，这样可以避免极低概率标记带来的噪音。他们对有问题的特殊标记进行了屏蔽处理，进一步减少了技术细节导致的干扰。

四、实验验证：从数学推理到多任务学习

研究团队在两个具有代表性的场景中验证了他们的方法：单任务数学推理和多任务智能体训练。

在数学推理任务中，他们使用了一个7亿参数的学生模型（Qwen2.5-7B-Instruct），让它向一个专门擅长数学推理的老师模型（OpenThinker3-7B）学习。训练数据包含了17000个英语数学问题，涵盖了从基础算术到奥林匹克竞赛级别的各种难度。

实验结果令人印象深刻。在多个标准数学测试集上，新方法都显著优于传统的采样标记方法。特别值得注意的是，即使在老师模型表现并不出色的测试集上，学生模型也能够通过新的训练方法获得更好的成绩。这说明新方法不仅能够更有效地传递知识，还能够在某种程度上帮助学生"青出于蓝而胜于蓝"。

更有趣的是多任务实验。研究团队让同一个学生模型同时学习数学推理和智能体任务（基于ALFWorld环境的多轮交互任务）。在这种更复杂的设置下，传统方法往往会出现"顾此失彼"的问题，而新方法则能够在保持智能体任务优秀表现的同时，显著提升数学推理能力。

从训练动态的角度来看，新方法展现出了更稳定的优化过程。梯度的变化更加平稳，需要进行梯度裁剪的情况大大减少，模型生成的回复长度也更加合理。这些都表明新方法确实解决了传统方法的根本性问题。

五、深度分析：为什么新方法更有效

研究团队不满足于仅仅展示实验结果，他们深入分析了新方法为什么能够取得更好的效果。

通过详细的消融实验，研究团队发现了几个关键因素。首先，仅仅将评判范围从单个标记扩展到多个标记并不足够，还必须配合合适的采样策略。如果仍然使用完全随机的采样，模型很容易生成一些极端的、不合理的内容，这会让老师的指导变得不可靠。

其次，支持集的大小需要适当调节。太小的支持集仍然会有单标记方法的问题，太大的支持集则会引入太多噪音。实验显示，K值在16到48之间时效果最好，这个范围既能提供足够的选择多样性，又不会引入过多的计算复杂度。

最重要的是，概率分布的重新规范化是必不可少的。如果不进行规范化，老师和学生在局部支持集上的概率分布就无法进行有意义的比较，这会导致训练过程迅速崩溃。

研究团队还探讨了不同支持集定义方式的效果。除了使用老师的Top-K选择外，他们还尝试了学生的Top-K选择，以及老师Top-K与学生实际选择的组合。结果显示，虽然老师Top-K表现最稳定，但其他变体在某些任务上也有不错的表现，这说明方法的核心思想是robust的。

六、实践意义与未来展望

这项研究的意义远不止于解决一个技术问题。它揭示了在AI训练中一个更普遍的原则：局部优化与全局目标之间的平衡。

在实际应用中，这个发现对于开发需要长期推理能力的AI系统具有重要价值。无论是对话系统、代码生成器，还是科学推理助手，都需要在生成过程中保持长期的一致性和目标导向。传统的训练方法往往会导致模型在短期内表现不错，但在长期任务中失去方向或产生不一致的输出。

新方法提供了一个解决这个问题的思路：通过扩大每一步的评判范围，在保持训练稳定性的同时提供更可靠的学习信号。这种思路可能在其他类似的机器学习问题中也有应用价值。

当然，研究团队也坦诚地指出了当前方法的局限性。现有方法仍然是一种局部的、近似的解决方案，它并不能完全替代真正的序列级优化。此外，当老师和学生模型差异很大时，即使是改进的方法也可能面临挑战。

更深层次的问题在于，让学生模仿老师始终是一种有限的学习方式。真正的智能可能需要学生具备超越老师的能力，这需要结合其他类型的学习信号，比如来自环境的直接反馈或者基于结果验证的奖励。

研究团队建议，未来的工作可以在几个方向上继续深入。一是探索如何更好地处理老师和学生之间的分布差异，可能需要引入更sophisticated的重要性权重方法。二是研究如何将这种局部匹配方法与其他训练技术结合，比如强化学习或对比学习。三是在更多样化的任务和模型规模上验证方法的普适性。

说到底，这项研究提醒我们，在AI快速发展的今天，看似微小的技术细节往往隐藏着深刻的原理问题。一个更好的训练方法不仅能提升模型性能，更能为我们理解智能学习的本质提供新的视角。这种既关注实用效果又深入理论原理的研究思路，正是推动AI领域持续进步的关键所在。

Q&A

Q1：什么是在线策略蒸馏？

A：在线策略蒸馏是一种AI训练方法，让学生模型通过自己生成的内容来接受老师模型的指导，而不是模仿老师的现成作品。就像学生自己动手做题，老师在旁边实时指导，而不是让学生抄老师的标准答案。

Q2：为什么传统的采样标记方法会出现问题？

A：传统方法只看学生生成的单个词汇进行评判，就像只看单个字母来评价整篇文章一样。这会导致大部分反馈都是负面的，而且无法考虑整体的连贯性和逻辑性，特别是在需要长期推理的复杂任务中效果很差。

Q3：新提出的Top-K局部支持匹配方法有什么优势？

A：新方法不再只看一个词，而是考虑老师认为最合理的几个选择，然后比较老师和学生在这些选择上的概率分布。这样既避免了单一选择的局限性，又保持了训练的稳定性，在数学推理和多任务学习中都表现更好。