作者 | Robert Krzaczyński

翻译审校 | InfoQ 编辑部

微软人工智能团队与中国人民大学合作，推出了 CoRAG（检索增强生成链 Chain-of-Retrieval Augmented Generation），这是一种全新的人工智能框架，旨在优化检索增强生成（Retrieval-Augmented Generation，RAG）模型。与传统 RAG 系统仅依赖单次检索不同，CoRAG 支持迭代搜索和推理，使得人工智能模型在生成答案前能够动态优化检索结果。

这一改进弥补了传统 RAG 系统的重大缺陷：传统 RAG 系统难以有效整合多源信息。在处理复杂查询，尤其是多跳问答（QA）时，传统 RAG 模型往往力不从心，因为它们仅检索一次信息，这就导致结果不完整或不准确。CoRAG 则通过在每一步重新构建查询来改变这一现状，使人工智能能够像人类研究人员一样“深入思考”检索过程。

CoRAG 的核心创新在于其动态查询重构机制。该模型不再依赖单次检索，而是根据中间推理状态迭代优化查询。这一过程确保了每个阶段检索到的信息都与上下文相关，进而逐步构建出更完整的最终答案。

为了能在无需大量昂贵的人工标注的情况下训练 CoRAG，研究人员采用了 拒绝采样技术（Rejection Sampling），即从现有的 RAG 数据集中生成合理的检索链。模型在这些增强数据集上进行训练，学习生成子查询、子答案和最终答案。

在推理阶段，CoRAG 提供了多种灵活的解码策略，比如：

• 为提高效率的贪心解码；

• 为优化准确性的 N 选 1 采样；

• 为平衡计算成本和性能的树搜索。

这种可扩展性使用户能够控制检索深度，在准确性和计算效率之间实现最佳平衡。

图注：来源：https://arxiv.org/abs/2501.14342

CoRAG 在 KILT 基准测试和多跳问答任务上进行了测试，与现有的 RAG 模型相比，其效果得到了提升。在需要从多个来源检索和整合信息的任务中，该方法尤为有效。

图注：KILT 基准测试结果，来源：https://arxiv.org/abs/2501.14342

图注：多跳问答任务基准测试结果，来源：https://arxiv.org/abs/2501.14342

人工智能领域已经注意到了 CoRAG 的潜在影响力。Durapid Technologies 的创始人兼首席执行官迪普什·贾恩（Deepesh Jain）评价道：> “这是 RAG 向前迈出的一大步！传统方法常常遗漏关键细节，而 CoRAG 的迭代方法让检索更智能、更具动态性。让模型像人类一样优化搜索，有望为复杂查询提供更好的答案。”

此外，Velotix 的高级机器学习工程师叶卡捷琳娜·巴鲁（Ekaterina Baru）强调了该方法与人类研究方法的相似之处：> “这是一种引人入胜的方法——利用迭代检索优化查询，真实地反映了研究人员深入探究问题的过程。它在多跳问答任务上的性能提升令人印象深刻，我很好奇在实际应用中，更长的检索链和计算成本之间的平衡将如何发展。期待看到它的后续进展！”

从静态检索转向迭代方法，CoRAG 开创了一种全新的人工智能搜索和推理处理方式。这在自动研究、企业知识系统以及人工智能辅助决策等领域具有重要价值，因为在这些领域中，获取准确且结构化的信息至关重要。

关于作者

Robert Krzaczyński，Robert Krzaczyński 是一名专注于微软技术的软件工程师。日常工作中，他主要使用.NET 进行软件开发，但他的兴趣远不止于此。除了核心专业技能外，他对机器学习和人工智能有着浓厚的兴趣，并不断在这些前沿领域拓展自己的知识。他拥有控制工程与机器人学的工程学学士学位以及计算机科学的工程学硕士学位。