DeepSeek团队通过代码训练提升AI模型推理能力

随着人工智能技术的不断进步，模型的推理能力逐渐成为评估其性能的重要标准。在此背景下，DeepSeek团队的最新研究成果引人瞩目。该团队通过对大规模代码进行深度训练，有效地提升了诸如Qwen、Llama等多个AI模型的推理能力。

本次研究的核心在于中提到的300多万个实例。这些实例构成了一个丰富的数据集，经过筛选与处理，为模型的训练提供了坚实的基础。研究团队在分析各类代码的逻辑与思维过程后，发现代码中蕴含了多样的思考方式，因而决定将这些思考过程提取出来，进一步优化推理模型的表现。

数据集构建与模型训练

DeepSeek团队从多个源码库中收集了超过80万份代码文件，这些代码属于不同编程语言，其中以Python为主。涵盖的任务类型繁多，显示出丰富的推理模式。不过，原始代码往往缺乏结构化且包含一些不相关的元素，导致执行困难。为了使这些代码更能服务于AI训练，团队运用DeepSeek-V2.5模型进行预处理，重新组织代码结构，提取核心逻辑功能，并为关键函数设置主入口函数，确保明确输入/输出的要求。

在预处理的过程中，部分代码遇到了超时或难以执行的问题，团队对这些代码进行了筛选，最终留下了40多万份精简后的代码，生成350万种样本实例。随后，他们利用DeepSeek-V2.5将这些代码、输入/输出对、功能描述联系在一起，构建训练样本。

每个输入-输出对都通过构建输入提示来进行标记，这一过程包括描述函数的文本内容和相关的代码参考。这些信息的整合，使得模型在接收到提示时能够更清楚地理解推理过程，从而生成回答。

多层次修正与验证机制

在数据集的建设中，DeepSeek团队引入了一种独特的验证与修订机制。他们对生成的响应答案进行代码执行，再次核实其正确性，确保高质量的结果。如果发现响应不正确，团队会将执行反馈作为新输入信息，促使模型重新生成答案。这一过程分为两轮，通过多轮修正，最终的响应包括初轮反馈、第二轮反馈，确保了答案的准确性。

经过这一系列复杂的处理，团队构建了高质量的增强型数据集，成为后续模型训练的基础。在训练过程中，他们利用经过DeepSeek V2或++处理的数据集提升模型的推理能力，随后再通过通用指令数据集进行微调，以指导模型如何遵循自然语言指令并执行各项任务。

训练效果评估

为了验证数据集的有效性，DeepSeek团队选择了四个具代表性的模型进行测试，分别是Qwen 2.5-7B-Coder、Deepseek v2-Lite-Coder、Llama 3.1-8B及Gemma 2-27B。测试涵盖了常识、数学、代码和物理等多个领域。结果表明，经过新数据集训练后的模型在推理任务中的表现有了显著提升。Qwen-Coder在代码理解任务上实现了突破性进展，DeepSeek-Coder则展现出均衡的性能上升，不同领域的推理能力均有所提高。

尤其值得一提的是，Llama模型在特定的测试任务中，表现出近150%的性能提升，证明即使是参数较少的模型，也能够通过合理的训练方法获得显著改善。作为测试中参数最多的Gemma模型，同样展现了良好的训练效果，在多个关键领域上达到了新的高度。

与展望

DeepSeek团队的研究为AI模型推理能力的提升提供了新的思路与方法。通过对代码的深入分析及训练，不仅丰富了数据集，还提升了模型的推理能力。他们的工作证明了代码中隐含的思维模式在AI训练中的重要性，为未来AI的发展开辟了新的可能性。

作为项目的参与者之一，本文的第一作者是一位来自上海交通大学的硕士生，目前在DeepSeek实习。研究的合作以及更多的项目成果也使得DeepSeek在AI领域的影响力与日俱增。未来，团队期望能将这一方法应用于更多领域，以促进AI技术的更广泛应用与发展。

相关链接：

论文地址：[arXiv](https://arxiv.org/abs/2502.07316)

GitHub源代码：[DeepSeek GitHub](https://github/hkust-nlp/CodeIO)

数据集：[Hugging Face Datasets](https://huggingface.co/datasets/hkust-nlp/CodeIO-PyEdu-Reasoning)

本文源于微信公众号：量子位（ID：QbitAI），作者：克雷西。