新开源AI工具Paper2Code实现高效机器学习论文代码生成，引发广泛讨论

一水 发自 凹非寺

量子位 | 公众号 QbitAI

在全球科技界，一个名为Paper2Code的开源AI工具在外网引发了广泛的关注与热议。这一工具是一个多智能体LLM（大语言模型）系统，能够自动生成机器学习领域论文中的相关代码，突破了学术研究中的一大痛点。由于近年来机器学习论文的数量急剧增加，复现实验及其研究成果的过程常常面临时间和资源的重大挑战，因此，Paper2Code的问世为研究人员提供了一个强有力的支持。

根据统计数据，预计到2024年，仅在NeurIPS、ICML和ICLR等顶级会议上，机器学习领域将发布数以千计的论文。大量的理论研究并未伴随相应的代码实现，这导致了研究成果的复现速度相对缓慢。为了解决这一问题，来自不同研究机构的四位专家共同开发了Paper2Code。这款工具分三个阶段工作：规划、分析与代码生成，每个阶段由不同的智能体负责，以确保最终输出代码的质量与准确性。

具体而言，Paper2Code的工作流程涵盖了三个主要部分：

1. 规划（Planning）：在这一阶段，系统会针对上传的研究论文，制定一个详细的计划，涵盖总体框架、架构设计、逻辑设计以及配置文件的制定。

2. 分析（Analyzing）：该阶段将上述计划转化为详尽的文件级规范，确保每个细节都能得到充分解析。

3. 代码生成（Coding）：，系统负责根据前两个部分生成具体的代码，实现论文中述及的方法与实验。

为确保代码生成的高效性与准确性，研究团队设计了多种智能体提示词。这些提示词不仅用于帮助智能体理解论文内容，还要求其输出高质量的规范代码。为了提升生成代码的实用性与优雅性，智能体关注诸如代码的模块化设计、可维护性，以及符合Google风格指南的要求。

在实际的实验过程中，研究人员使用了四种不同的模型及其变体进行评测，分别是：

1. DS-Coder：DeepSeek-Coder-V2-Lite-Instruct

2. Qwen-Coder：Qwen2.5-Coder-7B-Instruct

3. DS-Distil-Qwen：DeepSeek-R1-Distill-Qwen14B

这些模型均基于顶级会议（如ICML 2024、NeurIPS 2024、ICLR 2024）上得分最高的30篇论文进行训练，确保数据源的可信度与学术价值。研究团队选择了总代码量少于70,000个tokens的存储库，进行了一系列严格的测试，以便在可控的范围内实现结果的复现。

为对比Paper2Code与其他AI代码生成框架的优缺点，团队也参考了市场上现有的一些多智能体框架，如ChatDev与MetaGPT。评估的标准包括生成代码的准确性、规范性与可执行性，其次通过邀请13名具有计算机相关背景的硕博学生参与评测，以评估他们对AI生成的代码的满意度。

实验结果表明，在Paper2Code的基准测试中，该工具的表现优于其他多智能体框架，尤其在生成代码的质量上受到了用户的普遍认可。在参与评估的硕博学生中，大约77%的论文原作者表示偏好AI提供的代码，显示出了Paper2Code在实际应用中的巨大潜力。

Paper2Code的出现为机器学习研究社区带来了全新的机遇，能够显著提高研究的效率并降低实验复现的难度。在未来的研究中，这一工具不仅可能改变学术界对于代码生成的认知，还可能在科技创新的其他领域产生积极的影响。随着更多研究者的加入，Paper2Code有望不断优化与迭代，成为推动科学研究向前发展的重要力量。

在AI技术快速发展的今天，Paper2Code的成功也提醒着我们，技术的进步不仅在于人们对工具的使用，更在于如何将这些工具与实际需求结合，推动科学研究的进步。在此背景下，关注和讨论开源AI工具如Paper2Code将为未来的发展带来更多的创新思路与合作机会。