研究显示当前智能体难以独立运营软件公司，任务完成率仅24%

在当今科技迅猛发展的时代，智能体的能力引发了广泛的关注与期待。近日，由卡内基梅隆大学、杜克大学等机构联合发表的研究发现，尽管基于大模型的智能体在许多任务上表现优异，但它们在自主运营软件公司方面仍显得力不从心。这项研究的结果不仅为我们揭示了当前智能体面临的挑战，也促使我们反思人工智能在未来工作的可能性及局限性。

研究背景

这项名为“The Agent Company”的研究构建了一个完全由智能体驱动的虚拟软件公司。研究团队为智能体设置了与人类员工相似的任务，包括软件开发、项目管理、财务分析等。智能体需要通过浏览网页、编写代码，与其他智能体进行协作来完成这些任务。为了确保研究的严谨性，团队采用了开源软件及主流大模型接口，以实现结果的可复现性。

在实验中，研究人员评估了多种主流大模型，包括Claude Sonnet 3.5、GPT-4o、谷歌的Gemini与Amazon的Nova，以及知名开源模型如Meta的Llama和Qwen2.5。这些模型各自面对175个多样化且贴近真实公司运营的任务，评估体系则包括多个检查点和评分标准，智能体每完成一步任务都会获得相应的积分，类似于人类员工的绩效考核体系。

研究结果

研究显现出的结果颇为震惊，即便是表现最佳的Claude Sonnet 3.5智能体，其任务完成率也仅为24%，在过程分上得分34.4%。排名第二的模型（未具体命名）完成的任务比例竟只有11.4%。这些结果表明，尽管大模型在处理特定任务上取得了一定的成就，但它们尚无法有效应对复杂的商业环境与实际操作。

从性能上看，开源模型Llama3.1和闭源模型GPT-4o的排名相近，反映出在某些领域，开源模型已经逼近商用闭源模型的水平。这样的进展在能够实际替代人类劳动力的前景面前显得微不足道，距离实用化仍有相当大的距离。

智能体的不足之处

研究途中，智能体频繁出现的人为错误让人感慨。例如，在一个要求将内容写入特定文件路径的任务中，智能体未能识别文件扩展名的含义，错误地将其视为纯文本文件，直接进行内容输出，最终任务因缺乏对文件类型的判断而失败。人类在面对这样的任务时，凭借常识通常能一目了然，而智能体却显得无从应对。

智能体在寻求帮助时表现出的逻辑缺陷也显示了它们学习中的不足。当智能体意识到应向某位同事求助时，它们通常不会进一步行动，而是止步于提出问题。这种缺乏主动探索的特性使得它们无法充分利用团队资源，导致任务中断。

同时，智能体在处理网页信息方面的能力也存在显著短板。研究指出，许多网页经常出现的广告弹窗及复杂的用户界面让智能体遭遇了众多干扰，无法顺利完成信息获取。这种情况在人类身上几乎不会发生，因为人类能够灵活应对各类突发情况，而智能体却常常因为无法快速适应而陷入困境。

未来展望与建议

尽管当前的研究结果凸显了智能体在自主运营方面的局限性，但它们还是为智能体未来的发展指明了方向。下一步，应当致力于提升智能体的常识推理和领域背景知识，使其在执行任务时能进行更为复杂的隐含假设推理。未来的研究应当聚焦于如何有效提升智能体对于信息架构的理解，以及在人机交互中增强其适应能力。

智能体在处理模糊任务和长远任务方面的能力也需着重考量。例如，在产品构思与实施方面，智能体需要具备更高层次的创造力。这意味着，未来的模型评价不仅要关注基础任务的完成情况，还需要对智能体的创新能力进行考核。

总体而言，尽管当前智能体无法替代人类在软件公司中的大部分工作，但通过持续的研究与改进，未来智能体有望在自动化办公、项目管理及技术支持等领域发挥更大的作用。只有当智能体能够独立高效地完成复杂工作时，它们才能真正担负起运营公司的任务。