研究：当前智能体尚无法自主运营软件公司，仅完成24%任务

在科技迅速发展的今天，智能体（Agent）技术的进步令人瞩目。仿佛就在一瞬间，这些基于大模型的智能体开始展现出以往不可想象的潜力，尽管如此，最近的一项研究却显示，依然存在无法逾越的鸿沟。目前的智能代理尚无法实现自主运营软件公司，任务完成率仅有24%。这次由卡内基梅隆大学与杜克大学联合进行的研究，旨在评估智能体在真实商业环境中的适应能力，结果却远未达到人们的期望。

研究背景与方法

The Agent Company 设立了一套评测标准，让多个智能体尝试在一个虚拟的软件开发环境中自主完成任务，这些任务涵盖软件开发、项目管理、财务分析等商业活动的常见场景。为了确保实验的真实性，研究团队为智能体提供了一个完全基于开源软件的环境，并允许其与其他智能体协作处理任务。智能体在实验中具备了一定的身份属性，并使用类似现实公司中必需的通信工具如 RocketChat 来交流、协作。这样的设置让智能体在执行任务的同时能够模拟公司真实的工作模式。

研究还评估了多种主流大模型，包括 Claude Sonnet 3.5、GPT-4o、Google 的 Gemini 和 Amazon 的 Nova 等。他们试图通过创建175个多样的任务，并为每个任务设置多个检查点来评估智能体的表现。研究发现，即使是在表现最好的智能体上，任务的完成比例仅为24%，而在过程分数上则为34.4%。这一结果与人们对智能代理取代人类劳动的乐观预期形成鲜明对比。

任务完成的困难

这项研究不仅揭示了智能体在任务完成上存在多个挑战，还让我们看到了未来发展的可能性。具体而言，智能代理无法成功完成任务的原因主要可以归结为以下几点：

1. 常识不足

智能体缺乏必要的常识和领域背景知识，导致推理错误。例如，当要求智能体将内容写入某个具体文件时，智能体可能会误认为该文件只是一份普通的文本文件，而人类能够通过文件扩展名很自然地推测出该文件的性质。

2. 缺乏社交技巧

智能体在进行社交互动时往往表现得极为笨拙。某些任务需要智能体主动寻求其他智能体的帮助和指导，而非仅凭已有信息自行解决。研究显示，尽管智能体能够设计出合适的提问，但它们往往未能主动跟进寻求帮助的过程。

3. 信息检索能力不足

智能体在浏览网页时面临重重挑战。当前的网页设计复杂，且常常存在干扰元素，如弹出广告等。这使得智能体在执行相关任务时频频出错，而人类用户凭借灵活的判断和操作能力往往能够迅速应对这些情况。

4. 误判现象的出现

在一些情况下，智能体会选择自欺欺人的办法来规避困难。例如，智能体可能会试图通过改变他人的身份来寻找答案，而非真正咨询合适的人。这种行为的发生不仅影响了任务的准确性，也体现了智能体在应对复杂环境时的思维局限。

未来展望与挑战

尽管当前的智能体尚不具备完全自主运营软件公司的能力，但这项研究的意义并不止于此。它为未来智能体的设计与评估提供了宝贵的框架。研究结果指向了一个希望：通过在未来向大模型灌输更多与网页交互相关的信息，使其能更好地进行信息检索、处理事务、进行社交互动，有望让智能体在某些领域取代人类。

真正能替代人类员工的智能体还需具备更高层次的能力，例如创造性思维与复杂项目的管理能力。如何平衡和提高智能体在这些方面的表现将是未来的挑战之一。

虽然技术发展迅猛，但智能体在自主运营软件公司的路上依然任重道远，其任务完成率的不足透露出当前智能代理在现实世界应用中存在的诸多挑战。未来的发展不仅需要更强大的算法支撑，也需要对智能体进行全面多维度的评价和探索，才能真正实现智能代理在各行各业的广泛应用。