OpenAI新模型Orion遭遇性能瓶颈，发展面临重大挑战

OpenAI的新一代大语言模型“Orion”在其研发过程中似乎遇到了重大挑战。据《The Information》的报道，OpenAI内部员工反映该模型的性能提升未达到预期，与之前从GPT-3到GPT-4的升级相比，这次的质量提升显得“微不足道”。尽管Orion在语言处理能力上有了增强，但在某些时期执行特定任务时，其稳定性并不比前代模型GPT-4优秀，更在编程能力等特定领域显得力不从心。

一项关键因素是，训练高质量数据的来源逐渐减少，意味着开发人员在寻找优质训练数据时面临更多障碍。这一条件使得大型语言模型（LLMs）的发展速度受到遏制。未来模型的训练将需要投入更多的计算资源和资金，甚至对电力的需求也在增加，导致项目成本变得昂贵。OpenAI的研究员诺姆·布朗（Noam Brown）在TED AI大会上指出，随着模型的复杂性和需求的上升，训练下一代模型在经济上可能难以维持进行下去。他的警告如“在某个时刻，扩展定律可能会崩溃”般引人深思。

扩展定律（scaling laws）是人工智能领域的一项基本原则，意指当我们加入更多的数据和计算能力时，大语言模型的性能应会相应提升。从某种意义上说，这一法则也有其极限。当模型逐渐增大，增加训练数据或计算资源所带来的性能提升可能会显著减小。简单提升生产力的效果会随着投入的增加而逐渐递减，就如同一个汽车生产车间扩展到一定规模后，再增加工人或机器所带来的产量提升会大幅减小。

Orion模型的困境也反映了这一理論现象。随着模型规模的增加，即使在初期和中期产生了显著的性能提升，在后期阶段，继续增加投入而获得的性能增长可能会微乎其微，这就是所谓的“撞墙现象”。根据一篇近期发表在arXiv上的论文，随着对公共人类文本数据的需求不断增加，预计在的几年内，大型语言模型的发展或将面临公共数据资源枯竭的危机。

尽管诺姆·布朗对此情况表示担忧，但他同时认为人工智能的发展不会很快放缓。这种看法得到了OpenAI大多数研究人员的认同，他们相信尽管扩展定律可能开始显现其限制，但通过优化推理效率和在训练后进行改进，AI整体发展的动能仍然会保持。Meta的马克·扎克伯格、OpenAI的山姆·奥特曼以及其他AI开发公司的首席执行官也公开表达了他们尚未达到传统扩展定律极限的观点，并且正持续投入资源以建设更为昂贵的数据中心以提升预训练模型的效能。

OpenAI的产品副总裁彼得·韦林德（Peter Welinder）在社交媒体上提到，人们常常低估了在模型进行实际测试时所需计算的能力。所谓测试时计算（TTC），涉及模型在应对新的输入数据时的推理过程，这对于某些复杂的深度学习模型尤为重要。

针对未来的挑战，OpenAI的联合创始人伊利亚·苏茨克弗（Ilya Sutskever）在接受媒体采访时也表达了对现状的担忧。他提到，自2010年代以来，人工智能的快速扩展已进入一个相对稳定的阶段，现需要再次回到探索和创新的基础。他指出，合理扩展模型规模已经比以往任何时候都显得重要，可以有效促进模型的效能提升。

随着技术的不断演进，预计Orion模型将于2025年发布。OpenAI选择将这一模型命名为“Orion”而非“GPT-5”，暗示着希望在这一新产品中迎来一场突破性的变化。尽管目前面临诸多困境，但业内对这个即将面世的“新生儿”依旧充满期待，寄希望于其在未来为AI大模型带来新的方向与机遇。