26年老奔腾II电脑成功运行大型语言模型，EXO Labs推动AI普及企划

近日，IT之家报道了一个令人瞩目的科技成就：一个名为EXO Labs的团队在社交媒体上发布了一段令人惊叹的视频，展示了一台运行Windows 98的奔腾II电脑——这台电脑距今已有26年历史，却成功地运行起了大型语言模型（LLM）。这项突破性的实验向我们展示了即使是最古老的硬件，经过适当的重构和技术创新，依然能够为先进技术的应用铺平道路。

在视频中，我们看到这台350MHz的Elonex奔腾II电脑启动时显示了熟悉的Windows 98界面，随后，EXO Labs团队利用基于Andrej Karpathy开发的Llama2.c编写的纯C推理引擎，成功生成了一篇关于“Sleepy Joe”的短故事。尽管这款电脑的硬件性能相对落后，整个过程依然运行顺畅，故事生成的速度也让人刮目相看。

EXO Labs是一个由牛津大学的研究人员和工程师组成的组织，自2023年9月成立以来，他们一直致力于推动人工智能技术的开放获取与普及。该团队始终持有一个观点：少数大型科技公司对AI的发展和应用的控制可能会对社会的文化及真相等基本要素产生负面影响。这也是EXO Labs希望通过“构建开放的基础设施，训练前沿模型，并赋予每个人在任何地方均可自由运行它们”的初衷。

要将现代的数据和代码传输到一台古老的Windows 98计算机上并不是易事。EXO Labs团队在这一过程中面临了诸多挑战，最终通过这台老机器的以太网端口，借助“古老的FTP”完成了文件的传输。最棘手的任务则是为Windows 98编译现代代码。在经过一番努力后，他们找到了Andrej Karpathy的Llama2.c工具，这是一个仅用700行纯C代码，便可在Llama 2架构下运行推理的利器。基于这一资源以及老旧的Borland C++ 5.02开发环境和编译器，EXO Labs成功将这段代码编译成适用于Windows 98的执行文件。

在完成这一壮举的过程中，EXO Labs的Alex Cheema特别感谢了Karpathy的代码，称其表现令人惊艳。他们在实验中发现，尽管使用的是仅有26万个参数的LLM，但这台传统的350MHz单核电脑依然可以以令人满意的速度运行。博文中提到，当使用1500万个参数的语言模型时，生成文本的速度略高于每秒1个token，而在使用Llama 3.2的10亿参数模型时，速度则显得相对缓慢，每秒只能生成0.0093个token。

EXO Labs的愿景不仅仅是让这台老旧的Windows 98电脑能够运行LLM。他们希望在未来，通过名为BitNet的技术架构让AI实现更加广泛的普及。BitNet是一种创新的三元权重变换器架构，使得一个70亿参数的模型仅需1.38GB的存储空间，这对一台26年前的奔腾II电脑来说虽仍然有挑战，但对于现代硬件乃至十年前的设备则非常轻松。

EXO Labs强调BitNet的设计是“CPU优先”的，试图摆脱对高昂GPU的依赖。据称，这种类型的模型在效率上较传统模型提高了50%，更为惊人的是，它能够在单个CPU上以接近人类的阅读速度（大约每秒5到7个token）运行一个高达1000亿参数的模型。这意味着，今后的AI模型将有机会在更多的消费级设备上被有效运用，进一步降低了技术的门槛。

EXO Labs通过将古老的硬件与现代技术相结合，展示了AI普及的新可能性。这不仅为那些追求技术创新的研究人员和工程师提供了灵感，也为普通用户使用AI技术带来了新的希望。同时，也有人认为这样的探索将推动未来计算架构的演变，激励更多人参与到人工智能的创造与应用中。

正如EXO Labs所愿，真正的智能应当是为大众所用，而不是被少数人控制。此次实验为实现这一目标迈出了重要的一步，而对于技术爱好者和研究者这样的案例提供了宝贵的学习机会，启发我们思考未来的发展路径。人类与科技的关系将因此而更加紧密，也许不久的将来，更多的历史计算机将重焕生机，成为人类智慧的助推器。