EXO Labs成功在26年老奔腾II电脑上运行Windows 98中的大型语言模型

近日，一个名为EXO Labs的组织在社交媒体上引起了广泛关注，他们成功地在一台运行Windows 98系统的26年老奔腾II电脑上运行大型语言模型（LLM）。这一突破性成就展示了老旧硬件与现代人工智能技术的融合，同时也彰显了EXO Labs对人工智能普及的坚定信念。

背景介绍

EXO Labs由一群牛津大学的研究人员和工程师组成，成立于2023年9月。该组织的目标是打破大型企业对人工智能的垄断，推动AI的民主化，创造一种开放的基础设施以供训练前沿模型，并使这些模型能够在不同环境中运行。他们的核心理念是让每个人都能在几乎任何设备上使用和训练人工智能模型，以此来应对人工智能技术所带来的文化和社会挑战。

经典硬件的现代应用

此次EXO Labs实现的壮举，涉及到一台350MHz的Elonex奔腾II电脑，这台电脑于1997年发布，内存仅为128MB，几乎可以被视为古董。在一段发布的视频中，组织展示了这台老旧机器是如何启动Windows 98后，运行基于Andrej Karpathy开发的Llama2.c推理引擎，并生成与“Sleepy Joe”相关的故事。在整个生成过程中，老电脑的运行流畅程度令人惊叹。

为了完成这一项目，EXO Labs在eBay上购买了一台老式Windows 98电脑。老设备的数据传输自然而然地成为了项目的一大挑战。他们选择站在技术的“复古”一侧，使用这台电脑的以太网端口，通过古老的FTP协议完成了文件的传输。成功传输完成后，更大的挑战接踵而至——为Windows 98编译现代代码。

用现代技术重塑古老设备

EXO Labs团队发现了Andrej Karpathy的Llama2.c，这是一种可以通过700行纯C代码实现对Llama 2架构模型推理的工具。他们利用这一工具，以及老式的Borland C++ 5.02 IDE和编译器进行一些调整，最终成功将其编译为可以在Windows 98上运行的可执行文件。团队还在GitHub上公开了最终代码，使更多人能够借鉴和使用。

EXO Labs的成员Alex Cheema特别感谢了Karpathy的代码，并对其在使用基于Llama架构的26万参数的LLM时的表现表示赞叹。尽管这个模型的参数量相对较小，但在古老的单核电脑上运行却表现出相对不错的生成速度，吸引了不少网友的关注。

未来展望：人工智能的普及之路

尽管此次成功在Windows 98上运行LLM只是EXO Labs众多目标中的一项，他们的长远规划中，还有更具野心的“BitNet”项目。BitNet是一种使用三元权重的transformer架构，结合这一架构，一个70亿参数的模型仅需1.38GB的存储，这对现代计算机来说是一个福音。

更为值得注意的是，EXO Labs明确表示，BitNet是“CPU优先”的，这意味着使用这种模型可以避免对昂贵GPU的依赖。该类型的模型效率高出50%，在单个CPU上还可以以人类阅读速度（即每秒5至7个token）的速度运行一个1000亿参数的模型。这一技术的出现有望使得更多的普通用户能够在个人电脑上体验到强大的AI功能，从而推动AI技术向更广泛的群体普及。

EXO Labs在其博客文章中指出，人工智能不应仅由少数几家大型企业所控制，而应成为全社会的共同资源。他们所展示的这一项目不仅是技术上的创新，更是对未来AI发展的深思熟虑。

EXO Labs在这台26年老机器上成功运行大型语言模型的事件，不单单是一次技术挑战，更是对人工智能未来的积极探索。通过将现代技术与老旧设备结合，EXO Labs向世界展示了AI民主化的可能性，带给人们希望与启发。随着AI技术的不断进步，未来每个人无论身处何地，均有机会参与其中，共同推动社会的发展和进步。