古董级PC成功运行Llama 2，开启人工智能普及新篇章

近日，一个名为EXO Labs的组织成功地在一台古老的Windows 98奔腾2（Pentium II）计算机上运行了人工智能模型Llama 2。这一壮举不仅展示了技术的跨越式进步，也为人工智能的普及和应用提供了新的思路。对于一款26年前的计算机这台设备配备了英特尔奔腾2 CPU和仅有128MB内存，却仍然能够以每秒39.31个token的速度稳定输出，这让人感觉如同回到了科幻电影中的场景。

EXO Labs的导师由牛津大学的研究人员和工程师组成，成立于9月份，旨在推动人工智能的民主化。EXO团队认为，人工智能的开发和控制不应该仅仅由少数几家大公司操控。正因如此，他们决心建立一个开放且可在任何设备上运行的人工智能基础设施。通过这样的方法，普通用户可以利用有限的资源训练和运行前沿的AI模型。而这次在老旧硬件上运行Llama模型，则是向外界传达了这一理念的有力证据。

为了实现这一目标，EXO Labs面临了一系列挑战。他们在eBay上找到了一台售价118.88英镑的Windows 98奔腾II电脑，然后开始着手让这台古董机器与现代科技对接。由于现代的USB键盘和鼠标无法与这台古电脑兼容，工程师们不得不重新利用PS/2接口，注意到键盘与鼠标的连接必须严格按照预设端口进行配置，成功启动Windows 98成为了第一个里程碑。

的挑战是将所需文件和模型传输到这台老旧的计算机上。由于系统不支持现代的RW磁盘，而更大的4TB USB驱动器又不兼容FAT32格式，他们选择了古老但稳定的FTP协议。经过一番调整，使用现代MacBook Pro与Windows 98机器建立静态IP连接，EXO团队成功地实现了文件的传输。

另外一个巨大的挑战在于在老旧操作系统上编译现代代码。他们试图使用mingw编译现代C++代码，但由于兼容性问题陷入了困境。他们决定采用Borland C++ 5.02这一老旧的集成开发环境，通过对Andreij Karpathy的Llama2.c代码进行小范围的修改，使其适用于Windows 98，从而完成了成功编译并且能够运行的可执行文件。

EXO团队的目标不仅仅是完成这一项目，而是向世界展示旧硬件也能发挥出意想不到的能力。他们在Turbo C这个有着26年历史的环境中，实现了对Llama 2的推理。模型能够生成出关于“Sleepy Joe”的故事，虽然生成速度不及ChatGPT，却说明了在高效利用资源的方向上还有很大的潜力。

在探索未来的过程中，EXO Labs也对下一代人工智能架构展开了研究。他们将目光投向了一种名为BitNet的模型架构，这种架构使用三元权重，每个权重仅需0、-1或1。通过这种方式，BitNet可以大幅降低存储需求并提高计算效率。例如，一个7B参数的BitNet模型仅需1.38GB的存储空间，适用于大多数硬件，甚至是数十年前的PC。

在未来的研究进程中，EXO计划于2025年推出一个三元模型，展示其在人工智能领域的无限潜力。他们坚信，开发新的高效架构并优化内存使用，将成为推动人工智能民主化的重要因素。在EXO的努力下，任何人无论处于何种环境或是设备，都有可能参与到现代人工智能的应用之中。

EXO Labs在古董级PC上成功运行Llama 2的尝试，不仅仅是对技术的挑战，更是对人工智能应用普及的一次重要推动。这一团队的努力，展示了即使在技术条件极其有限的情况下，人工智能的发展依然能够迎来曙光，落实“让人工智能普及大众”的使命，开启了一条崭新的道路。希望未来可以看到更多此类创新案例，帮助不同人群享受和参与到人工智能带来的便利和乐趣之中。