Llama 2 在 Windows 98 奔腾 II 上成功运行：每秒39个token，探索26年前的老年机如何支持现代人工智能普及

让 Llama 2 在 Windows 98 奔腾 II 上成功运行

最近，EXO Labs 成功地让 Llama 2 模型在一台 26 年前的硬件上运行，这台机器配备了英特尔奔腾 II CPU 和 128MB 的内存。令人惊讶的是，模型的输出速度达到了每秒 39.31 个 token。这项实验不仅展示了 Llama 模型的强大适应性，还证明了即使在资源极其有限的情况下，现代人工智能模型仍然可以运行。

EXO Labs 的使命与背景

EXO Labs 是一个由牛津大学研究人员和工程师组成的组织，成立于今年 9 月，其使命是“让人工智能普及大众”。该组织认为，少数几家大公司控制人工智能对社会的文化、真理等方面产生了负面影响。因此，EXO 致力于建立开放的基础设施来训练前沿模型，并使任何人都可以在任何地方运行这些模型。

实验过程

为了验证这一概念，EXO Labs 从 eBay 上购买了一台古老的 Windows 98 奔腾 II 电脑（售价 118.88 英镑）。他们面临的挑战包括：

1. 硬件兼容性：USB 键盘和鼠标无法工作，必须使用 PS/2 接口。
2. 文件传输：现代存储设备不兼容，最终通过 FTP 协议成功传输文件。
3. 编译问题：Windows 98 无法直接编译现代代码，最终使用了 26 年前的 Borland C++ 5.02 编译器。

借助 Andrej Karpathy 开发的 llama2.c 项目，经过一些调整后，Llama 模型成功在 Windows 98 上运行并生成了一个关于 Sleepy Joe 的故事。

BitNet 的未来展望

EXO Labs 还研究了三元权重的 transformer 架构 BitNet，这种架构每个权重只能是 0、-1 或 1，大大减少了模型的存储需求。例如，7B 参数的 BitNet 模型仅需 1.38GB 存储空间，可在大多数旧硬件上运行。BitNet 不仅节能，还能在单个 CPU 上以人类读取速度运行。

结语

EXO Labs 的实验展示了在旧硬件上运行人工智能模型的可能性，为未来的创新提供了新的思路。他们鼓励更多人加入到优化旧硬件上的人工智能应用中来，共同推动人工智能的普及。

本文来源：