惊人！利用老旧iOS、iPadOS及macOS设备构建异构集群，实现高效AI推理——Llama3模型在Cake框架下的Android与iOS平台新突破

如果你有闲置的电子设备，现在可以将它们派上新用场，尝试构建一个AI领域的创新应用。通过组合iPhone、iPad、Macbook，甚至Windows或Linux系统，你可以搭建一个“异构集群推理方案”，高效运行复杂的Llama3模型。这个方案不仅支持iOS，未来还将兼容Android。项目开发者@evilsocket已经在GitHub上分享了全部代码，引发网友热议。然而，一些人关注到能耗问题，认为即使不考虑运算速度，仅电费就可能相当可观。

关键在于一个名为Cake的Rust框架，它使得大模型如Llama3能够进行分布式推理，将不同操作系统（iOS、Android、macOS、Linux和Windows）的消费级硬件整合为异构集群。Cake的工作原理是将transformer块分割到多个设备，处理原本单个GPU内存难以承载的模型推理。它通过批量处理连续transformer块的推理来减少数据传输延迟。

要使用Cake，首先需要安装Rust并运行特定命令。对于iOS绑定，可以执行“make ios”。运行worker节点和master节点分别需要指定模型路径、拓扑文件和监听地址。拓扑文件定义了每个worker负责的模型层。此外，Cake提供了一个工具cake-split-model，用于优化内存和磁盘空间，只需提供模型中实际需要的部分数据。

本文来源： 机器之心【阅读原文】