标签：异构集群

如果你有闲置的电子设备，现在可以将它们派上新用场，尝试构建一个AI领域的创新应用。通过组合iPhone、iPad、Macbook，甚至Windows或Linux系统，你可以搭建一个“异构集群推理方案”，高效运行复杂的Llama3模型。这个方案不仅支持iOS，未来还将兼容Android。项目开发者@evilsocket已经在GitHub上分享了全部代码，引发网友热议。然而，一些人关注到能耗问题，认为即使不考虑运算速度，仅电费就可能相当可观。 关键在于一个名为Cake的Rust框架，它使得大模型如Llama3能够进行分布式推理，将不同操作系统（iOS、Android、macOS、...