AI在用| 没错，树莓派5也能飙上Llama 3了！

在人工智能领域，以大模型和AIGC为代表的创新技术正在逐步重塑我们的生活方式和工作模式。为了帮助大众更好地理解和应用AI，我们推出「AI在用」栏目，分享直观、趣味且实用的AI案例，旨在揭示AI的运用方法，启发人们的思考。最近，Meta发布了Llama 3，被誉为“最强开源大模型”，在多项指标上超越其他领先模型，尤其擅长代码生成。Llama 3包括8B和70B两种参数规模版本，吸引了众多网友尝试。其中，一位名为@adamcohenhillel的网友成功在价格低廉的树莓派5上运行了Llama 3 8B模型，实现每秒1.89个token的速度，支持8K上下文窗口。虽然在树莓派上运行大模型响应时间相对较长，但对于实时应用需求已足够。该用户还利用4bit量化减少了模型大小和计算需求。文章提供了在树莓派5上运行Mistral 7B模型的操作指南，包括安装Raspberry Pi OS、SSH连接、安装Ollama或llama.cpp等步骤。

本文来源： 机器之心【阅读原文】