标签：4bit量化

在人工智能领域，以大模型和AIGC为代表的创新技术正在逐步重塑我们的生活方式和工作模式。为了帮助大众更好地理解和应用AI，我们推出「AI在用」栏目，分享直观、趣味且实用的AI案例，旨在揭示AI的运用方法，启发人们的思考。最近，Meta发布了Llama 3，被誉为“最强开源大模型”，在多项指标上超越其他领先模型，尤其擅长代码生成。Llama 3包括8B和70B两种参数规模版本，吸引了众多网友尝试。其中，一位名为@adamcohenhillel的网友成功在价格低廉的树莓派5上运行了Llama 3 8B模型，实现每秒1.89个token的速度，支持8K上下文窗口...