谷歌最强开源模型Gemma 2发布！270亿参数奇袭Llama 3，单张A100可全精度推理

谷歌在I/O Connect大会上推出了其最新的开源模型Gemma 2，这款模型拥有90亿和270亿两种参数规模，其中27B模型在LMSYS Chatbot Arena中表现出色，击败了700亿参数的Llama 3。Gemma 2在性能、推理效率和安全性方面都有显著提升，26亿参数的版本甚至可以在手机上本地运行。

相较于前一代，Gemma 2在架构上进行了重新设计，采用了交替的局部-全局注意力机制和知识蒸馏技术。此外，Gemma 2还支持多种AI框架，如Hugging Face Transformers，便于开发者和研究人员部署。

为了提高效率和降低成本，Gemma 2 27B模型能在单个GPU或TPU上高效运行全精度推理。同时，Gemma 2在MMLU、AGIEval和HumanEval等基准测试中表现出色。谷歌还提供了负责任的AI开发资源，包括LLM Comparator工具，以评估模型的安全性。Gemma 2将在Vertex AI上供谷歌云客户使用，且用户可以通过Gemma Cookbook学习如何构建和微调应用。

本文来源： 智东西【阅读原文】