标签:gem

谷歌最强开源模型Gemma 2发布!270亿参数奇袭Llama 3,单张A100可全精度推理

谷歌在I/O Connect大会上推出了其最新的开源模型Gemma 2,这款模型拥有90亿和270亿两种参数规模,其中27B模型在LMSYS Chatbot Arena中表现出色,击败了700亿参数的Llama 3。Gemma 2在性能、推理效率和安全性方面都有显著提升,26亿参数的版本甚至可以在手机上本地运行。 相较于前一代,Gemma 2在架构上进行了重新设计,采用了交替的局部-全局注意力机制和知识蒸馏技术。此外,Gemma 2还支持多种AI框架,如Hugging Face Transformers,便于开发者和研究人员部署。 为了提高效率和降低成本,Gemma 2 27B模型能在单个GPU或TPU...