标签：参数量

马斯克近期做出了一个重大决定，开源了名为Grok-1的大型语言模型，使其成为目前参数量最大的开源模型，拥有3140亿参数，超过OpenAI的GPT-3.5。Grok-1的开源封面图由Midjourney生成，象征着“AI帮助AI”的理念。该模型遵循Apache 2.0协议，允许用户自由使用、修改和分发，无论个人还是商业。尽管使用Grok-1可能需要大量GPU内存，但其开源性质已吸引了大量关注，GitHub上的星标数量不断攀升。 Grok-1由马斯克的AI初创公司xAI在四个月内开发完成，先期的Grok-0模型在标准测试中表现接近Meta的Llama2。经过优化，Grok-1在HumanEva...

马斯克旗下的大模型Grok最近宣布开源，成为目前最大参数量的开源模型，拥有3140亿参数。Grok-1基于混合专家（MoE）架构，包含8个专家，其中两个专家在处理任务时被激活，激活参数量高达86B。尽管模型规模庞大，需要高性能GPU和内存支持，但Grok-1的开源代码和权重已在GitHub上发布，采用Rust编程语言和JAX框架。此外，Grok-1的embedding方式、窗口长度、vocab大小等技术细节也被公开。开源许可协议为Apache 2.0，允许商业使用。马斯克此举被认为是对OpenAI封闭政策的回应，同时特斯拉、SpaceX和Twitter等其他业务也在不断创新。