马斯克突然开源Grok：3140亿参数巨无霸，免费可商用

马斯克旗下的大模型Grok最近宣布开源，成为目前最大参数量的开源模型，拥有3140亿参数。Grok-1基于混合专家（MoE）架构，包含8个专家，其中两个专家在处理任务时被激活，激活参数量高达86B。尽管模型规模庞大，需要高性能GPU和内存支持，但Grok-1的开源代码和权重已在GitHub上发布，采用Rust编程语言和JAX框架。此外，Grok-1的embedding方式、窗口长度、vocab大小等技术细节也被公开。开源许可协议为Apache 2.0，允许商业使用。马斯克此举被认为是对OpenAI封闭政策的回应，同时特斯拉、SpaceX和Twitter等其他业务也在不断创新。

本文来源： 量子位【阅读原文】