标签：8x22B

Mistral AI，一家初创公司，再次引起人工智能（AI）领域的轰动，通过发布一个281GB的磁力链，解禁了其最新的8x22B MoE（Mixture of Experts）模型。这款创新MoE模型拥有56层深度，48个注意力头，包含8个专家和2个活跃专家，上下文长度达到65k，彰显出强大的计算与处理能力。该模型的出现让社区用户兴奋不已，期待其与其他最先进的（SOTA）模型进行详细对比。 去年12月，Mistral AI首次发布的8x7B MoE模型就获得了广泛赞誉，其在基准测试中超越了参数量更大的Llama2模型。该模型能处理长达32k的上下文，并支持多种语言，如英...