Llama 4重磅发布：首次引入混合专家架构，千万token上下文能力，开源AI领域新突破——多模态模型与强化学习助力超越DeepSeek

万万没想到，Meta 选择在周末发布了全新的 AI 模型系列——Llama 4。作为 Llama 家族的最新成员，该系列包括 Llama 4 Scout、Llama 4 Maverick 和 Llama 4 Behemoth。这些模型通过大量未标注的文本、图像和视频数据进行训练，具备广泛的视觉理解能力。

Meta GenAI 负责人 Ahmad Al-Dahle 表示，Llama 4 展现了 Meta 对开源 AI 的长期承诺以及开放系统将带来最佳小型、中型和前沿大模型的坚定信念。谷歌 CEO 劈查伊也对 Llama 4 团队表示祝贺，并称赞人工智能世界永远不会无聊。

在大模型竞技场（Arena）中，Llama 4 Maverick 总排名第二，成为第四个突破 1400 分的大模型。其中，开放模型排名第一，超越了 DeepSeek；在困难提示词、编程、数学、创意写作等任务中均表现优异，大幅超越自家的 Llama 3 405B，得分从 1268 提升到 1417。

那么 Llama 4 模型系列有哪些特点呢？

具体而言：
– Llama 4 Scout：拥有 170 亿激活参数和 16 个专家，是全球最佳的多模态模型之一，比前几代更强大，且能适配单个 NVIDIA H100 GPU。此外，它提供了行业领先的 10M 上下文窗口，在基准测试中表现优于 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1。

– Llama 4 Maverick：拥有 128 位专家和 170 亿激活参数，是同类中最好的多模态模型，在多个基准测试中击败了 GPT-4o 和 Gemini 2.0 Flash。其推理和编程能力与新 DeepSeek v3 相当，但激活参数不到一半。Llama 4 Maverick 提供了一流的性价比，其实验性聊天版本在 LMArena 上的 ELO 得分为 1417。

这两个模型是 Meta 迄今为止的最佳成果，主要得益于它们是从拥有 2880 亿激活参数和 16 个专家的 Llama 4 Behemoth 模型进行知识蒸馏而来。

– Llama 4 Behemoth：这是 Meta 最强大的模型之一，也是世界上最智能的大型语言模型之一。在多项 STEM 基准测试中，Llama 4 Behemoth 的表现优于 GPT-4.5、Claude 3.7 Sonnet 和 Gemini 2.0 Pro。尽管仍在训练中，但后续 Meta 将会发布更多。

用户现在可以在 llama.com 和 Hugging Face 下载最新的 Llama 4 Scout 和 Llama 4 Maverick 模型。所有 Llama 4 模型均采用原生多模态设计，支持上传图像并回答相关问题。Llama 4 Scout 支持长达 1000 万 token 的上下文，解锁了许多新用例。

在预训练阶段，Meta 首次采用了混合专家（MoE）架构，提高了计算效率。此外，Meta 还改进了视觉编码器，开发了新的训练技术 MetaP，以更好地设置模型超参数。Llama 4 系列通过在 200 种语言上进行预训练，支持开源微调工作，涵盖超过 100 种语言。

后训练阶段，Meta 设计了一种精心策划的课程策略，以平衡多种输入模态、推理能力和对话能力。Meta 使用轻量级监督微调（SFT）、在线强化学习（RL）和轻量级直接偏好优化（DPO），实现了模型智能与对话能力的良好平衡。

性能方面，Llama 4 Maverick 在多个基准测试中表现出色，超越了类似模型如 GPT-4o 和 Gemini 2.0。较小的模型 Llama 4 Scout 则在长上下文泛化能力方面表现出色，支持高达 1000 万 token 的上下文长度。

Llama 4 Behemoth 是一个教师模型，拥有 2880 亿激活参数和近 2 万亿总参数。在数学、多语言和图像基准测试中，它提供了非推理模型的最先进性能。为了应对两万亿参数模型的后训练挑战，Meta 重新设计并改进了底层的强化学习基础设施，使训练效率相比上一代提升了约 10 倍。

最后，Llama 4 Scout 和 Llama 4 Maverick 已开放下载，地址如下：
– [llama.com](https：//www.llama.com/llama-downloads/)
– [Hugging Face 地址](https：//huggingface.co/meta-llama)

参考链接：[Meta AI Blog](https：//ai.meta.com/blog/llama-4-multimodal-intelligence/)

本文来源：