全球首个「开源GPT-4」出世！Llama 3震撼发布，Meta AI免登录可用

在AI领域，一项重大突破引发热议，被誉为“真·Open AI”的LLM项目推出了首个开源GPT-4级模型——Llama3。这款模型迅速登上Hugging Face排行榜首，Meta公司共开源了Llama3的8B和70B两个版本，预训练和指令微调双版本。Llama3在定制集群上使用15万亿个token训练而成，即使是最小的8B版本，其性能也超越了Llama2的某些大版本。未来，Llama3还将推出更多版本。Llama3400B作为性能野兽，预训练版本在ARC-Challenge上得分高达96，指令微调版在多任务语言理解等方面表现出色。与GPT-4和其他模型对比，Llama3400B在多语言推理和代码生成方面展现出强大竞争力。Meta宣布未来将发布更多功能模型，包括多语言对话和更长的上下文支持。此外，Llama3在逻辑推理、代码生成和指令遵循等能力上均有显著提升，成为更可控的模型。Meta通过优化训练后过程，降低了错误率，增强了模型与人类意图的一致性。在与Llama2和其他开源模型的比较中，Llama3表现出色。Llama3的开发不仅关注基准测试，还注重在实际场景中的优化，通过12个关键应用场景的高质量人工评估数据集进行训练。Llama370B在推理、数学和代码生成等方面超越了众多竞争对手。Llama3的架构基于Transformer，采用128K token分词器和GQA机制，经过大规模训练，性能显著提高。Meta在训练数据、模型架构、扩大训练规模和指令微调四个方面进行了关键创新。

本文来源：