标签：预训练数据

Meta公司最近发布了其最先进的开源大模型——Llama 3系列，包括8B和70B两个版本，这些模型在多项基准测试中超越了其他开源和闭源模型。Llama 3 8B在MMLU、GPQA等任务上优于谷歌的Gemma 7B和Mistral 7B Instruct，而70B版本则在相同基准上超过了闭源的谷歌Gemini Pro 1.5和Claude 3 Sonnet。Llama 3系列的最大模型规模预计将超过4000亿参数，标志着开源模型的一个重要里程碑。 Llama 3基于超过15T的公开数据进行预训练，数据量是前一代Llama 2的七倍，代码量也增加了四倍。训练效率相较于Llama 2提高了三倍。Meta的AI助手已经...