标签:微调训练代码

360 智脑 7B 参数大模型开源,支持 50 万字长文本输入

360公司最近在GitHub上公开了其创新项目——360智脑7B,这是一个具有70亿参数的大型模型,旨在推动人工智能技术的发展。该模型基于3.4万亿的Tokens语料库进行训练,涵盖了中文、英文和代码等多种语言类型。360公司强调,360K版本(约50万字)是目前中国国产开源模型中最长的文本长度。 在OpenCompass的一系列主流评估数据集中,360智脑7B表现出色,参与了C-Eval、AGIEval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、HumanEval、MBPP、BBH、LAMBADA等任务,展示了其在自然语言理解、知识、数学计算推理、代码生成和逻辑推理等多个...