360 智脑 7B 参数大模型开源，支持 50 万字长文本输入

360公司最近在GitHub上公开了其创新项目——360智脑7B，这是一个具有70亿参数的大型模型，旨在推动人工智能技术的发展。该模型基于3.4万亿的Tokens语料库进行训练，涵盖了中文、英文和代码等多种语言类型。360公司强调，360K版本（约50万字）是目前中国国产开源模型中最长的文本长度。

在OpenCompass的一系列主流评估数据集中，360智脑7B表现出色，参与了C-Eval、AGIEval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、HumanEval、MBPP、BBH、LAMBADA等任务，展示了其在自然语言理解、知识、数学计算推理、代码生成和逻辑推理等多个领域的强大能力。在LongBench测试中，该模型在中文单文档问答、多文档问答、摘要和Few-shot等任务中获得平均分第一。同时，在英文的NeedleInAHaystack测试和中文的大海捞针测试中，360智脑7B的准确率均超过了98%，展现出强大的长文本理解能力。

此外，360公司还开源了模型的微调训练代码和推理代码等完整工具集，为大模型开发者提供了一站式解决方案，使他们能够轻松使用和开发。360公司的这一举措得到了周鸿祎的支持，他提倡开源精神，认为不必重复研发，360K的设定也寓意着良好的开端。

本文来源： IT之家【阅读原文】