2025年初,中国AI公司MiniMax再次引发行业热议。继2024年公布全模态模型家族后,时隔五个月,MiniMax推出了两款全新的大模型,并且完全开源了模型权重。这两款新模型在性能上与GPT-4o和Claude-3.5-Sonnet相当,尤其在上下文窗口处理能力方面表现出色,处理速度是其他顶尖模型的20至32倍。
更重要的是,MiniMax首次大规模实现了线性注意力机制(Linear Attention),这一机制将传统注意力机制的二次计算复杂度转变为线性复杂度,显著降低了计算复杂度并提升了训练速度。早在2019年就有人提出过这一理论,但从未在大规模模型中实现。如今,MiniMax成功突破了这一技术瓶颈,为长文本、大规模数据等复杂任务提供了有力支持。
MiniMax-Text-01:文本处理能力卓越
此次发布的MiniMax-Text-01是一款基础语言大模型,在多个基准测试中表现优异。评测结果显示,MiniMax-Text-01在大多数任务上追平了GPT-4o、Claude-3.5-Sonnet等顶级闭源模型以及Qwen2.5、DeepSeek v3、Llama 3.1等SOTA开源模型,甚至在某些特定场景下,其响应速度和准确率更胜一筹。
例如,在MMLU基准测试中,MiniMax-Text-01得分88.5分,与DeepSeek-V3持平,高于GPT-4o的85.7分。在HumanEval上,MiniMax-Text-01的表现也优于Instruct Qwen2.5-72B。此外,在GPQA Diamond问答数据集中,MiniMax-Text-01取得了54.4的成绩,超过了最新版本的GPT-4o。
MiniMax-Text-01不仅能够高效处理超过百万字符的长文本,还具备出色的长上下文理解能力。与Google的Gemini模型相比,MiniMax-Text-01在64K输入级别的表现与GPT-4o、Claude-3.5-Sonnet相当,但从128K开始显现出明显优势。随着输入长度增加,MiniMax-Text-01的性能衰减最慢,适用于处理长文档和长篇对话。
MiniMax-VL-01:多模态视觉理解能力强大
另一款新模型MiniMax-VL-01是一款视觉多模态大模型,基于MiniMax-Text-01开发,采用了ViT-MLP-LLM框架。该模型具有动态分辨率功能,可以根据预设网格调整输入图像大小,分割成不重叠块进行编码,形成完整的图像表示。MiniMax-VL-01在多种视觉语言任务基准测试中表现出色,尤其在VQA(视觉问答)任务中,性能与GPT-4o相当。
MiniMax-VL-01经过四个阶段的训练,处理数据集总量达到5120亿token。在多个基准测试中,MiniMax-VL-01均取得了优异成绩,尤其是在长文本理解和检索能力评估中,优于多数同类模型。
技术创新与应用前景
MiniMax一直强调技术研发创新和突破,凭借从文本到视觉、从文本到语音、从文本到文本的三大模态基础模型架构,MiniMax在创业公司中脱颖而出。此次发布的两款大模型不仅是其理念的集中体现,也是业内首次大规模实现线性注意力机制的实例。
MiniMax的目标是更快更强,创始人曾公开表示,大语言模型领域中,两个模型性能相似时,速度更快的那个更容易带来产品数据增长。因此,MiniMax创新性地将MOE架构和Linear Attention相结合,理论上可以处理接近无限长的token,同时大幅提升模型效率。在处理10万token时,MiniMax的速度是其他模型的2-3倍,且随着长度增加,效率提升更为明显。
完全开源与低成本应用
目前,MiniMax 01模型已在海螺AI(国内APP,hailuoai.com)以及海外平台(hailuo.ai)上线,用户可以通过这些平台便捷地体验MiniMax 01的强大功能。MiniMax还提供了完整的API服务,以业内最低价格提供文本和多模态理解API服务。更重要的是,这两款模型的完整权重完全开源,并承诺后续更新也会及时上传。
MiniMax选择开源有两方面考量:一是作为技术交流的重要桥梁,帮助更多开发者接触和使用先进模型技术;二是提供一个可参考和借鉴的范例,启发行业思考,促进Agent时代的到来。
行业反响与未来展望
MiniMax 01模型完全开源的消息吸引了大批KOL进行了实测。CSDN知名博主红目香薰表示,MiniMax 01的上下文处理能力对高校计算机教学非常有益。CSDN知名博主申屠鹏会则认为,MiniMax开源模型降低了企业入局大模型的门槛,拓展了AI应用范围,带来更多想象空间。
进入2025年,Agent时代趋势愈加明显。MiniMax自主研发了文本、语音、图像和视频四大模态大模型,并推出了生产力工具海螺AI和AI社区星野等原生应用。通过“全模态模型+APP产品+开放平台”的增长飞轮,MiniMax找到了通往AGI的道路,底层技术创新为其商业化提供了坚实基础。
本文来源: iFeng科技【阅读原文】