标签:线性注意力机制
【MiniMax 01首次开源:线性注意力机制助力大模型突破Transformer架构,中国AI Agent震惊海外开发者】
2025年MiniMax再推两大模型,性能与开源引关注 2025年初,中国AI公司MiniMax再次引发行业热议。继2024年公布全模态模型家族后,时隔五个月,MiniMax推出了两款全新的大模型,并且完全开源了模型权重。这两款新模型在性能上与GPT-4o和Claude-3.5-Sonnet相当,尤其在上下文窗口处理能力方面表现出色,处理速度是其他顶尖模型的20至32倍。 更重要的是,MiniMax首次大规模实现了线性注意力机制(Linear Attention),这一机制将传统注意力机制的二次计算复杂度转变为线性复杂度,显著降低了计算复杂度并提升了训练速度。早在20...