性能对标Llama 3,算力消耗仅1/19!源2.0-M32大幅提升模算效率

浪潮信息发布了开源大模型源2.0-M32,该模型基于MoE技术,拥有32个专家模块和400亿参数,但在运行时仅需37亿激活参数,大大降低了算力需求。相比700亿参数的Llama 3,源2.0-M32在训练、微调和推理过程中的算力消耗显著减少,实现了性能与效率的双重提升。在模型推理阶段,源2.0-M32的算力需求仅为Llama 3的1/19。此外,源2.0-M32在微调训练阶段的算力消耗也远低于Llama 3。通过算法结构创新,如门控网络技术和局部注意力过滤增强机制,源2.0-M32提升了模型精度,同时降低了算力消耗。浪潮信息致力于为企业提供更经济、高效的大模型解决方案,通过全面开源开放推动大模型的普及。

本文来源: 智东西【阅读原文】
© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...