性能对标Llama 3，算力消耗仅1/19！源2.0-M32大幅提升模算效率

浪潮信息发布了开源大模型源2.0-M32，该模型基于MoE技术，拥有32个专家模块和400亿参数，但在运行时仅需37亿激活参数，大大降低了算力需求。相比700亿参数的Llama 3，源2.0-M32在训练、微调和推理过程中的算力消耗显著减少，实现了性能与效率的双重提升。在模型推理阶段，源2.0-M32的算力需求仅为Llama 3的1/19。此外，源2.0-M32在微调训练阶段的算力消耗也远低于Llama 3。通过算法结构创新，如门控网络技术和局部注意力过滤增强机制，源2.0-M32提升了模型精度，同时降低了算力消耗。浪潮信息致力于为企业提供更经济、高效的大模型解决方案，通过全面开源开放推动大模型的普及。

本文来源： 智东西【阅读原文】