标签：跨节点专家并行

揭秘DeepSeek-V3/R1推理系统：545%成本利润率的背后 近日，DeepSeek官方正式公布了其最新的DeepSeek-V3/R1推理系统的详细信息，并透露了惊人的成本利润率——高达545%。这一消息迅速引发了广泛关注。本文将深入解析DeepSeek-V3/R1的优化技术及其在线服务数据统计。 优化吞吐量与延迟的关键技术 为了实现更高的吞吐量和更低的延迟，DeepSeek-V3/R1采用了大规模跨节点专家并行（Expert Parallelism/EP）技术。以下是具体的技术细节： 1. 跨节点EP驱动的批量扩展： - EP使得batch size大大增加，从而提高了GPU矩阵乘法的...