史上最快大模型炸场！Groq一夜爆红，自研LPU速度碾压英伟达GPU

AI领域再次掀起波澜，硅谷新秀Groq以其史上最快大模型和自主研发的LPU芯片吸引了广泛关注。这家非马斯克旗下的公司宣布开放免费试用，其闪电般的反应速度超越了GPT-4，每秒生成近500 tok/s，令网友惊叹。值得注意的是，Groq并非开发新模型，而是运用了开源模型Mixtral 8x7B-32k和Llama 270B-4k，并借助LPU（Language Processing Units）实现惊人速度。LPU的特色在于其高效，据2024年测试，其推理性能是顶级云服务商的18倍。搭载Groq LPU的Meta Llama 2能在7分钟内生成与《哈姆雷特》同等长度的文字，比人类打字快75倍。

在实际应用中，Groq在回答问题和解决代码调试问题上展现出比Gemini和GPT-4更快的速度，被誉为“AI推理界的美国队长”。LPU不同于传统的GPU，它的设计使得芯片能更有效地利用每个时钟周期，减少延迟，提高吞吐量，且能耗效率高。Groq的LPU推理引擎消除了外部内存瓶颈，性能远超传统GPU。

Groq创始人兼CEO Jonathan Ross曾表示，LPU在速度、成本和能耗上均优于英伟达GPU。尽管一些专家质疑其实际成本，但Ross坚信Groq的技术路线使其供应链更为稳定。Groq已默默研发7年，团队成员包括前谷歌TPU设计师。目前，Groq正与三星合作，计划在未来两年内销售100万个LPU。随着AI实时推理需求的增长，Groq的LPU有望引领行业变革。

本文来源： iFeng科技【阅读原文】