黑马Groq单挑英伟达，AI芯片要变天？

近来，AI领域迎来热潮，OpenAI、Meta和谷歌相继发布创新大模型。然而，AI芯片巨头英伟达也遭遇了初创公司Groq的挑战。Groq声称其LPU（语言处理单元）比GPT-4快18倍，每秒能处理500 tokens，速度惊人。Groq的LPU基于独特的张量流处理器，是英伟达GPU速度的10倍，延迟极低。该公司还设定了三年内超越英伟达的目标。

Groq的LPU芯片拥有230MB大容量SRAM，提供80TB/s内存带宽，750TOPs整型运算和188TFLOPs浮点运算速度。在Anyscale的LLMPerf排行中，Groq LPU的表现优于其他云推理供应商。实际应用中，Groq能在一秒钟内为长篇论文创建大纲，实现远程实时AI对话，且大部分时间用于搜索信息，生成答案的速度极快。

尽管Groq的LPU在AI推理上展现了潜力，但挑战英伟达GPU的道路并不平坦。Groq的内存容量较小，运行大型模型需要大量卡片，成本和能耗相对较高。然而，随着AI推理需求的增长，Groq等专注推理的专用芯片正逐渐崭露头角，成为GPU的有力补充。亚马逊、微软和谷歌等大厂也开始推出自研AI芯片，以满足特定计算任务的需求。

AI芯片正逐渐转向推理领域，英伟达也在强化推理能力，但未来竞争将更加激烈。随着更多公司投身专用芯片的研发，英伟达的霸主地位或将受到更多挑战。

本文来源：