标签：推理芯片

近来，AI领域迎来热潮，OpenAI、Meta和谷歌相继发布创新大模型。然而，AI芯片巨头英伟达也遭遇了初创公司Groq的挑战。Groq声称其LPU（语言处理单元）比GPT-4快18倍，每秒能处理500 tokens，速度惊人。Groq的LPU基于独特的张量流处理器，是英伟达GPU速度的10倍，延迟极低。该公司还设定了三年内超越英伟达的目标。 Groq的LPU芯片拥有230MB大容量SRAM，提供80TB/s内存带宽，750TOPs整型运算和188TFLOPs浮点运算速度。在Anyscale的LLMPerf排行中，Groq LPU的表现优于其他云推理供应商。实际应用中，Groq能在一秒钟内为长篇论文...