标签：LPU

近来，AI领域迎来热潮，OpenAI、Meta和谷歌相继发布创新大模型。然而，AI芯片巨头英伟达也遭遇了初创公司Groq的挑战。Groq声称其LPU（语言处理单元）比GPT-4快18倍，每秒能处理500 tokens，速度惊人。Groq的LPU基于独特的张量流处理器，是英伟达GPU速度的10倍，延迟极低。该公司还设定了三年内超越英伟达的目标。 Groq的LPU芯片拥有230MB大容量SRAM，提供80TB/s内存带宽，750TOPs整型运算和188TFLOPs浮点运算速度。在Anyscale的LLMPerf排行中，Groq LPU的表现优于其他云推理供应商。实际应用中，Groq能在一秒钟内为长篇论文...

AI领域再次掀起波澜，硅谷新秀Groq以其史上最快大模型和自主研发的LPU芯片吸引了广泛关注。这家非马斯克旗下的公司宣布开放免费试用，其闪电般的反应速度超越了GPT-4，每秒生成近500 tok/s，令网友惊叹。值得注意的是，Groq并非开发新模型，而是运用了开源模型Mixtral 8x7B-32k和Llama 270B-4k，并借助LPU（Language Processing Units）实现惊人速度。LPU的特色在于其高效，据2024年测试，其推理性能是顶级云服务商的18倍。搭载Groq LPU的Meta Llama 2能在7分钟内生成与《哈姆雷特》同等长度的文字，比人类打字快75倍。 在...