黑马Groq单挑英伟达,AI芯片要变天?

近来,AI领域迎来热潮,OpenAI、Meta和谷歌相继发布创新大模型。然而,AI芯片巨头英伟达也遭遇了初创公司Groq的挑战。Groq声称其LPU(语言处理单元)比GPT-4快18倍,每秒能处理500 tokens,速度惊人。Groq的LPU基于独特的张量流处理器,是英伟达GPU速度的10倍,延迟极低。该公司还设定了三年内超越英伟达的目标。

Groq的LPU芯片拥有230MB大容量SRAM,提供80TB/s内存带宽,750TOPs整型运算和188TFLOPs浮点运算速度。在Anyscale的LLMPerf排行中,Groq LPU的表现优于其他云推理供应商。实际应用中,Groq能在一秒钟内为长篇论文创建大纲,实现远程实时AI对话,且大部分时间用于搜索信息,生成答案的速度极快。

尽管Groq的LPU在AI推理上展现了潜力,但挑战英伟达GPU的道路并不平坦。Groq的内存容量较小,运行大型模型需要大量卡片,成本和能耗相对较高。然而,随着AI推理需求的增长,Groq等专注推理的专用芯片正逐渐崭露头角,成为GPU的有力补充。亚马逊、微软和谷歌等大厂也开始推出自研AI芯片,以满足特定计算任务的需求。

AI芯片正逐渐转向推理领域,英伟达也在强化推理能力,但未来竞争将更加激烈。随着更多公司投身专用芯片的研发,英伟达的霸主地位或将受到更多挑战。

本文来源: iFeng科技【阅读原文】
© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...