标签：实时推理

AI领域再次掀起波澜，硅谷新秀Groq以其史上最快大模型和自主研发的LPU芯片吸引了广泛关注。这家非马斯克旗下的公司宣布开放免费试用，其闪电般的反应速度超越了GPT-4，每秒生成近500 tok/s，令网友惊叹。值得注意的是，Groq并非开发新模型，而是运用了开源模型Mixtral 8x7B-32k和Llama 270B-4k，并借助LPU（Language Processing Units）实现惊人速度。LPU的特色在于其高效，据2024年测试，其推理性能是顶级云服务商的18倍。搭载Groq LPU的Meta Llama 2能在7分钟内生成与《哈姆雷特》同等长度的文字，比人类打字快75倍。 在...