自定义Llama 3.1模型的利器来了！NVIDIA打造生成式AI代工厂，还有加速部署的微服务

在科技界的一次重大突破中，NVIDIA携手Meta，为全球企业开辟了一条通往生成式AI未来的崭新道路。近日，NVIDIA宣布启动NVIDIA AI Foundry服务，同时推出了NVIDIA NIM推理微服务，旨在与Meta最新发布的Llama 3.1系列开源模型协同工作，为企业提供前所未有的AI支持。

Llama 3.1，这一大语言模型家族，包括8B、70B和405B三种不同参数规模的版本，它们在超过16000个NVIDIA Tensor Core GPU的强大算力下孕育而生，并被精心优化，以适应NVIDIA的加速计算和软件环境，无论是数据中心、云端，还是搭载RTX GPU的工作站或PC，都能发挥出最佳性能。

NVIDIA AI Foundry，被视为企业级AI制造的前沿阵地，由NVIDIA DGX Cloud AI平台驱动，与全球顶级公有云合作设计，为构建定制化的超级模型提供了端到端的服务。它不仅为企业提供了海量的计算资源，而且这些资源能够根据AI需求的波动灵活调整。

NVIDIA和Meta的联手，让企业能够利用Llama 3.1和NVIDIA Nemotron Reward模型生成的合成数据，结合自身数据，训练出特定领域的高级模型。NVIDIA NeMo则为Llama 3.1模型的个性化定制提供了工具，通过领域自适应预训练进一步提升模型精度。

为了满足不同场景的需求，NVIDIA和Meta还提供了Llama 3.1模型的蒸馏方法，帮助开发者创建更小巧的自定义模型，使其能在更广泛的加速基础设施上运行，如AI工作站和笔记本电脑。完成模型定制后，企业可以构建NVIDIA NIM推理微服务，实现在云平台和NVIDIA认证系统上的高效部署，同时兼容各种MLOps和AIOps平台。

NIM微服务的加入，显著提升了Llama 3.1模型的部署效率，吞吐量相比传统方式提高了2.5倍。此外，NVIDIA NeMo Retriever NIM微服务的引入，使得企业能够搭建先进的检索工作流，结合Llama 3.1模型，实现检索增强生成，从而大幅提升响应的准确性。

NVIDIA AI Foundry与NVIDIA软件、基础设施、专业知识的融合，以及来自NVIDIA AI生态系统和开放社区的支持，正加速推动着AI从研发到实际应用的进程。专业服务公司如埃森哲已率先使用NVIDIA AI Foundry，为自身及其客户创造定制化Llama 3.1模型，确保生成式AI应用能够贴合其独特的文化和行业需求。

目前，众多行业巨头，如Aramco、AT&T、优步等，已经开始利用NVIDIA NIM微服务为Llama 3.1模型赋能。未来，数以百计的NVIDIA NIM合作伙伴将把这项新技术融入其AI解决方案中，为NVIDIA庞大的开发者社区和初创企业带来无限可能。

本文来源：