中国首个网络大模型：电信运营商选用第五代英特尔® 至强® 可扩展处理器，显著提升运维效率

随着人工智能技术的发展，中国首个网络大模型已经在电信行业中崭露头角。过去，网络出现问题时，运维人员需要依靠经验和反复排查才能找到问题所在。如今，有了大模型的帮助，这一过程变得更加高效和便捷。

当网络出现故障时，大模型能够自动识别问题，并将诊断结果呈现在运维人员面前。如果诊断结果准确无误，问题可以迅速解决；即使存在偏差或描述不详，运维人员也可以直接向大模型提问，获得详细的解答。大模型不仅具备丰富的专业知识，而且生成速度极快，首字符时延在1秒以内，生成延时约50毫秒。

目前，这一网络大模型已在某电信运营商全国31个省份投入使用，日均调用量高达10万次，并在第二届“华彩杯”算力大赛中荣获一等奖。

此外，方案白皮书《中国电信携英特尔积极探索基于至强® CPU 平台的网络大模型推理算力方案》也在相关技术研讨会上发布。该大模型不仅提升了运维效率，还在网络规划、建设和优化等方面发挥了重要作用。通过大模型提供的推理输出结果，基层运维人员可以实现精准分析与自动核查，同时获取专业领域的知识支持。

与市面上其他大模型问答产品相比，这一网络大模型更加垂直化，能够深入理解运维人员的需求和意图，提供更精准、个性化的答案。为了满足边缘端的数据即时响应需求，该电信运营商采用了符合OTII标准的边缘服务器。这种服务器具有较高的环境适应能力，能够在极端条件下正常运行。

在硬件方面，该电信运营商选择了第五代英特尔® 至强® 可扩展处理器作为算力核心，以应对高强度、高并发的大模型推理需求。这款处理器具有更多的内核数量、更强的单核性能和更大的三级缓存，能够大幅提升推理速度。此外，处理器内置了多个专用于AI加速的引擎，如英特尔® AMX，进一步提高了计算效率。

软件方面，方案引入了英特尔AI工具，如xFastTransformer，实现了性能优化，并支持多种数据类型和主流大模型。此外，得益于CPU的能效优势，采用第五代至强® 方案还能显著降低模型运营的能耗成本。数据显示，第五代至强® 的能耗较上一代提升了34%，进一步提高了能效。

总之，选择CPU进行网络大模型推理部署已经被该电信运营商的实际应用所验证。这一方案不仅满足了业务需求，还大幅降低了推理成本，成为其他企业在类似场景中的参考范例。未来，随着技术的发展，大模型将在更多行业中发挥作用，实现性能、功耗、成本和易用性的最佳平衡。

本文来源： 量子位【阅读原文】