面向终端侧生成式AI规模化扩展，高通重新定义SoC系统性能

在2024年的世界移动通信大会上，高通公司AI产品技术中国区负责人万卫星探讨了终端侧生成式AI的未来发展。他强调，高通通过创新的SoC系统设计，特别是全新的NPU和异构计算技术，促进了终端侧AI的规模化扩展。万卫星分享了NPU的发展路径，指出第三代骁龙8移动平台在端侧运行多模态大模型的领先地位。高通的AI软件栈支持跨设备、跨操作系统和跨平台的灵活部署，构建了AI生态系统，以推动AI技术的创新和广泛应用。

万卫星提到，生成式AI的能力正日益增强，包括更强大的处理能力和多样化的应用模式。高通重新定义了SoC系统，为AI打造了一个专有的高性能平台。通过CPU、GPU和NPU的异构计算，满足不同AI用例的需求。高通NPU的演进路线以用例驱动硬件设计，如针对Transformer优化，支持在终端运行大规模模型。第三代骁龙8移动平台展示了在AI性能和能效方面的显著提升，支持超过100亿参数的模型。

此外，高通提供的AI软件栈支持主流训练框架，提供SDK和加速库，便于开发者在多个高通平台上优化和部署模型。高通的AI生态系统涵盖了手机、汽车、PC等多个领域，支持广泛的终端侧生成式AI模型。

本文来源： 量子位【阅读原文】