随着AI手机、AI PC、AI眼镜等智能设备逐步向AI Agent化发展,这些小型终端要想充分利用大模型的能力,还需要一套端边云联动的解决方案。智东西在1月6日的报道中指出,目前大模型行业正呈现出端边云协同的趋势,以加速端智能场景的落地。过去一年,市场上涌现了大量形态各异的端侧AI产品,如智能门锁、AI看护机、AI眼镜和无人机等,主打轻量化部署。然而,端侧设备的功耗和算力仍然受限,复杂计算任务正在向边缘和云端转移。
字节跳动旗下的火山引擎在2024年冬季FORCE原动力大会上宣布全面升级其智能边缘,优化物联网平台、智能平台、边缘大模型网关服务,并推出边缘原生智能体。这一整套基础设施连接了端侧小模型应用和边云大模型能力,解决了大模型算力优势与低成本部署之间的桥梁问题。
火山引擎的解决方案及其技术优势
火山引擎边缘智能技术负责人谢皓解释道,端侧主要提供OneSDK一站式解决方案,使嵌入式设备也能用上大模型;边缘侧上线了大模型网关,提升了调用效率和稳定性;中心侧编排智能体,降低大模型部署难度;边缘原生智能体则面向不同行业定制个性化智能体。
谢皓认为,边缘AI的发展可以分为基础设施和应用场景两个方面。前者负责解决连接和计算问题,并提供大模型调度和推理能力;后者受限于碎片化和难以规模化,但通过支持端边云联动的智能边缘架构,可以在一定程度上拓宽边缘AI的部署范围。
AI Agent的应用与市场前景
2024年,AI Agent生态迎来了小高潮,据Cookie.fun数据显示,截至2025年1月4日,AI Agent整体市值已达173.6亿美元,涨幅接近50%。《福布斯》援引业内人士观点称,预计2025年将出现能够执行复杂任务的AI Agent。根据LangChain的调研报告,超半数受访者已在生产过程中使用Agent,其中员工规模介于100至2000名的中型公司占比63%。
为了更好地适应AI Agent时代,火山引擎的边缘智能基础架构优化了四大方面:简化端智能接入流程,提升边缘云推理性能和安全性,增强大模型文件分发和智能体配置功能,新增多个行业智能体。该架构支持润欣科技、地瓜机器人等公司加速落地大模型,刺激业务增长。
智能决策器与隐私安全
通常情况下,AI Agent依赖云端服务器提供算力和算法支持,但也面临资源争抢和高成本的问题。端智能处理计算任务可有效降低时延和运算成本,但会遇到多平台集成、多SDK适配、多重设备身份管理和多种模型协同等挑战。火山引擎的OneSDK、OneCredential和OneStop端智能一站式服务解决方案应对了这些问题。
火山引擎边缘云推出的智能决策器可以根据提示词信息将任务分发至本地、边缘或云端处理,确保计算任务的安全性和隐私性。智能决策器还具备标准接口、就近访问、推理加速和高鲁棒性四大核心能力,进一步支持边缘和云端的高效访问。
边缘原生智能体与应用场景
边缘原生智能体是AI模型端侧落地的重要形式,具备理解设备能力、连接物理世界、单智能体协同和多智能体协同四大必备能力。火山引擎通过低代码平台“扣子”实现边缘智能与家用设备、工业设备、车载设备等物理世界的连接。目前,边缘原生智能体已应用于智能数字工厂和智慧园区等领域。
结语
从各司其职到取长补短,端边云协同已成为AI应用的大势所趋。尽管大模型相关资源有限,中小型公司可以通过端边云协同处理AI任务,降低成本并提高效率。火山引擎边缘云的成果表明,具身智能、端智能芯片、智能玩具、创新教育等行业都拿出了实战案例。
本文来源: 智东西公众号【阅读原文】