大模型风向变了，OpenAI苹果掉头布阵

###

在生成式AI领域，一股新兴的趋势正在悄然兴起：大模型不仅追求规模的宏大，也开始重视“瘦身”以提升性价比。这一趋势在2024年显得尤为明显，众多轻量级模型如雨后春笋般涌现，其中不乏GPT-4o mini、Mistral NeMo等佼佼者，它们在保持高性能的同时，大幅降低了资源消耗，为市场带来了新的活力。这一转变并非偶然，而是源于行业内部对可持续性和成本效益的深刻反思。

#### 大模型时代的“摩尔定律”

当前，大模型的研发陷入了“大力出奇迹”的惯性思维，但这并非长久之计。高昂的训练成本和对生态环境的潜在威胁促使业界寻找更加高效的发展路径。以面壁智能为代表的企业，通过技术创新，成功将模型参数规模大幅缩减，实现了知识密度的显著提升，这被清华大学计算机系教授刘知远比喻为大模型时代的“摩尔定律”，预示着每八个月，同等算力的模型将实现知识密度翻番，推动大模型向更小、更节能的方向发展。

#### 兵分多路：闭源与开源的博弈

大模型轻量化竞赛的参与者们采取了不同的策略。闭源路线的巨头如OpenAI、谷歌和Anthropic，通过推出精简版旗舰模型，如GPT-4o mini，以更亲民的价格和性能吸引用户。而在开源阵营，中美欧三足鼎立的局面逐渐形成，面壁智能、阿里、Meta、微软、苹果等纷纷加入战局，通过发布高效、低能耗的端侧模型，推动AI技术的普及和应用。面壁智能的MiniCPM系列模型，以其卓越的性能和经济性，赢得了广泛赞誉，展现了大模型小型化的巨大潜力。

#### 技术创新：从“变大”到“变小”的艺术

轻量级高性能模型的实现，离不开技术创新。从数据优化到架构创新，不同玩家采取了多样化的策略。例如，苹果的OpenELM模型针对硬件瓶颈进行了分层精调设计，而面壁智能的MiniCPM-S 1.2B模型通过高效稀疏架构，实现了资源利用的最大化。这些技术进步不仅提升了模型的性能，也降低了训练成本，使得大模型的部署和应用变得更加便捷。

#### 端侧AI的崛起

随着端侧AI的爆发，从芯片巨头到智能终端厂商，都在积极推动轻量级模型的应用。更强的端侧芯片性能和更高的模型知识密度，使得在本地运行更大、更好的模型成为可能。预计不久的将来，GPT-3.5甚至GPT-4级别的模型将在端侧设备上运行，开启AI应用的新纪元。

### 热门关键词

本文来源： 智东西【阅读原文】