人工智能训练成本激增：通用AI与千亿模型的硬件创新挑战及电力需求分析

在In Good Company播客中，Anthropic的首席执行官Dario Amodei透露，当前正在研发的人工智能模型的训练成本已经达到惊人的10亿美元级别。与之相比，像ChatGPT-4这样的早期模型只需大约1亿美元。Amodei预测，未来三到四年，训练这些先进模型的成本可能会上升到100亿甚至1000亿美元。他相信，随着算法和芯片技术的持续进步，到那时我们很可能会拥有在多数任务上超越大多数人类的AI模型。

AI的发展正从生成式AI逐步迈向通用人工智能（AGI），而非一蹴而就。Amodei指出，这一过程将像人类孩子学习一样，模型逐渐建立在先前模型的基础上。因此，如果AI模型的性能每年提升十倍，硬件性能也需要相应提升，成为AI训练的主要成本因素。

据报，ChatGPT-4的训练已耗费1亿美元，使用了超过3万个GPU。Nvidia的最新B200 AI芯片价格不菲，约为3万至4万美元。考虑到AI研究的指数级增长，Dario的预估可能在2024年成为现实。OpenAI和微软等公司计划建设价值1000亿美元的AI数据中心，反映出对高效能硬件的巨大需求。

然而，AI发展不仅需要芯片，电力供应和基础设施同样关键。现有的GPU数据中心消耗的电力足以供130万户家庭使用。若电力需求持续指数增长，经济实惠的电力资源可能面临枯竭。因此，一些科技巨头如微软正考虑采用模块化核电为数据中心供电，以应对高能耗的AI芯片。

尽管硬件创新紧跟AI的步伐，但随着技术的指数级进步，对社会未来的潜在影响成为一个重大问题。 Anthropic的1000亿美元预测看似合理，前提是芯片制造商如Nvidia、AMD和Intel能持续满足市场需求。

本文来源：