庆祝ChatGPT发布2周年，深入解析OpenAI的GPT-1到Transformer技术演进及GPU的应用影响

导语
尽管ChatGPT在全球范围内掀起了AI革命，但很少有人了解其背后的诞生故事。近日，湛庐文化推出了一本关于“ChatGPT之父”山姆·奥尔特曼的新传记《奥尔特曼传》。本书作者周恒星基于与奥尔特曼长达十年的交流，首次全面、近距离地揭秘了这位科技巨头的AI帝国、权力之路和未来蓝图。在ChatGPT发布两周年之际，让我们一起走进书中的世界，跟随奥尔特曼的脚步，探寻GPT模型“从零到一”的诞生历程，致敬那些在创新道路上勇往直前的探索者们！

01 西部世界
2016年初的硅谷，空气中弥漫着焦虑的气息。科技公司IPO比例跌至过去七年的最低点，一些小型科技公司市值受损，而科技巨头如苹果和谷歌的股价却屡创新高。这一年秋天，31岁的奥尔特曼在朋友尤里·米尔纳的豪宅中举办了一场私人放映活动，播放了探讨人工智能意识的科幻剧《西部世界》。活动吸引了包括谷歌联合创始人谢尔盖·布林在内的多位硅谷知名人士。奥尔特曼希望通过这场活动，引起人们对AI技术和安全性的关注，并引导人们关注硬科技。

02 打造现代版施乐PARC
2016年1月4日，OpenAI创始团队的10人在布罗克曼的家中开始了工作。初期条件简陋，但团队氛围非常好。在布罗克曼的带领下，团队制定了愿景、工作方式和目标，并购置了必要的设备。布罗克曼和苏茨克弗共同管理团队，前者负责软件工程师，后者带领研究人员。布罗克曼还与奥尔特曼保持密切沟通，解决团队协作中的难题。布罗克曼希望OpenAI能够像施乐PARC一样，成为一个开放和自由的研究中心，推动重大创新。

03 “OpenAI 是最好的去处”
2016年4月，团队搬进了位于旧金山教会区的新办公室。奥尔特曼在墙上写下了美国海军上将海曼·里科弗的名言：“生命的伟大之处不在于知识，而在于行动。”尽管OpenAI在人才争夺战中处于劣势，但布罗克曼凭借出色的招聘能力，吸引了一批顶尖人才加入。2016年5月，谷歌大脑的顶尖研究员达里奥·阿莫代加入OpenAI，担任首席研究员。OpenAI的官网上频繁发布新成员加入的公告，增强了团队的凝聚力，也吸引了更多优秀人才。

04 “我们从零开始”
尽管OpenAI目标明确，但初期缺乏方向。奥尔特曼在YC的经验并未完全适用，团队在多个方向上探索AI的可能性。2016年，OpenAI推出了“Universe”平台，旨在创建一个虚拟世界，让AI像人类一样操作电脑。此外，团队在机器人技术和复杂游戏环境中也取得了显著进展。然而，这些项目并未取得突破性进展，资金逐渐耗尽，团队士气低落。奥尔特曼和布罗克曼开始反思，意识到需要更多数据和算力的支持。

05 Transformer论文和GPT-1发布
2017年初，OpenAI的研究科学家亚历克·拉德福德开始探索神经网络在自然语言处理领域的应用。2017年6月，谷歌发布了具有里程碑意义的Transformer论文，提出了一种高效的神经网络模型。OpenAI迅速采纳了这一技术，2018年6月发布了GPT-1模型。GPT-1在理解和生成语言方面表现出色，标志着AI从狭窄领域向通用领域转变的开始。

06 规模法则：大力出奇迹
OpenAI团队发现，扩大模型规模是发挥Transformer潜力的关键。苏茨克弗指出，深度学习的氧和氢是大规模神经网络和数据计算。奥尔特曼总结道，掌握规模法则后，OpenAI能够预测模型的表现，并逐步提高科学理解。2017年12月，奥尔特曼在博客中暗示了这一改变，强调计算能力的增强与AI突破之间的密切关系。为了充分利用Transformer，OpenAI改变了公司文化，更加注重规模化和工程化。

07 黄仁勋押注AI，英伟达迎接挑战
英伟达创始人黄仁勋在芯片半导体领域经历了多次起伏。1999年，英伟达推出GPU，与通用的CPU不同，GPU能够并行处理复杂的数学任务。2012年，辛顿等人使用英伟达GPU开发的AlexNet在计算机视觉领域取得突破。黄仁勋敏锐地意识到，GPU在AI领域的潜力巨大。2016年，英伟达推出了DGX-1超级计算机，OpenAI成为首批用户之一。随着AI训练规模的快速增长，英伟达成为AI领域的“军火商”，市值突破2万亿美元。

本文来源： iFeng科技【阅读原文】