杰夫·迪安回忆Google Brain历程：吴恩达的激励与Hinton在团队中的贡献及Transformer与强化学习的影响

1999年8月，杰夫·迪安（Jeff Dean）加入了谷歌，成为该公司早期第20号员工。2011年，他参与创立了Google Brain团队，专注于智能机器领域的发展。自那时起，他的工作重心转向了人工智能（AI）和机器学习（ML）的研究、系统和应用，并引领了更广泛的AI/ML和计算机科学研究社区的发展。2020年12月，杰夫·迪安获得了2021年度IEEE冯诺依曼奖，以表彰他在大规模分布式计算机系统和人工智能系统科学与工程方面的贡献。2023年4月，谷歌宣布将旗下的Google Brain和DeepMind合并，成立了Google DeepMind。杰夫·迪安成为了该部门的首席科学家。

作为谷歌的AI“掌门人”，杰夫·迪安见证了AI发展的过去、现在与未来。在最近的一次访谈中，他与伦敦大学学院的副教授汉娜·弗莱（Hannah Fry）畅谈了谷歌AI布局的昨天、今天与明天。在访谈中，杰夫·迪安回忆起90年代神经网络的局限性。当时，他在本科期间曾尝试过大规模神经网络，但最终失败。后来，在谷歌，一次与吴恩达的交谈激发了他继续扩展神经网络的想法。与此同时，大洋彼岸的DeepMind正在主攻强化学习，来访的“深度学习之父”辛顿（Geoffrey Hinton）提议考察DeepMind，从而促成了Google和DeepMind的强强联合。如今，Scaling和强化学习都显著提升了AI的智能水平。

杰夫·迪安还分享了一个有趣的故事：Gemini这个名字是他提出的。Gemini代表双胞胎，象征着DeepMind和Google Brain的合并，两个部门共同致力于一个雄心勃勃的多模态项目。此外，他还简明扼要地介绍了Transformer架构及其带来的变革。

本文来源：