Ilya宣布：预训练领域迎来超级智能变革，深度学习Agent与合成数据引领NeurIPS现场热潮

Ilya宣判：预训练即将终结！NeurIPS现场沸腾

金磊发自凹非寺
量子位 | 公众号 QbitAI

在NeurIPS 2024会议上，Ilya Sutskever发表了最新演讲，虽然演讲时间只有15分钟，但极其丰富。Ilya在演讲中提出了一个重要观点：“我们所熟知的预训练即将终结。”同时，他对未来做出了大胆预测：“接下来将是超级智能：代理、推理、理解和自我意识。”

回顾十年技术发展

Ilya以一张十年前的PPT截图开启了演讲，回顾了深度学习从探索阶段到成为AI领域基石的历程。2014年，他在蒙特利尔与团队首次提出了深度学习的核心理念，包括自回归模型、大型神经网络和大数据集的结合。这些元素如今已成为人工智能领域的重要基础。

Ilya强调了一个关键假设：如果有一个10层的大型神经网络，它就能在0.1秒内完成人类能做的任何事情。这一假设推动了深度学习的发展，使许多看似大胆的目标得以实现。

此外，Ilya还介绍了自回归模型的核心思想，即通过训练模型预测序列中的下一个token，从而捕捉整个序列的正确分布。这一思想为后来的语言模型奠定了基础，尤其是在自然语言处理领域的应用。

技术的得与失

尽管深度学习取得了巨大成功，但也有一些技术未能达到预期效果。例如，LSTM（长短期记忆网络）在Transformer出现前曾是主要技术之一，但由于其复杂性和局限性，逐渐被取代。另一个例子是并行化技术，尽管当时通过在每个GPU上运行一层网络实现了3.5倍的速度提升，但现在看来并不是最佳方案。

Ilya认为，规模假设是深度学习成功的关键。这一假设认为，拥有大量数据和足够大的神经网络，成功几乎是必然的。这一观点已成为深度学习领域的核心法则。

预训练时代的终结

基于上述技术的发展，我们进入了预训练时代。预训练推动了大型神经网络和大规模数据集的应用，成为许多进步的动力。然而，Ilya预测，尽管计算能力和算法的进步提升了神经网络的训练效率，但数据的增长已接近瓶颈。他认为，数据是AI的“化石燃料”，随着全球数据的限制，未来人工智能将面临数据瓶颈。虽然当前我们仍能利用现有数据进行有效训练，但这一增长趋势终将放缓，预训练时代也将逐步结束。

超级智能的未来

在展望未来时，Ilya提到了“Agent”和“合成数据”的概念。Agent系统是指能够自主推理和决策的人工智能，而合成数据则通过模拟环境创造新数据，弥补现实世界数据的不足。Ilya引用了生物学上的例子，展示了哺乳动物身体与大脑大小的关系，暗示不同生物可能通过不同的“规模法则”进化出不同的智能表现，为深度学习领域的进一步扩展提供了启示。

Ilya最后谈到了超级智能的前景。尽管当前的语言模型和AI系统在某些任务上表现出超人类的能力，但在推理时仍显得不稳定和不可预测。未来的AI将在推理和决策方面展现出更加不可预测的能力，不仅仅是执行任务的工具，而是能够自主进行推理和决策，甚至可能具备某种形式的自我意识。这将是一个质的飞跃，AI将不再是人类的延伸，而是一个具有独立智能的存在。

本文来源：