Ilya宣布全球预训练时代终结：面对数据枯竭挑战，深度学习与超级智能推理计算引领未来方向

在最近举行的全球顶级会议NeurIPS 2024上，著名学者Ilya发表了一次震撼全场的演讲，宣布预训练时代即将结束。他认为，随着互联网上的可用数据逐渐枯竭，未来的AI发展方向将是具备自我意识的超级智能。

Ilya指出，我们只有一个互联网，而训练模型所需的大量数据即将耗尽。因此，未来的突破将集中在智能体、合成数据和推理计算上。Ilya预测，未来的AI将具备更强的智能体特性，能够进行推理和理解，并最终实现自我意识。

此次NeurIPS 2024的时间检验奖公布，Ilya和GAN之父共同获奖。Ilya回顾了十年前在2014年蒙特利尔NeurIPS会议上的演讲，那时他和他的合著者Oriel Vinyals和Kwok-Lee提出了一个基于文本训练的自回归模型。这个模型是一个大型神经网络，使用了大规模的数据集。

Ilya进一步探讨了“深度学习假设”，即一个10层的大型神经网络可以在几分之一秒内完成任何人类能做的事情。这一假设的基础是人工神经元与生物神经元的相似性，以及真实神经元的速度较慢。Ilya强调，如果一个任务可以在一秒内完成，那么一个10层的神经网络也可以完成。

随后，Ilya展示了LSTM的历史背景，这是一种在Transformer出现之前广泛使用的深度学习工具。LSTM可以看作是一个旋转了90度的ResNet，但更复杂，涉及积分器和残差流等概念。Ilya还提到了他们当时使用的流水线并行化技术，虽然现在看来并不高效，但在当时显著提高了训练速度。

Ilya特别提到了“Scaling Law”这一概念，即使用非常大的数据集训练非常大的神经网络可以确保成功。这一理念在后续的发展中得到了验证，推动了GPT-2、GPT-3等模型的诞生。

然而，Ilya认为预训练时代即将终结，因为尽管计算能力在不断提升，但数据量却已达到峰值。未来的突破将集中在智能体、合成数据和推理计算上。Ilya预测，未来的AI将具备更强的智能体特性，能够进行推理和理解，并最终实现自我意识。

最后，Ilya谈到了超级智能的发展方向。他认为，未来的超级智能将与现有的AI截然不同，具备更强的推理能力和自我意识。这将带来全新的挑战和机遇，但也可能带来不可预测的风险。

本文来源： 新智元公众号【阅读原文】