LeCun最新万字演讲揭示：从纯语言模型转向人类水平的AI，自监督学习与目标驱动架构成关键，联合嵌入预测开启新纪元，开源AI引领未来方向

LeCun最新演讲：纯语言模型无法达到人类水平，Meta基本放弃

来源：量子位
作者：白小交
日期：2024-10-18

当奥特曼、马斯克、Anthropic CEO纷纷预测AGI将在2026年前后实现时，LeCun却直言这是“胡说八道”。在最新的公开演讲中，LeCun表示，要让系统具备推理、规划和理解物理世界的能力，至少还需要几年甚至十年的时间，才能达到人类水平。

LeCun透露，Meta已经基本放弃了纯语言模型，因为仅通过文本训练，永远无法达到接近人类水平的智能。他强调，当前的大模型存在局限性，需要开发新的目标驱动的AI架构，利用世界模型进行推理和规划。此外，他还强调了开源AI的重要性，认为最终机器将超越人类智能，但它们将受到控制，因为它们是目标驱动的。

人类水平的AI：实现路径与挑战

LeCun解释了FAIR中的“F”不再代表Facebook，而是“基础的”。他探讨了人类水平的AI及其实现路径。他认为，未来大多数人将佩戴智能眼镜或其他设备，与这些设备进行交流。这些设备将集成多种助手功能，帮助人们提高创造力和效率。然而，要实现这一目标，机器需要具备理解世界、记忆信息、拥有直觉、具备常识、进行推理和规划的能力。

尽管当前的人工智能系统在某些任务上表现出色，但它们仍无法达到人类水平。LeCun指出，我们需要开发能够学习并模拟世界基本运作的系统，这些系统需要拥有对世界如何运作的心理模型。动物，如猫，已经拥有比现有人工智能系统更复杂的模型。因此，我们需要构建具备持久记忆能力、能够规划复杂动作序列且可控安全的系统。

自监督学习与生成模型的局限

LeCun提到了自监督学习技术在过去五六年中的成功，尤其是语言模型。自监督学习通过损坏再重建的方法训练大型神经网络，以学习输入的内部表示。然而，自回归预测存在主要限制，缺乏真正的推理能力，且仅适用于离散对象、符号、标记、单词等形式的数据。

LeCun指出，仅通过文本训练，我们永远无法达到接近人类水平的智能。视觉信息的冗余性和自监督学习的必要性意味着，我们需要通过让系统观看视频或在现实世界中进行体验来训练，以学习常识和物理知识。

目标驱动架构与联合嵌入预测

LeCun介绍了目标驱动架构，这是一种与语言模型或前馈神经网络显著不同的架构。在推理过程中，不仅有神经网络在起作用，还有优化算法。前馈过程是指观察输入，通过感知系统产生输出。对于一个输入，可能存在多种可能的输出解释，需要通过隐函数计算最终输出。

LeCun提出了联合嵌入预测架构（JEPA），这是一种新的解决方案，通过学习世界上正在发生的事情的抽象表示，然后在该表示空间中进行预测。这种方法避免了传统生成模型的局限性，能够更好地学习图像的良好表示。LeCun认为，未来在于这些联合架构，因为它们能够带来最佳性能。

未来展望与开源AI的重要性

LeCun强调，要实现人类水平的AI，可能需要数年甚至十年的时间。他指出，这个过程将是一个渐进的进化过程，不会在一夜之间发生。最终，我们将拥有能够进行推理、规划、理解物理世界的系统，这些系统将成为所有人类知识的集合，像互联网一样成为基础设施。

LeCun认为，AI平台必须是开源的，以确保多样性和全球贡献。只有通过全球的合作，才能实现真正的人类水平的AI。尽管存在风险，但他相信机器将超越人类智能，但它们将受到控制，因为它们是目标驱动的。

本文来源：