LeCun：我不认为存在哲学上的分歧。SSL 预训练是 NLP 中非常标准的做法。它在语音识别方面表现出了出色的性能改进，并且在视觉方面开始变得越来越有用。然而，“经典”监督学习仍有许多未开发的应用，因此人们当然应该尽可能使用合成数据和监督学习。据说英伟达也正在积极开发 SSL。
早在 2000 年代中期，Geoff Hinton、Yoshua Bengio 和我就确信，我们能够训练非常大和非常深的神经网络的唯一方法是通过自监督（或无监督）学习。这也是吴恩达开始对深度学习感兴趣的时候。他当时的工作也集中在我们现在称之为自监督的方法上。
IEEE Spectrum：自监督学习如何促成具有常识的 AI 系统？常识能把 AI 系统带向人类水平的智能多远？
LeCun：我认为，一旦我们弄清楚如何让机器像人类和动物一样学习世界是如何运作的，人工智能就会取得重大进展：这主要是通过观察，并在观察中采取行动。我们了解世界是如何运作的，因为我们已经了解了世界的内部模型，该模型使我们能够填补缺失的信息，预测将要发生的事情，并预测我们行动的影响。我们的世界模型使我们能够感知、解释、推理、提前计划和行动。
但机器如何学习世界模型呢？这归结为两个问题：我们应该使用什么学习范式来训练世界模型？世界模型应该使用什么架构？
对于第一个问题，我的答案是 SSL（自监督学习）。一个例子是让机器观看视频，暂停视频，然后让机器学习视频中接下来会发生什么的表示。在这样做的过程中，机器可以学习大量关于世界如何运作的背景知识，可能类似于婴儿和动物在生命的最初几周和几个月内的学习方式。
对于第二个问题，我的答案是一种新型的深度宏架构，我称之为分层联合嵌入预测架构（H-JEPA）。简单解释，JEPA 不是预测视频剪辑的未来帧，而是学习视频剪辑的抽象表示和剪辑的未来，以便后者能够基于对前者的理解很容易地预测。这可以使用非对比 SSL 方法的一些最新发展来实现，特别是我和我的同事最近提出的一种称为“VICReg”的方法。

文章插图


文章插图

IEEE Spectrum：几周前，你回复了在OpenAI任职的 Ilya Sutskever 的一条推文，他在推文中推测，今天的大型神经网络可能有意识。你的回答是响亮的“不”。在您看来，构建一个有意识的神经网络需要什么？那个系统会是什么样子的？
LeCun：首先，意识是一个非常模糊的概念。一些哲学家、神经科学家和认知科学家认为这只是一种幻觉，我非常接近这种观点。
但我对导致意识错觉的原因有一个猜测。我的假设是，我们的前额叶皮质中有一个单一的世界模型“引擎”。该世界模型可根据当前情况进行配置。我们是帆船的舵手；我们的世界模型模拟了我们船周围的空气和水流。我们建了一张木桌；我们的世界模型想象切割木头和组装它们的结果，等等。
我们的大脑中需要一个模块，我称之为“配置器”，它为我们设定目标和子目标，配置我们的世界模型来模拟当前的情况，并启动我们的感知系统以提取相关信息并丢弃赘余信息。监督配置器的存在可能是让我们产生意识错觉的原因。但有趣的是：我们需要这个配置器，因为我们只有一个世界模型引擎。如果我们的大脑足够大，可以容纳许多世界模型，我们就不需要意识。所以，从这个意义上说，意识是我们大脑局限的结果！
IEEE Spectrum：自监督学习在元宇宙的构建中可以扮演什么角色？
LeCun：深度学习在虚拟世界中有很多具体的应用，比如 VR 护目镜和 AR 眼镜的运动跟踪，捕捉和重新合成身体运动和面部表情等等。
元宇宙中人工智能驱动的新创意工具有很多机会，可以让每个人在虚拟世界和现实世界中创造新事物。但元宇宙也有一个“纯AI”的应用：虚拟 AI 助手。我们应该有虚拟的 AI 助手，可以在日常生活中帮助我们，回答我们的任何问题，并帮助我们处理每天轰炸我们的海量信息。为此，我们需要我们的 AI 系统对世界如何运作（无论是物理还是虚拟）有一定的了解，有一定的推理和计划能力，以及一定程度的常识。简而言之，我们需要弄清楚如何构建可以像人类一样学习的自主 AI 系统。这需要时间。但是Meta在这条赛道上已经走了很长时间。