LearningAbstractions:AConversationwithYannLeCun

本文系用户投稿，不代表机核网观点
本文含有AI生成，请注意甄别
> 原文：Yann LeCun & James Manyika, "Learning Abstractions: A Conversation with Yann LeCun," *Dædalus*（美国艺术与科学院学报）155 (1–2), Winter/Spring 2026. doi:10.1162/DAED.a.972

*James Manyika。Yann LeCun 被广泛认为是现代人工智能时代的奠基人之一。他与 Geoffrey Hinton、Yoshua Bengio 在深度学习方面的开创性研究，为三人赢得了 2018 年图灵奖——该奖被视为计算机科学界的诺贝尔奖；2025 年，三人又被授予伊丽莎白女王工程奖。Yann 长期专注于 AI 的基础性与科学性突破，从受生物启发的卷积神经网络、图变换网络，到面向机器学习的能量模型与世界模型。在本次对话中，我们聚焦 AI 的基础性进展、他如何看待迄今为止取得的进步、当前主流方法的局限，以及进一步推动 AI 发展并造福科学所需的条件，其中包括科学家的角色与开放科学的重要性。*

**Manyika：** 过去十年，人工智能的发展非同寻常。您会如何评价这一进展？有哪些事情让您感到意外？

**LeCun：** 我想把时间倒回十五年前，那时 Geoffrey Hinton、Yoshua Bengio 和我正试图重新唤起人们对神经网络的兴趣，我们给它换了个名字叫"深度学习"。令我们印象深刻的是它被采纳的速度：在首批证明深度学习能改进语音识别的论文发表后十八个月内，基本上所有的移动语音识别系统都用上了神经网络。¹ 这是我第一次见识到，当一项技术确实能带来实际价值时，它被广泛采用的速度有多快。

2013 年也出现了类似的现象，卷积神经网络在图像识别领域风靡一时。几个月之内它们就被广泛部署，人们也对驾驶辅助和自动驾驶的前景兴奋不已。几年之内，汽车上就装上了自动紧急制动系统，而这些系统全都使用卷积神经网络。这类系统在欧洲已成为强制配置，使正面碰撞减少了 40%。² 这项技术正在挽救生命，这让我感到自豪。

2015 年则更多是关于自然语言处理（NLP）。Yoshua 的实验室让人们开始重视注意力机制（attention mechanisms），它引导深度学习模型把注意力集中在最相关的数据上。³ 随后，提出 Transformer 架构的《Attention Is All You Need》让不少人感到意外：它把大型网络构建为关联记忆模块的堆叠，而这些模块基于所谓的自注意力——即让输入彼此进行比较。⁴ 多年来我一直在倡导自监督学习（SSL），但我没想到它的成功主要会出现在 NLP 领域——尽管我们早有线索表明，"浅层"自监督学习对文本嵌入是有效的，比如 Google 的 Word2vec 和 Meta 的 fastText。⁵ 接着是 Google 的 BERT，它用 Transformer 和注意力取代了循环神经网络，而我们中不少人都曾怀疑循环神经网络走不了太远。⁶

我自己对 NLP 并不是特别感兴趣，但这无疑是一件非常有用的事。让我感到意外的是，一种简单的时序预测形式在文本上竟如此有效。在此之前，我至少已经研究视频的时序预测十年了，希望的是：如果你训练一个系统去预测视频中将会发生什么，它就能理解世界是如何运作的——例如世界是三维的，物体是独立运动的。有些物体是无生命的，它们遵循的规律相对容易理解、也比较容易做出预测；有生命的物体则难预测得多。自监督学习的期望和整体思路就是：通过预测来训练系统，系统就能理解它所训练的数据背后的底层结构。我之所以专注视频，是因为我相信只要视频能做成，其他一切都能做成。但事实证明，从视频进行自监督学习比从文本难得多。

**Manyika：** 在您看来，就 AI 能力的发展现状而言，有没有哪些科学领域是您最期待 AI 帮助取得突破性进展的？

**LeCun：** 当然有。材料科学、化学、生物化学和蛋白质是几个重要的方向。在医学上，我们能否理解并治愈慢性疾病或癌症？预测蛋白质结构是重大进展，但下一步是设计具备特定性质的蛋白质。⁷ 我们能否为细胞器、细胞或细胞内通路这类复杂系统构建预测性的介观 AI 模型（mesoscopic AI models）——它们复杂到单个人类无法理解？新材料与化合物也一样，可用于改进储能（如电池）或催化（例如把氢从氧中分离出来，从而把电能以甲烷的形式储存起来）。

重要的是，那些在蛋白质上表现良好的模型其实非常专用，并不是通用模型。人们希望未来能提出更通用的模型，做出更广泛的预测。这包括对由偏微分方程（PDE）控制的大型系统进行高效预测——这些方程对我们来说过于复杂，无法快速、准确地求解。以流体力学为例，有时你只需要预测升力与阻力，或者湍流行为。这些集体行为可以通过训练一个神经网络（本质上是与偏微分方程相对应的三维卷积网络）在粗粒度上做预测来捕捉。这样就无需进行细致的模拟，就能模拟大得多的系统或湍流系统，以预测其总体性质。

Flatiron Institute 的 Shirley Ho 展示了一个引人注目的例子。⁸ 你可以把广义相对论的方程放进模拟器，模拟宇宙的最初瞬间。然后你改动模拟中某些参数的值，比如质量密度或各种场的性质。接着重新运行模拟，看看结果是否像我们的宇宙，是否能得到我们观测到的那些星系。这或许能验证或否定关于暗物质本质的某些理论。如果把它归约到我们已知的方程上，你无法在宇宙尺度上做这种模拟。但如果你在一个小立方体内运行模拟，并训练一个神经网络来预测该立方体内发生的情况，而不要求对一切做细致模拟，那么你就可以把它扩展到更大尺度，甚至可能在宇宙尺度上运行这种模拟。

这是模型预测的验证。下一步是设计。如果你有一个预测模型，就可以通过优化进行推断，找出为让某种化合物获得所需性质（例如把氢从氧中分离所需的特定能量）所必需的干预——也就是行动变量。这就是因果世界模型的概念，其应用非常广泛，比如治疗病人，或控制工业流程与机器人。

**Manyika：** 要帮助推动科学与发现，AI 需要具备哪些能力？

**LeCun：** 我们可以用机器学习训练预测系统，让它们成为现象学模型。这类模型未必能解释任何事情，但它们能做出足够准确的预测，而且在计算上比传统的还原论模型快得多。

我认为这是关键的一点，也是我目前投入全部精力的方向：设计能够找到现象的抽象表征、并在该抽象表征空间中进行预测的 AI 系统。这种抽象表征舍弃了关于原始观测的大量细节。这一点至关重要，因为 LLM（大语言模型）和其他生成式模型被训练来预测输入的每一个细节。在语言中这问题不大：你无法确切预测一串词后面接哪个词，但你可以给出一个关于词的概率分布。这很容易，因为可能的词是有限的。但当你训练模型去预测视频中的未来帧时，你无法表示出一个有用的分布。你必须在抽象表征空间中做预测，而不是在像素层面（You have to make pre dictions in an abstract representation space, not at the pixel level）。

所以过去几年，很多人出于本能地说："我们干脆把世界 token 化吧。"把视频里的图像切成一个个小方块，变成一个与表示词的向量看起来没什么区别的向量，再喂给一个巨型模型去预测接下来的几帧。坦率地说，效果并不好。原因在于，你根本无法在像素层面预测视频中将会发生什么。有太多细节并不在输入之中。我们不知道如何对所有可能的视频帧生成一个概率分布，因为这在数学上是不可解的。这是统计物理学中人们已经苦苦挣扎了几十年的问题。

相反，作为科学家，我们要做的是找到一种输入的表示，把无法预测的细节统统去掉，然后在这个表示空间中做预测。这不是一种生成式架构。

**Manyika：** 谈到 AI 的进展，您一直公开指出 LLM 的局限。这些局限是什么，尤其是在把 AI 应用于科学的情境下？

**LeCun：** 基本上有三点局限。第一，你无法预测物理世界中发生的一切，甚至无法预测从传感器采集到的数据中的一切。存在噪声。系统是随机的——或者我们只能测量到系统的部分信息。在这种情况下试图训练系统做出精确预测，不会带来什么特别有意思的结果。你必须让系统自己找到适合做预测的表示。这正是科学的全部要义所在。

我们可以用量子场论，而不是心理学，来描述我们两人此刻这场对话中发生的一切。但这完全不切实际，因为我们需要测量一个包含我们两人的立方体范围内宇宙的波函数。那可是个相当大的东西。然后你还需要运行规模大得离谱的量子计算来做出预测。我们从不这么做。

我们所做的是发明一些让我们能够做出预测的抽象：粒子、原子，然后是分子；或者蛋白质、细胞器、细胞、器官、生物体、社会与生态系统。存在这样一整套层级。定义一个科学分支的，正是你描述现实时所采用的抽象层级。

第二点局限是，你希望系统能够学到相当于心智模型——或者说对它所在环境的模型——的东西，也就是很多人所说的"世界模型"。给定你对世界在时刻 t 的状态的认识，以及你设想采取的某个行动，世界模型会预测该行动导致的世界在时刻 t + 1 的状态。你可以把它看成一个因果模型：状态、行动、下一状态。

如果你有这样一个世界模型，就可以把它用于科学。理论由这个预测模型来表示。我可以做一个虚拟实验：如果我把世界置于某个特定状态，并施加一系列干预，预测的结果是什么？然后我可以去做实验，在真实世界中验证实际会发生什么。

更重要的是，如果你有世界模型，你就能进行推理与规划。你可以指定一个期望达到的目标状态，然后用优化过程推断出能够通向该结果状态的一系列干预。作为人类，我们一直在这样做：运用我们对世界的心智模型，为从未遇到过的新情境规划一系列行动。这就是心理学家所说的"系统二"（System Two）。⁹

对于 LLM，你必须针对它可能遇到的所有情境来训练系统，但纯粹的 LLM 并不真正具备我所描述的那种预测与规划能力，即通过优化产生输出。纯粹的 LLM 中没有搜索。有些模型——它们已经不再是纯粹的 LLM 了——通过搜索来做推理：让 LLM 生成大量候选的 token 序列，再用另一个神经网络对它们打分并挑出最好的那个。这是一种"生成—选择"的方法。

**Manyika：** 在那些情况下，你会使用蒙特卡洛树搜索，或者更偏向锦标赛式的系统：生成多个候选，用评分函数或其他评估备选方案的方法在其中搜索，然后加以选择。这是一种搜索的形式。

**LeCun：** 没错。你需要两个组成部分。一个神经网络组件预测某个序列（行动序列或推理步骤）之后最可能出现的符号。在国际象棋和围棋这类博弈中，你有一个神经网络给每一步可能的走法打分，然后只探索看起来最好的那些。你需要一个组件生成候选分支，还需要第二个组件来评估它们，这样你才能挑出最好的、并剪掉呈指数增长的可能性之树。这个基本思想从 1960 年代起就为人所知，不过训练方法才是关键。Google 通过 AlphaGo 和 AlphaZero 在这方面贡献良多。¹⁰

对于博弈，目标是取胜。你得下完一整局，才知道某一系列走法好不好。强化学习所做的，就是反向地把功劳或责任归因到各个走法上。如果在某一步上我的价值函数最终被证明不太准，我就需要把这个结果传播回去，告诉价值函数它高估或低估了。这就是强化学习所做的事。

在 LLM 的语境下，有一个类似但更简单的过程：LLM 生成大量输出，由人类来给它们打分——这就是 RLHF，即基于人类反馈的强化学习。¹¹ 如果输出是程序或数学证明，你可以运行并检查它们。你可以设计系统让它自我评分。但更多时候，你需要一个人来说"这个好，这个不好"。然后系统会调整参数，给好的输出更高的分数，给差的输出更低的分数。

这就引出了第三点局限。很多 LLM 是用监督学习进行后训练的，由专家提供答案来重新训练 LLM。问题在于，随着问题范围不断扩大，成本会高得离谱。问题有无限多个，你固然可以针对常见问题做微调，但总有一个长长的尾巴，包含训练集中没有的其他问题和提示。这时你得到的就是胡言乱语。那个看起来聪明得惊人的系统，突然显得完全愚蠢。它似乎连一个极其基本的概念都不知道，仅仅是因为它没有针对这个问题的某个特定问法训练过。

**Manyika：** 您一直在探索一种不同的方法，叫做 JEPA（联合嵌入预测架构，joint-embedding predictive architecture）。请多谈谈它，以及为什么它是必要的，尤其是在科学领域。

**LeCun：** 用自监督学习训练生成式架构时，你向系统展示一个被损坏或变换过的输入版本，训练它重建包含所有细节的完整输入。如果你把它用于真实数据——这些数据是多维的、连续的、含噪的，比如视频——你无法预测所有细节。诀窍在于学到一个抽象表示，把无法预测的细节去掉，并在那个表示空间中进行预测。

科学的很大一部分就在于选择一个好的表示。举一个具体的例子。几个世纪以前，人们就很擅长预测行星和天空中物体的轨迹。要确定一套规则来描述为什么有些行星在天空中看起来会倒退，而另一些则向前，这是个复杂的问题。但如果你改变对问题的表示，知道地球不过是绕太阳旋转的一颗行星，其他行星也绕太阳旋转，那么很显然，有些行星有时看起来会倒退，是因为你在轨道上跑得比它们快。表示至关重要。另一个例子是理想气体定律 PV = nRT，它在假设分子之间很少碰撞的前提下，把气体的压强表示为温度的函数。这个预测是在一个表示空间中完成的，该空间几乎去掉了系统底层状态的一切信息，比如所有气体分子的位置和速度。我们根本不可能测量它们，于是我们忽略它们。所有我们不知道的关于系统的信息，我们称之为熵或热。这整个思路——辨别哪些信息对预测有用、并去掉我们无法预测的东西——是科学之根，而且我要说，也是智能之根。

JEPA 实现的是这样一种思路：训练一个神经网络生成输入的表示，这个表示未必包含全部细节，同时在该表示空间中训练一个预测器。¹² 你让系统学到一个表示，它尽可能多地包含关于输入的信息，同时又让你能够做预测：它不包含你无法预测的那些东西，比如气体例子中单个分子的运动。我们用一个编码器来学习表示空间，同时学习一个预测器。要点是：不要在输入空间中做预测，要在表示空间中做预测。难点在于防止"坍缩"（collapse）：即编码器忽略输入、产生恒定输出，使预测变得毫无意义。

**Manyika：** 您过去研究过能量模型和熵函数，把它们作为思考这一问题的方式。这些在这里还适用吗？

**LeCun：** 能量模型的视角是解释其中所发生之事的唯一方式。你可以把自编码器看作一个能量函数，其取值就是某个输入的重建误差。如果重建误差为零或很小，说明你在这个数据上训练过自编码器。但如果你的重建误差到处都是零，那就意味着它实际上没有捕捉到输入中任何有意思的依赖关系，它只是在计算恒等函数。你希望得到一个能量函数，它在训练数据点附近取低能量，在其他地方取较高的值。能量就变成了一种对比函数，把有数据的地方和没有数据的地方区分开来。对比式方法通过生成数据流形之外的点并抬高它们的能量来实现这一点。去噪自编码器就是例子，比如 BERT 式的 NLP 系统和用于图像/视频的掩码自编码器（MAE）。你取一个输入，以某种方式损坏它以生成数据流形之外的点，然后训练自编码器把这个损坏版本的输入变换回原始输入。

一个有意思的变体是扩散模型。¹³ 当你损坏输入时，不是训练自编码器直接重建原始输入，而是只训练它把你带得离原始更近一点。你从一个数据点出发，对它加噪。然后你告诉神经网络：我要你朝这个方向指，这样当别人给你这个带噪点时，你能让它不那么噪。你对轨迹上的所有点都这样做，从而让神经网络学到一个把你带回数据流形的向量场。或者你也可以训练一个能量函数，然后计算这个能量函数的梯度，它同样会把你带回数据流形。

**Manyika：** 您所描述的是试图从观测中学习并构建表示，这在科学语境下直觉上很有吸引力。但在某些科学领域，数据可能很稀疏，或者可观测的量有限。这是否会限制 AI 在这些领域推动科学进步的潜力？

**LeCun：** 希望在于，你或许能够以自监督的方式训练一个通用的编码器和预测器，使用来自不同来源的大量数据，只要输入的表示差异不太大就行。这就是预训练的力量：你有一个预训练好的通用模型，如果你有某个特定实验的数据，就对它做微调。你可能没有海量数据用于训练，但预训练应该能让你处在一个不错的起点上。

**Manyika：** 如果您用来自不同领域、或处于不同抽象层级的数据进行训练，并在差异很大的层级上进行推理，那么您如何处理组合性（compositionality）带来的挑战？

**LeCun：** 我认为我们需要分层模型。当你上升一层时，你会去掉下一层系统状态表示中的一些细节。你得到的表示不那么精确，但这使得更长远的、针对更复杂涌现现象的预测成为可能。同理，我们不会用化学来解释人类行为。如果我们想对复杂系统做长期预测，就需要把细节抽象掉，找到抽象的表示。这些系统应当这样训练：较低的层级做短期的、细致的预测；较高的层级则被训练来为更复杂的系统做更长期的预测，它们为了做出这些预测而舍弃更多信息。至于每个具体问题该用哪一层，那是另一回事。

**Manyika：** 您一直在做的一个区分是您所称的 AMI（advanced machine intelligence，高级机器智能）与 AGI（artificial general intelligence，通用人工智能）。能否解释并对比这两个概念？

**LeCun：** 首先我必须说明，我毫不怀疑，在未来某个时候，机器将在包括科学在内的所有领域与人类一样聪明。

但这里有一个用词的问题。我用"高级机器智能"这个说法，指的是我们在动物和人类身上观察到的那类智能。不一定是人类水平的，因为即便非人类的动物也非常聪明。当前的 AI 系统还远不及此，至少在对物理世界的理解和规划能力上是这样。

然后是类人水平 AI（human-level AI），它包括具备人类全部能力的系统，或许在某些领域还更强。人们说 AGI 时，真正想说的是类人水平 AI，而这里有一个谬误：暗含的假设是人类的智能是通用的。但人类智能根本不是通用的。它高度专门化，是进化发现的、对我们的物种生存有用的东西。我们知道我们并不拥有通用智能。否则，你就不可能花 30 美元买个小玩意儿就能在棋类上打败你了，对吧？

在过去七八十年里，计算机科学已经证明，有很多任务计算机能比我们做得更好，而我们在这类任务上表现极差。过去，你可以靠填写对数表来谋生，成为一名数学家；而现在，计算机做这件事比我们好得多。在像 Isaac Asimov 的《我，机器人》这样的科幻小说里，测试机器人智能的常见方式，是要求它符号化地计算一个积分。¹⁴ 如今我们用计算机就能做到。事实证明，这件事对人类来说很难，但在计算上并没有那么难。我更愿意用"人工超级智能"（ASI）这个说法来指称高级智能，因为它对人类智能的本质不做任何假设。

**Manyika：** 您的意思是，只要我们拿 AGI 与人类智能相比，它其实是一种专门化的智能，而不是通用智能——它实际上只是所有智能的一个子集？

**LeCun：** 不可能存在完全通用的智能，原因和机器学习理论中的"没有免费午餐"定理一样：该定理指出，任何学习系统能够高效学习的任务都只有很少一部分。¹⁵ 这也与一些更偏哲学、概念性的东西有关，比如：无论你提出什么样的复杂性度量，它都会说几乎所有事物都是随机的，只有极少数事物会被你的复杂性概念判为简单。

这是热力学的根基。一个物理系统只有少数状态被视为有序的。仅仅由于统计涨落，它就会从我们视为有序的状态走向无序，因为无序状态要多得多。由于我们对"简单"的定义，只有少数东西是简单的。我认为对智能也有类似的论证。不可能存在一个能解决世界上所有问题的系统。它必须是专门化的。这是其中的哲学层面。所以，我不能认同的正是"通用"这个词。

**Manyika：** 撇开术语不谈，您批评过一条路径：依靠 LLM，一路走向能力更强、直到 ASI 的智能，原因是它们自回归前馈范式的局限。能否解释一下，尤其是在 AI for science（面向科学的 AI）方面？

**LeCun：** 经典 AI 领域的人们几十年来所知的智能推理基本范式是：通过搜索来寻找问题的解。你需要一台具备两个组件的智能机器：一个用来检查某个提议的输出好不好——这是不是我方程的解？这是不是城市之间的最短路径？——另一个用来执行搜索、找出最佳解。但不存在能解决所有问题的单一银弹。

AI 早期的先驱者们花了一些时间才意识到这是个问题。1950 年代，Alan Newell 和 Herbert Simon 提出了一个他们非常谦虚地称之为"通用问题求解器"（General Problem Solver）的程序。¹⁶ 它的主张是：如果我能把一个问题表述为搜索，并且有办法检查某个提议的解是不是好解，那我就能解决任何问题。他们没有意识到的是，搜索问题在大多数情况下都是不可解的。在旅行商问题中——你必须找出一条经过一组城市的最短路线，每个城市只经过一次，最后回到出发城市——随着城市数量增加，复杂度呈指数增长。当人们意识到大多数有意思的问题实际上都是不可解的时，计算机科学的整个理论部分，也就是复杂性理论，由此开启。

通过搜索来为新问题找到答案，这个想法绝对关键，而 LLM 不这么做。它们是自回归地产生输出的。没有优化过程，没有在搜索空间中的搜索。那些生成大量 token 序列并评选哪个最好的 LLM，用的是这类搜索的一种非常原始的形式。这是第一点关键。第二，这种搜索不应该在 token 空间或语言中进行，而应该在抽象的连续表示空间中进行。这才是人类运作的方式，也与面向科学的 AI 相关。

**Manyika：** 但在表示空间中做搜索，预设了某种目标函数。然而对于通用智能或科学而言，我们可能并不知道目标函数是什么；我们常常是在做实验，或者只是探索，或者跟随好奇心。这是否意味着，由于 AI 排除了所有这些由好奇心驱动的工作，这些工具在科学中的用途可能存在某种极限？

**LeCun：** 我认为这完全不构成限制，因为什么是好奇心？当你对某个事件或行动应当导致的结果做出预测时，有两种可能。如果你的预测错了，那就是你的模型错了；你需要调整模型，而且很可能要重做实验。

但还有一件人类能够做到的事，我认为未来的 AI 系统也能够、或者也应该能够做到：预测某个预测的可靠性。如果对某些行动，你对结果的预测是不确定的，你就应该采取该行动、观察结果，如果你的预测错了就修正模型。这就是好奇心的一种形式。婴儿大约在八个月大时学到重力之类的事情。大多数六个月大的婴儿还没弄明白所有物体都会在重力作用下下落；但到十个月大时，婴儿就明白了。如果你把一些八个月大的婴儿放在高脚椅上，给他们一堆玩具，他们会系统地把玩具扔到地上，看着它们落下。他们做实验，验证重力适用于一切物体。如果你给他们看一个氦气球——一个派对气球——它飘了起来，他们会非常着迷，因为这是一个违反了他们认为已经学到的规则的物体。

这就是世界模型这个概念登场的地方。它有两种类型：无条件的和有条件的（或者说因果的）。在无条件类型中，你从世界在时刻 t 的状态出发。世界是一个动力学系统。我能否预测世界在时刻 t + 1 的状态？你想预测的时间跨度越长，做出准确而细致的预测就越困难。你可以做的是在更高的抽象层级上做预测，那里许多细节并不出现。然后是有条件的模型：给定世界在时刻 t 的状态以及一个假想的干预，我能否预测世界在时刻 t + 1 的状态？这其实正是我们在实验科学中所做的事。我们有一个处于某状态的系统，我们做一个实验，然后看结果。如果我们的假设是好的，预测就是准确的。如果模型预测的结果偏离现实，模型就需要调整。这是科学过程的根基：找到一种包含系统相关方面的对现实的表示，施加干预，并预测下一个状态。这就是一个因果模型。

**Manyika：** 您在这里提出的区分是：具备了探测、测试、探索或扰动系统的能力，你就更接近于构建一种由因果推导出的智能感。而有人可能会说，从统计中推导出的智能几乎不能告诉你系统底层的本质和行为。是这样吗？

**LeCun：** 是的。你可以有观测性的预测模型，即便没有干预，也能预测世界如何演化。天文学就是一个例子。它不是一门实验科学；你实际上无法影响你所观测的系统。但你仍然可以提出某种具有因果性的模型。你可以预测行星的轨迹。做这件事的难易程度，完全取决于你选择的表示空间。所以，一旦我们弄明白所有行星——包括地球——都绕太阳旋转，预测行星轨迹就变得简单了太多。科学的关键问题是：我们能否提出一种对现实的良好表示，使我们能够做预测，并且可能是以行动为条件的预测？任何智能系统都必须能够做到这一点。

**Manyika：** 鉴于 AI 的进步，特别是如果我们超越人类认知水平、AI 系统理解得比我们更多，这对科学哲学、我们做科学的方式，以及科学理解的本质意味着什么？

**LeCun：** 我认为这个问题并不新鲜。当我们用计算机数值求解偏微分方程（PDE）时，计算流体力学模拟器是否比我们更懂物理？它能做预测，而它使用的算法是基于人类提出的方程的。

AI 带来的下一步，是训练机器学习系统直接从数据中做预测，而无需人工把过程归结为方程这一步。AI 让我们可以省去先构建一个可供计算的现实模型这一步。这之所以强大，是因为科学中的许多现象都是集体的复杂现象。

一堆沙子有它特定的行为方式，而关于它的理论至今并不完全清楚。材料的性质，尤其是复杂材料的性质，无法直接从量子力学的基本方程推导出来。那实在太复杂了。另一个例子是魔角，即 1.1 度——把两层堆叠的碳单层（即石墨烯）旋转到该角度就能形成超导体。这是一种极难解释的集体现象。这类材料的各种性质，无法有效地归约为少数几个方程，再从这些方程推导出这种集体行为。智能是如何从相互作用的神经元中涌现出来的？这是一个哲学问题：像智能这样超复杂的性质，如何从大量相对简单的元素的相互作用中涌现出来；不过那是相当高层次的问题。在更低的层次上，则是生命如何从蛋白质之间的相互作用中涌现的问题。这个转变——从微观到介观的转变——长期以来一直让科学家困惑不已。有意思的事情正是在这里发生，比如生命。

所以现在出现了一种新的做科学的方式：它既不是完全定性与观测式的，也不是还原论的，而是一种数据驱动、由 AI 驱动的现象学模型，它或许能让我们弥合微观与宏观之间的鸿沟。

**Manyika：** 在未来，您设想 AI 会自己从事科学研究并做出发现，还是它始终会是科学家用来做发现的工具？

**LeCun：** 我认为在很长一段时间里，它都会是一个工具。在某些领域，你或许可以让它长时间自行运转，得出一些有意义的东西，也许它还能评估观察到的行为或模型是否有趣。在某些领域可能会实现一定程度的自动化，但我认为在很长一段时间里，科学家与 AI 系统的关系会像博士导师与博士生之间的关系。只不过后一种关系的目标是让博士生最终能够独立自主。"这个领域有值得探索的有意思的东西。你为什么不研究这个，等有有趣的发现再回来找我？"这就是指导一个团队做研究和自己亲自做研究之间的区别。

AI 基本上会充当一队勤勉的研究助理。即便这些 AI 系统在解决单个问题或从事科研上比我们更强——能和比你更聪明的人共事是很棒的事！——我们仍然是它们的老板。仍然是我们告诉它们该做什么，因为归根结底，我们使用这些工具是为了帮助我们这个物种或社会。决定 AI 系统产出什么，这个角色我们会保留下来。

**Manyika：** 在那个世界里，我们会不会受限于那位指挥这支由智能系统（无论是博士生还是 AI 系统）组成的乐团的科学家？这会不会给我们能做的科学带来某种天花板？

**LeCun：** 不会。我认为那不构成天花板，正如导师也构不成博士生能做出什么成果的天花板。有时博士生会提出导师没想到的好点子。你把他们引上正确的轨道，但他们也会稍微改变方向。我们考虑的是整个科学过程，所以比如在产业实验室里，当个别科学家研究某个课题时，会有一点点来自管理者的影响，但只要那是一家自尊的（self-respecting）研究实验室，影响就不会很大。

如果你对实验室里工作的科学家施加太多影响，你只会得到意料之中的结果。如果你想要突破，就必须给人很大的自由度，基本上别挡他们的路。这是我在 Bell Labs 观察到的一点魔力，也是我在 FAIR（Meta 的基础 AI 研究团队）试图营造的：招最优秀的人，给他们成功的条件，把他们引向一个好的方向，然后别挡道。

**Manyika：** 这是否也意味着，为了推进 AI 与科学，一旦它们足够有能力，我们就应该直接"雇用"最好的 AI 系统、给它们方向，然后别挡道？

**LeCun：** 只有当你要假定我们已经想清楚了所有主要思想、剩下的只是把它做大、把工程做得更好时，才会这样。坦率地说，现在 AI 领域很多人认为我们已经有了正确的范式，只需要把它规模化。众所周知，我不这么认为。我相信，在达到 AMI 或 ASI 之类的目标之前，我们需要一些概念上的突破。我们需要做那种不被当前业界默认模式所圈限的研究。学术界往往不那么指令化，但仍然存在一些方向和约束：你得筹钱来支付学生和博士后的费用，而这些钱通常来自 NSF 或其他机构认为关键的某个特定项目。

**Manyika：** 您一直是开放科学的有力倡导者——例如分享预印本和开源代码。在科学和 AI 中，开放性如何加速进步？

**LeCun：** 科学的过程本身就是以交流为核心的。你有一个想法，做了实验，得到了某个结果，然后你把它发表出来。你需要发表它的原因在于，你需要共同体中的其他人能够质疑这个想法、自己去尝试验证结果，并看看能否做得更好。科学的进步依赖于科学家之间的交流，因而依赖于发表。

如果你做了某项开创性研究却不说出来，那就等于你从未想到过它。如果你把它保密，也许若干年后你能用它做出一个产品。但你要如何说服别人相信你的想法很好、他们应该资助你去实现它？你需要把它发表出来。你需要解释："它是这样运作的，我在这个数据集上试过，但我是世界某个遥远角落里一所大学的穷博士生，没有支持就无法在大型数据集上测试它。"想法在这里，别人会有资源把它变成现实，然后在某个时候它可能引发产业界的投资，最终改变一个行业或催生一个新的行业。这是一个漫长的过程，而人们没有意识到这个过程可能长达五年、十年、二十年、三十年。深度学习就是如此。

到 2012 年，在 arXiv 上发布 AI 预印本已成为标准做法；同行评审和正式发表会在几个月后跟进。《Attention Is All You Need》这篇论文在 arXiv 上的投稿，甚至在它被会议展示之前就已获得大约七百次引用。我公开说过，如果一项进展没有被发表，那它就不算研究，因为你会自欺。我在产业研究实验室里见过这种情况：想法在层级中一路上浮，看起来很棒，却没有人质疑或验证。同行评审并不完美，感觉也很残酷，但它能阻止你自欺。科学的整个过程就是为了防止你自欺。这正是科学方法的全部意义。

开源实践以难以想象的方式加速了 AI 的进步。TensorFlow、PyTorch 和 Jax 这类工具极大地推动了进展，而人人都公开自己的代码，意味着你可以复现并扩展他人的工作。这正是进步速度惊人的背后原因。

**Manyika：** 对大多数科学家来说，好处是显而易见的。但产业界和政府中的一些人以竞争力、知识产权，以及安全/地缘政治方面的顾虑为由，反对开放科学。您如何回应？

**LeCun：** 关于竞争的问题：从蓝天（基础）研究到工程应用是一个连续谱。在靠近蓝天研究那一端，发表更有用。当你越靠近应用，工作就越依赖于诀窍和特定于你自己基础设施的细节。所以存在这样一个点：如果你想保持竞争优势，你就不想发表。不过，如果你根本无法通过一篇传统论文把你的应用成果讲清楚，你本来也不会去发表。

能够发表也能吸引最优秀的科学家。如果你禁止一位自尊的科学家讨论他的工作，你就很难招到他。这就是为什么那些出了名保密的公司很难拥有顶级的 AI 研究团队。此外，科学中"不自欺"的一面通常意味着更高质量的研究。如果科学家被要求发表，他们就会遵循更好的方法来通过同行评审。还有另外一个考虑：研究的商业影响可能要在好几年之后才显现。如果你想让科学家有动力，就不能只靠产品影响力来激励他们，因为即便他们的想法很好，这件事发生的概率也可能很小，可能要二十年后。科学家必须更早地获得某种"得分"。在会议上展示论文、获得引用，都是得分的方式。而在产业界，发表是管理层评估一项研究的方式。评估一项研究的潜在长期影响是出了名的困难。依靠外部研究共同体可以是避免误判的好办法。如果你们实验室的一篇论文在 ICLR（国际学习表征会议）或 CVPR（计算机视觉与模式识别会议）上获奖，你大概应该在公司内部重视它。如果一篇 arXiv 预印本在几个月内获得两百次引用，情况也一样；或者如果你们产品团队从未关注过的那个开源包在 GitHub 上拿到一万颗星，而且除了你们之外全行业都在用它，情况同样如此。

现在谈谈国防与地缘政治的问题。在从研究到产品/部署的连续谱上，出于地缘政治或安全理由（而不是为了加速科学研究），你可以提高研究公开的门槛。但你要付出代价。你越保密，就越拖慢自己。而且，如果你能秘密地做研究并解决一个问题，那么这个问题很可能本来就没那么难。你也许以为自己对解决问题的好点子拥有垄断，但如果这是一个难题，那就需要整个科学共同体都产生兴趣并交换想法。

ASI 或 AMI 的问题就属于这种性质。它仍然是一个科学问题，不是靠扩大规模或工程资源就能解决的问题。它是一个科学问题，而没有人能垄断好想法。这就是为什么我认为，有些机构声称他们会用一支十人左右的小团队秘密工作、在几年内搞出 AGI（或不管他们怎么称呼它），那完全是胡说八道。那根本不可能发生。这是我们这个时代最具挑战性的科学与技术问题之一。你不可能靠一小撮人秘密工作来解决它；那只会发生在糟糕的科幻电影里。

**Manyika：** 展望未来，您希望 AI 能帮助解决哪些重大的科学问题？

**LeCun：** 科学有三大问题。宇宙由什么构成？生命究竟是什么？大脑如何工作？几乎所有的科学都落在其中某一类里。我认为 AI 对科学的承诺是巨大的。
## 尾注（Endnotes，原文保留）

1. Geoffrey Hinton, Li Deng, Dong Yu, et al., "Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups," *IEEE Signal Processing Magazine* 29 (6) (2012): 82–97, https://doi.org/10.1109/MSP.2012.2205597.
2. Brian Fildes, Michael Keall, Niels Bos, et al., "Effectiveness of Low Speed Autonomous Emergency Braking in Real-World Rear-End Crashes," *Accident Analysis & Prevention* 81 (2015): 24–29, https://doi.org/10.1016/j.aap.2015.03.029.
3. Dzmitry Bahdanau, Cho Kyunghyun, and Yoshua Bengio, "Neural Machine Translation by Jointly Learning to Align and Translate," arXiv (2014; rev. 2016), https://arxiv.org/abs/1409.0473.
4. Ashish Vaswani, Noam Shazeer, Niki Parmar, et al., "Attention Is All You Need," arXiv (2017), https://arxiv.org/abs/1706.03762.
5. Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean, "Efficient Estimation of Word Representations in Vector Space," arXiv (2013), https://arxiv.org/abs/1301.3781; Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov, "Enriching Word Vectors with Subword Information," arXiv (2016; rev. 2017), https://arxiv.org/abs/1607.04606; and Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov, "Bag of Tricks for Efficient Text Classification," arXiv (2016; rev. 2017), https://arxiv.org/abs/1607.01759.
6. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, "BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding," arXiv (2018; rev. 2019), https://arxiv.org/abs/1810.04805.
7. John Jumper, Richard Evans, Katherine Tunyasuvunakool, et al., "Highly Accurate Protein Structure Prediction with AlphaFold," *Nature* 596 (7873) (2021): 583–589, https://doi.org/10.1038/s41586-021-03819-2.
8. Siyu He, Yin Li, Yu Feng, et al., "Learning to Predict the Cosmological Structure Formation," *Proceedings of the National Academy of Sciences* 116 (28) (2019): 13825–13832, https://doi.org/10.1073/pnas.1821458116.
9. Daniel Kahneman, *Thinking, Fast and Slow* (Farrar, Straus and Giroux, 2011).
10. David Silver, Aja Huang, Chris J. Maddison, et al., "Mastering the Game of Go with Deep Neural Networks and Tree Search," *Nature* 529 (7587) (2016): 484–489, https://doi.org/10.1038/nature16961; and David Silver, Thomas Hubert, Julian Schrittwieser, et al., "A General Reinforcement Learning Algorithm that Masters Chess, Shogi, and Go through Self-Play," *Science* 362 (6419) (2018): 1140–1144, https://doi.org/10.1126/science.aar6404.
11. Long Ouyang, Jeffrey Wu, Xu Jiang, et al., "Training Language Models to Follow Instructions with Human Feedback," arXiv (2022), https://arxiv.org/abs/2203.02155.
12. Mahmoud Assran, Quentin Duval, Ishan Misra, et al., "Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture," arXiv (2023), https://arxiv.org/abs/2301.08243.
13. Jonathan Ho, Ajay Jain, and Pieter Abbeel, "Denoising Diffusion Probabilistic Models," arXiv (2020), https://arxiv.org/abs/2006.11239.
14. Isaac Asimov, *I, Robot* (Gnome Press, 1950).
15. David H. Wolpert and William G. Macready, "No Free Lunch Theorems for Optimization," *IEEE Transactions on Evolutionary Computation* 1 (1) (1997): 67–82, https://doi.org/10.1109/4235.585893.
16. Allen Newell, John C. Shaw, and Herbert A. Simon, "Elements of a Theory of Human Problem Solving," *Psychological Review* 65 (3) (1958): 151–166, https://doi.org/10.1037/h0048495.