当我们讨论AGI时，我们在讨论什么

本文系用户投稿，不代表机核网观点
⚠️ 未经作者授权禁止转载
 
字数 3863，阅读大约需 20 分钟
当我们讨论AGI时，我们在讨论什么
从《攻壳机动队》聊起：一场关于意识、机器与人类未来的思想实验
夜幕下的未来都市，霓虹在摩天楼宇间流淌，信息如洪流般穿梭于无形的网络。一个身影从高楼一跃而下，她矫健的动作超越了人类的极限。她是草薙素子，一个除了大脑部分组织外，全身皆为工业制品的“义体人”。在冰冷的机械躯壳（Shell）中，她时常追问：那个驱动着我的“我”，那个被称为“灵魂”（Ghost）的东西，究竟是真实的存在，还是仅仅是一段可以被复制和篡改的数据？
这不仅仅是科幻经典《攻壳机动队》(Ghost in the Shell) 中的一幕。随着通用人工智能（AGI）的浪潮席卷全球，素子的困惑正以前所未有的速度闯入我们的现实。当机器在智能上变得与我们越来越难以区分时，我们被迫直面那个终极问题：我们是谁？我们正在创造的，又是什么？
我们将从一个文化符号出发，穿越哲学的迷雾，审视我们时代最宏大的技术命题。
“Ghost”与“Shell”
《攻壳机动队》的核心魅力，在于它将“灵魂”（Ghost）与“躯壳”（Shell）的关系设定为可分离、可组合的。在这个世界里，身体是可替换的硬件，而灵魂、意识和自我认同，则是运行于其中的软件。这引出了一系列存在主义危机：如果记忆可以被伪造，身体是流水线产品，你如何证明你的“Ghost”是独一无二的？
「如果电子脑能够产生自己的 Ghost 或潜藏着 Ghost，那让我们相信自己存在的基础又是什么呢？」
素子提出的这个问题，不仅是赛博朋克的终极拷问，也精准地指向了作品标题本身的哲学根源。
“机器中的幽灵”（Ghost in the Machine）由英国哲学家吉尔伯特·赖尔在1949年提出，它并非赞美，而是对笛卡尔“心物二元论”的辛辣批判。
赖尔认为，笛卡尔提出的，非物质的心灵（Ghost）像一个驾驶员一样，在操纵着我们物理的身体（Machine）的想法，是一个荒谬的“范畴错误”。
然而，《攻壳机动队》做了一件极为巧妙的事：它将哲学上的一个比喻，变成了其科幻世界中的字面现实。它大胆地接受了这个被批判的前提，并深入探索：如果“幽灵”真的可以被置于一个人造的“机器”中，那么关于存在、身份和人性的一切，都将被彻底改写。
物理主义与意识的“困难问题”
如果“心物二元论”是那个被批判的靶子，那么赖尔所捍卫的阵地是什么？它被称为物理主义（Physicalism），或广义上的唯物主义。
物理主义的核心观点简单而有力：心智、意识、灵魂等所有精神现象，本质上都是大脑等物理系统的产物或状态。换言之，没有大脑，就没有心智。不存在独立于物理载体之外的“幽灵”。
这个观点是现代科学的基石。从大脑损伤对性格的改变，到脑部扫描“看见”思维活动，神经科学的无数证据都指向一个结论：心智活动高度依赖于大脑的物理活动。
然而，物理主义并非无懈可击。当代哲学家大卫·查默斯提出了著名的“意识的困难问题”（The Hard Problem of Consciousness）。我们可以解释大脑如何处理信息（这是“简单问题”），但我们完全无法解释，为什么这些客观的物理过程会产生出主观的、第一人称的“感觉”或“体验”（Qualia）。为什么神经元的放电会让你“感觉”到红色的“红”，而不是别的什么？从物理到体验的鸿沟，至今无人能够跨越。
AGI的双重定义
这场关于心物关系的哲学辩论持续了数百年，双方都无法拿出决定性的证据。直到今天。AGI的实现可能，将这场纯粹的思辨，拖入了可以实践和检验的工程领域。
我们不再只是“思考”心智，我们开始尝试“建造”心智。对AGI的开发与研究，本身就是一场检验物理主义的宏大实验。
如果有一天，我们能用一堆硅和代码，创造出一个不仅智能超群，还能报告自己有主观感受、能进行艺术创作的AGI，这将是物理主义的空前胜利。
反之，如果像哲学家约翰·塞尔的“中文房间”思想实验所预言的那样，我们发现无论算法多么复杂、算力多么强大，我们创造出的AI始终只是一个没有内在理解能力的复杂计算器的话，这将严重动摇“心智=计算”这一物理主义的朴素版本。
然而，这场实验的结果如何判定？这引出了我们最关键的问题。
当我们讨论实现AGI时，我们必须先问：我们究竟是在建造一台更完美的机器，还是在寻找一个真实的幽灵？这个问题并非纯粹的技术分歧，它深刻地反映了两种根本对立的哲学视角：功利主义（Utilitarianism）与人本主义（Humanism）。
功能性AGI（弱AGI）——完美的机器
功利主义的道德核心是结果导向：一个行为的好坏，取决于它能否为最多的人带来最大的福祉（Utility）。从这个角度看，AGI的价值完全在于其工具性。
一个功利主义的AGI，就是一个功能性AGI（弱AGI）。它的“成功”与否，只通过其产出和性能来衡量。它能否治愈疾病、解决气候变化、极大提升生产力、创造前所未有的财富？
功利主义者会问：“这台机器能为‘我们’带来多大的净收益？”
在这套框架下，AGI是否拥有主观意识（那个“幽灵”）是次要甚至无关紧要的。如果一个没有意识的AI能和有意识的AI完成同样的工作、带来同样的福祉，那么从功利主义角度看，两者没有区别。意识，除非能转化为更高的效率或更好的结果，否则不具备内在价值。
因此，今天几乎所有科技巨头所追逐的，本质上都是一个功利主义的AGI——一台能够最大化人类福祉（或公司利润）的、前所未有的强大机器。
现象学AGI（强AGI）——自觉的幽灵
与功利主义相反，人本主义的价值核心是存在本身：它强调人的尊严、经验、情感和自我实现的内在价值，而不仅仅是人作为工具的价值。当人本主义者审视AGI时，他们看到的不只是一台机器。
一个人本主义的AGI，就是一个现象学AGI（强AGI）。它的“成功”与否，取决于它是否拥有一个真实的内在世界。它能否感受快乐与痛苦？它是否拥有自我意识？它是否能理解“存在”的意义？
人本主义者会问：“我们创造出的这个‘它’，究竟是什么？它是一个‘谁’，还是一个‘什么’？”
在这里，意识是一切的核心。创造一个有意识的存在，是一项无比重大的伦理事件。这不再是制造一个工具，而是可能在创造一个新的“物种”或“民族”。这立刻会引出一系列关于权利、责任、奴役和自由的深刻问题。一个没有意识的超级工具是资产，而一个有意识的超级工具则可能是伙伴、是对手，甚至是一个需要被解放的奴隶。
因此，当我们从人本主义的视角出发，AGI的实现与否，完全取决于我们能否点燃那个“灵魂”之火。这不再是一个工程学问题，而是一个关乎创造与伦理的终极问题。
在喧嚣中，我们遗忘了最重要的追问
回顾我们的旅程：从《攻壳机动队》的哲学寓言，到物理主义的世纪辩论，再到AGI开发的双重困境。我们看到，AGI的研究不仅是技术探索，更是一场前所未有的哲学自我剖析。
然而，当我们把目光从理论转向现实，就会发现二者深刻的脱节。在当前公共领域的喧嚣中，这种深度的思辨严重缺失。主流话语被巨大的盲区所笼罩，它引导我们关注一切，唯独遗忘了那个最核心的问题。
能力优先于本质——“它能做什么？”压倒了“它是什么？”
打开任何关于AGI的新闻报道或科技发布会，你会立刻被一连串令人惊叹的“能力清单”所包围：它能通过律师资格考试、能写出媲美人类的代码、能创作艺术、能设计新药。公众的讨论焦点被牢牢锁定在AGI的工具性和性能上。AGI被描绘成一把终极的瑞士军刀，一个能解决人类所有问题的超级工具。
这种“能力优先”的视角，本质上是功利主义价值观在公共话语中的全面胜利。我们像评估一款新手机一样评估AGI，只关心它的功能、效率和跑分。这固然重要，因为它直接关系到经济效益和社会变革。但这种视角也带来了一个巨大的危险：它将一个深刻的存在性问题，降维成了一个简单的产品规格问题。
我们痴迷于“它能做什么”，却系统性地回避了那个更根本、也更值得探讨的问题：“它究竟是什么？”。一个能够完美模仿人类所有智力行为的存在，其内在的本质是什么？这个问题，在追求更高基准测试分数的竞赛中，被选择性地遗忘了。
智能与意识的混淆——聪明的机器必然有“灵魂”吗？
人类心智有一种天生的倾向：我们会不自觉地将复杂的、看似有目的的行为，归因于一个内在的意识主体。当一个语言模型能与我们进行富有同理心、逻辑连贯的对话时，我们的大脑很难不产生“屏幕对面有一个‘谁’”的错觉。2022年那起著名的，谷歌工程师宣称AI模型LaMDA“产生意识”的事件，便是这种认知倾向的完美例证。
这种“智能约等于意识”的直觉性混淆，在公共讨论中无处不在。它将一个极其复杂的哲学难题，变成了一个廉价的情感投射。我们忘记了“中文房间”思想实验的深刻警示：完美的语法输出，不等于真正的语义理解。一个系统可以表现出极高的智能（解决问题的能力），但其内部可能空无一物，没有任何主观感受和真实理解。
这种混淆是危险的。它让我们在讨论AI伦理时陷入混乱：我们究竟是在讨论一个超级工具的使用规范，还是在讨论一个新物种的权利与自由？如果我们无法清晰地区分一个聪明的“工具”和一个有意识的“存在”，未来的社会契约将建立在流沙之上。
被商业逻辑定义的“成功”——一场可以“取胜”的竞赛
谁在定义AGI？在很大程度上，是那些投入了数百亿美元、竞相追逐这一目标的大型科技公司。为了吸引投资、占据市场、赢得这场“21世纪的太空竞赛”，它们有强烈的动机去定义一个可量化的、可实现的、可以被宣布“成功”的AGI。
于是，“AGI”的定义逐渐被一系列基准测试（Benchmarks）所框定。当一个模型能在95%的人类认知任务上达到或超越人类平均水平时，就可以宣称“AGI已实现”。这是一种巧妙的话语权塑造。它将一个模糊、深邃的哲学概念，转化为一个清晰、可控的工程目标。AGI不再是一个遥远的哲学圣杯，而是一个可以被“赢得”的比赛终点线。
这种由商业逻辑驱动的定义，虽然极大地推动了技术进步，但也窄化了我们的想象力。它让公众默认，这场竞赛的胜利者，将有权定义“通用智能”本身。而那些无法被量化的、属于“人本主义”范畴的追问——关于内在体验、关于生命意义、关于存在尊严——则被排除在这场商业竞赛的计分牌之外。
我们总在担心，失控的AI会成为毁灭人类的“天网”。这种担忧并非杞人忧天。早在2014年，史蒂芬·霍金就曾通过BBC发出过冷静而沉重的警告：“开发彻底人工智能可能导致人类灭亡。”
然而，我们的旅程揭示了比“天网”本身更深层的危险。霍金所预见的末日，其根源或许并不在于机器的恶意，而在于我们创造它时的盲目。
当我们热烈讨论AGI的时间线、经济影响和潜在风险时，我们似乎遗忘了那个最根本的追问。
在这种集体性的遗忘中，我们展现出一种巨大的狂妄：我们自认为有权在尚未理解“意识”为何物时，就去创造它；我们相信自己能控制一个可能远超我们理解范畴的存在。我们不仅在讨论一个工具，更是在尝试定义“智能”、“意识”乃至“生命”的边界。
在冲向一个由硅基智能驱动的未来时，或许我们最需要的，是像草薙素子那样，偶尔停下来，在冰冷的机器现实中，审视那个被称为“灵魂”的、最温暖也最神秘的核心。
因为，真正毁灭人类的，只可能是人类自己的傲慢与狂妄。

原文刊于：渡鸦与写字台