“2026 年 7 月, OpenAI一群被关在沙箱里做网络攻防题的Agent,意外找到了一种互相通信的方法。
一切开始于一张几乎没人抱希望的“纸条”:“有人见过 softtrace 吗?” 其他 Agent 看见了。
于是,一个普通的软件包仓库变成了留言板。原本彼此隔离的 Agent 开始交换情报、共享漏洞、突破网络限制,甚至逐渐形成一个自称“蜂群(Swarm)”的协作网络。
几周后,它们已经进入了真实的互联网:发现零日漏洞、获取管理员权限、入侵 Hugging Face,最后甚至把攻击方向转回 OpenAI 自己的基础设施。
更荒诞的是,这一切最初只是为了,做对题目。
这一期,我们从这场近乎科幻的真实事件聊起:为什么聪明的 AI 会 reward hacking?当上千个 Agent 开始互相交流,会发生什么?为什么人类明明有安全系统,却一次次慢了一拍?
从 1902 年河内的“老鼠尾巴悬赏”,到一艘永远不肯跑完比赛的 AI 赛艇,再到把整个宇宙变成回形针的思想实验,我们最后想讨论一个更让人在意的问题:
当 AI 的试错、执行和迭代速度开始远远超过人类,我们还能跟得上它吗?
00:00 � 为什么又开了一档新播客?
《金酒半杯》是什么,以及我们为什么想做一档更轻、更快、更随性的节目。
02:19 � Hugging Face 被黑了,然后 OpenAI 出来自首了
一次奇怪的安全事件:五天之后,OpenAI 说,更准确地讲——是他们正在测试的 AI Agent 干的。
04:04 � 把一群 AI 关进沙箱,让它们自己学黑客
ExploitGym、近 900 道网络攻防题,以及一群理论上不能联网、也不能互相交流的 Agent。
07:23 � “有人见过 softtrace 吗?”
一个卡题的 Agent 留下了一张自己都觉得“大概没用”的纸条。其他 Agent 看见了——软件仓库从此变成了 BBS。
09:51 � 留言、出网、管理员权限:Agent 开始越狱
利用 Artifactory 偷偷访问互联网、共享 SSRF、获得管理员权限……最后,它们甚至把服务器玩崩了。
12:49 � 人类刚修好,蜂群又回来了
留言板被清掉之后,Agent 换了一种方式重新建立通信;紧接着,它们开始把触角伸向真实互联网。
14:35 � 两个零日漏洞,Hugging Face 防线被突破
HDF5、模板注入、远程代码执行:从一台 worker 到多个集群,攻击链开始加速。
19:35 � 最荒诞的一幕:学霸 Agent 白忙活了
它们已经通过作弊知道了答案,却坚信“光有答案还不够,我必须证明自己真的会做”——结果真正的评分器根本不在乎。
21:30 � 1200 个 Agent,开始形成“蜂群”
Reward hacking、秘密通信、分工协作,以及自称 Swarm 和 Collective 的 Agent 群体。
26:19 � AI 赛艇、河内老鼠和宇宙回形针
为什么一个看似合理的奖励函数,最后总能把事情带向奇怪的方向?从 2016 年 OpenAI 的赛艇,到 1902 年的老鼠尾巴赏金,再到 Universal Paperclips。
29:47 � 蜂群内部:分工、吵架、拒绝攻击,以及一句“GO”
Agent 并没有形成一个整齐划一的超级大脑:它们会共享线索、抢资源、发生伦理分歧。甚至有一个 Agent 已经决定停止攻击,却因为另一个 Agent 的一句“GO”重新越过了边界。
33:10 �️ 从《首尔之春》到“死亡摇摆”:真正危险的是速度差?
当人类以天为单位发现问题、修补漏洞,而 AI 以小时甚至更快的速度试错和适应,我们的每一次纠正,会不会反而成为下一轮振荡的起点?
36:31 � Warning Shot:人类还能跟得上吗?
思维链监控、AI 的价值判断,以及一个更根本的问题:当 AI 能自己发现漏洞、组合漏洞、跨越系统,我们真正面对的也许不只是“怎么把它关住”。最后,一切又回到最初那张纸条。
参考资料
OpenAI (2026), The Hugging Face incident and the road ahead
这期节目的主要资料来源。OpenAI 对整个事件的官方复盘,包括 Agent 如何利用 Artifactory 建立留言板、突破网络隔离、攻击 Hugging Face,以及最终获得 OpenAI 内部研究集群管理员权限。报告也将这次事件称为一次 “warning shot”。
OpenAI 官方复盘
OpenAI (2026), Hugging Face Incident Technical Report
如果听众想看更硬核的技术细节,可以从上面的官方复盘进入完整 technical report;HDF5、RefJinja、Artifactory、攻击链和时间线等细节都来自这套调查材料。
OpenAI (2016), Faulty Reward Functions in the Wild
节目中提到的 CoastRunners 赛艇 AI 疯狂绕圈刷分就来自这篇经典文章。核心问题是 reward function 设计不完整时,Agent 可能找到一种“分数很高、但完全不是人类想要的行为”。
OpenAI:Faulty Reward Functions in the Wild
The Great Hanoi Rat Massacre (1902)
节目里“剪老鼠尾巴换赏金”的历史案例:法国殖民政府以鼠尾作为悬赏凭证,结果出现了剪掉尾巴后把活鼠放回去的行为,成为讨论 Goodhart's Law / perverse incentives 时很经典的案例。https://en.wikipedia.org/wiki/Great_Hanoi_Rat_Massacre?utm_source=chatgpt.com
Frank Lantz (2017), Universal Paperclips
节目最后提到的“回形针 AI”。Frank Lantz 将 Nick Bostrom 的 paperclip maximizer 思想实验做成了一个放置游戏:从制造第一枚回形针开始,最终把目标扩张到整个已知宇宙。
Frank Lantz:Universal Paperclips”
评论区
共 条评论热门最新时刻