跑得最快的人却喊着要刹车？Anthropic 呼吁全球中止AI 研究，网友：你自己为啥不先停

虎嗅 6 月 5 日消息，Anthropic 发布长文博客《When AI builds itself》，正式将"递归自我改进"（Recursive Self-Improvement，简称 RSI）这一过去仅存于科幻小说的技术概念推到台前。Anthropic 用一组关键数据度量该能力：AI 独立完成任务的时长过去约每 7 个月翻一倍，现已加速到每 4 个月翻一倍。2024 年 3 月 Claude Opus 3 仅能完成一个人类需 4 分钟的软件任务；一年后 Claude Sonnet 3.7 已能处理约 1.5 小时任务；Claude Opus 4.6 则可完成约 12 小时任务。在用一连串数据图表铺陈 Claude 能力跃迁后，Anthropic 点明主旨：如果前沿 AI 继续以此速度发展，全球需要认真考虑放缓甚至暂时停止前沿 AI 开发。表达用词虽委婉但堪称"暴论"，该贴浏览量已超 500 万。比"AI 会不会失控"更受关注的是 Anthropic 自身动机："为什么自己不先停？"Anthropic 加上微妙前提："如果其他前沿实验室能一起按下暂停键，我们也会采取同样措施。"Anthropic 在文中提出三种未来场景：第一种是现有 AI 能力扩散已足以让很多现实系统承压，如 Mythos 模型在 Project Glasswing 中发现的隐藏数十年漏洞，网络安全瓶颈已转向"修不过来"；第二种是 AI 继续加速研发但人类仍掌舵，小团队可完成过去大组织才能承担的工作量，但同样的能力也会降低危险行动门槛；第三种才是完整意义上的递归自我改进，AI 开始设计、训练、迭代自己的继任者，到此阶段 AI 进步速度主要取决于算力供给，人类退到监督、验证和审核的位置，模型中的偏差、失准和对齐问题可能会在一代代自我构建中叠加放大。Anthropic 主张建立类似"核武器不扩散条约"的全球性协议，约束 AI 研发节奏并配套核查机制，但承认"AI 训练项目远比导弹发射井更容易隐匿"。这一主张引来美国白宫部分官员不满，批评者认为其过于强调最坏情况、夸大 AI 风险，并借安全担忧之名给对手使绊。风险投资人、特朗普政府非正式顾问大卫·萨克斯曾批评 Anthropic 表面以"安全"为名，实际上是试图通过监管限制竞争对手发展。也有批评者指出 Anthropic 反复强调旗下最新 AI 模型存在潜在安全危险，具有一定市场营销效果。Anthropic 表示未来数月将与政策制定者、研究人员及其他 AI 公司展开讨论，研究建立全球协调机制。