DeepMind：Transformer存在拓扑缺陷，思维链治标不治本

36氪 6/17 20:30 转载微信公众号"机器之心"Panda 深度文章：谷歌 DeepMind 发布最新论文《Transformer 的拓扑麻烦》（arXiv: 2604.17121），首次系统性揭示支撑 GPT/Claude/Gemini/DeepSeek 等所有主流大模型的 Transformer 架构存在根本性"状态追踪"结构性缺陷——每整合一条新信息，模型内部状态就被推送到网络更深层，深度有限导致追踪能力存在上限。论文用 Gemini 3 (Fast) 实测展示：在"猜数字"游戏中前后矛盾（猜 60→更小、41→更小、70→更大），Gemini 3 Thinking 即使在思考阶段明确写下"我选定 42，60 比 42 大应回答更小"，用户猜 42 时仍答"更小"，等于忘了自己刚说的话。"bank"歧义测试中消歧信息埋在网络第 6 层，浅层无法访问，被词频关联覆盖。论文核心论断："思维链"（CoT）不是解决方案，只是在给结构性缺陷打补丁，代价是大量计算+上下文窗口占用+推理成本飙升。论文主张研究重心从"外显思维链"转向"隐式激活动态"，回归循环架构（MAMBA、RWKV-7、DeltaNet 等 SSM），其中 DeltaNet 改进版通过扩展特征值至负数，超越标准 Transformer 的状态追踪能力。这是 DeepMind 首次官方承认 Transformer 架构"治标不治本"的局限，对依赖"思维链"作为核心推理能力的 AI 头部公司构成基础性挑战。