田渊栋：AI 护城河、记忆瓶颈与 Agent 的洪水整理了田渊栋在《硅谷坐标》访谈中的核心判断。田渊栋是前 Meta 研究总监，长期做强化学习和大模型推理方向。
AI 护城河的排序
田渊栋给出了明确排序，并愿意为之背书：
数据排第一。 垂直领域的数据稀缺、难复制、AI 很难直接生成。通用数据各大 lab 已经跑遍了，真正有价值的是业务里积累的、别人没有的东西。
Infra（基础设施）排第二，但护城河在变窄。 他自己对比了三个月前的体验，AI 写代码让效率提高了至少 10 倍。如果这个趋势继续，以前需要强工程团队才能搭起来的东西，以后一个人加 AI 就够了。
算法的地位被高估了。 硅谷没有秘密——一个新方案出来，两三个月之后基本都传开了。DeepSeek 在残差连接上做了个魔改，很快有人发现简化版效果差不多。算法上的改进要么是微调，要么是颠覆性跳变，但跳变什么时候来没人说得清。所有人都在等那个跳变。
大模型的记忆机制
很多人以为上下文窗口就是大模型的全部记忆，不是的。
短期记忆：上下文窗口。 当前对话里的所有内容，快、灵活，但有上限。窗口满了就开始表现变差。2023 年他们在 Meta 做的 Positional Interpolation（位置编码插值），把长上下文的位置编码映射到短上下文上，用很小的训练代价实现了窗口扩展——各家从那时开始大幅拉长 context window。
长期记忆：模型权重。 预训练写进去的，很难改变。预训练做得好，模型后续什么任务一点就通；预训练不够，每一步都得解释清楚，举一反三想都别想。
核心矛盾在于：全部记住代价太高，选择性遗忘又可能漏掉关键信息。H2O 是他们后来做的方向，把”重要的记忆”捞回来，让模型在关键问题上还能答对。这个 tradeoff 目前没有银弹。
从女儿学数数看理解的飞跃
田渊栋观察女儿学数数时注意到一个现象：教了很久好像什么都没记住，然后某天突然之间，她不只是会数数了——开始对数字大小有感觉，能猜两位数的关系，能举一反三。没人再教什么新东西，但理解发生了质的变化。
大模型目前的记忆方式跟这个差距很大。现在的方法更像是把每条知识存进去，需要时调出来。但那种内部重组、对世界理解的飞跃，还没发生。Google 的 Nested Learning 尝试把所有学习过程统一成 associative memory（联想记忆），逻辑有意思，但还是在记”点”，没有形成整体理解。
用诸葛亮的话说是”观其大概”：不看细节，但理解得足够深之后，结论自然出来。大模型还不会这个。
Scaling Law 的路径依赖
Scaling 有效，但代价在以指数级增长。存储是瓶颈，电力是瓶颈，单卡内存不够就要切片、增加通信延迟，整个效率链条都在被拖慢。
那 OpenAI 和 Google 为什么还在这条路上跑？路径依赖。大厂把所有 team 都建好了，已经形成了一台运转的机器。让它转向去做一个不确定的新方向非常困难。沿着 Scaling Law 走最安全：不需要太多脑筋，见效快，投入就有产出。等 return 越来越少的时候，大厂才会开始想别的。
强化学习推理的天花板
O1 出来之后大家很兴奋，Test Time Scaling（推理时扩展）好像打开了一条新路。但后来有个让人不舒服的观察：强化学习推理的上界，可能被预训练锁死了。
强化学习能 work，是因为预训练给了模型大量的思维素材。强化学习在这些素材里搜索，找到那条对的路径并放大。如果预训练对这个问题的理解根本不够深，素材里就没有解题方法，用多少强化学习都找不到。
所以现在的方向是 Continuous Learning（持续学习）：在推理过程中同时更新模型权重，不只是搜索，而是让模型在做的过程中真正学到东西。这个方向还在早期，但逻辑上是对的。
Agent 的洪水
田渊栋在年终总结里写过：洪水马上来了。
大部分人没感觉，因为不是 AI 从业者。日子还是岁月静好，直到某天突然发现自己被裁了——不是因为跟老板有矛盾，不是因为在这家公司做得不好，是全行业的逻辑变了，技能在任何地方都没有用了。
Agent 颠覆的不只是工作方式。以前花两小时在亚马逊找东西、比价、下单，Agent 不会被闪烁的特价按钮吸引，不会因为广告 banner 点进去，它只看最优解。整个电商逻辑、整个广告逻辑都会变。已经有人在用 Agent 帮自己买东西——Agent 知道他所有的偏好，效率远高于自己浏览。这不是五年后的事。
人的目的性不可替代
未来二十年会是什么样，田渊栋说真的不知道。以前写科幻，一个想法可以慢慢写，因为五十年内不会发生。现在倒过来了：想法如果不写，明天就变成历史了，不是科幻。
能确定的只有一点：人的目的性，是机器替代不了的。不是说 AI 不能替代，而是那部分被替代之后，这件事就失去意义了。一部小说、一件艺术作品，它的价值在于一个人有了某种冲动，把这个冲动变成了现实。这个冲动不能外包。
所以教育下一代，核心只有一件事：让他找到自己的动力。有了动力，工具自然会用，方向自然会找。