——听 Richard Sutton 2026 年上海演讲

2026 年 7 月 19 日，上海世博中心，世界人工智能大会的"思想者论坛"。台上是快七十岁的 Richard Sutton——强化学习的奠基人，2024 年图灵奖得主，《苦涩的教训》的作者。就在演讲前几天，他刚宣布离开效力三年的 Keen Technologies，与阿尔伯塔大学的年轻研究者 Khurram Javed 共同创办新公司 Oak Lab。讲题是《基于强化学习从经验中培育超级智能》，内容是他最新的 OaK 架构——Options and Knowledge，选项与知识。

这一个多小时的录音，我前后听了两遍。第一遍听到的是一个熟悉的 Sutton：重申《苦涩的教训》，批评大模型，鼓吹经验。第二遍才听出味道：这不是一个老人在重复自己，而是一个人站在对方的主场中央，把自己四十年的思考压缩成一份完整的、可以被检验的配方，然后坦白地告诉你，这份配方今天还做不出来，缺哪一味也一并告诉你。这种讲法，在 2026 年的 AI 会议上几乎绝迹。

WAIC 是大模型的主场。三天议程里，所有人都在谈 scaling、谈 agent、谈落地。Sutton 上台做的第一件事，等于告诉这个行业：你们把我那篇文章当圣经，但你们只读了一半。

一、《苦涩的教训》只被读了一半

2019 年他写《苦涩的教训》，讲七十年 AI 史反复上演的同一出戏：依赖人类知识的精巧方法短期领先，最终总被"利用大规模算力的通用方法"碾过。业界把这篇短文奉为 scaling 的理论依据。可这篇文章其实有两只手：一只手说要拥抱算力，另一只手说不要把人类已经发现的东西建进系统，要让系统自己去发现。

大模型把第一只手举得很高——算力、参数、数据的规模化确实兑现了前半句。但预训练本身，恰恰是人类历史上最大规模的一次"把人类知识硬编码进系统"的工程：几十万亿 token 的人类文本，就是几十万亿条人类先验。演讲里 Sutton 的立场毫不含糊：要去寻找智能的底层基本原理，而不是被我们自己的心智在这个特定世界里产生的具体内容所误导；不该把人类发现的规律内置进去，该让智能体自己去发现。

这听上去像原教旨立场，但底下有一个可以摊开讲的认识论论证。模仿学习的天花板是被模仿者：一个只从人类文本学习的系统，它对世界的全部认知都是二手的，它没有属于自己的 ground truth，没有任何一条自己的预测被世界亲自兑现或亲自打脸的经历。它可以流畅复述"火会烫伤人"，但这个句子在它那里的地位，和"独角兽有一只角"完全等价——都只是语料中的统计规律。而对一个真的烫过手的智能体来说，前者是被世界签过字的知识。Sutton 要的是后一种知识，彻底的、全部的后一种。经验，在他的定义里窄得惊人，也硬得惊人：行动、观察、奖励，除此之外没有别的输入渠道。

二、大世界：一个关于谦卑的假设

整场演讲的哲学地基，是他所谓的"大世界"视角。世界远远大于任何一个智能体，大到智能体永远不可能拥有完备的模型，一切认知只能是近似；又因为一切都是近似，世界对智能体而言必然呈现为非平稳的——你在不同时刻接触大世界的不同局部，昨天调好的近似今天就会失效。于是持续学习不是一个可选功能，而是生存条件。他甚至提醒听众，连三维空间、物理定律这些我们以为"普适"的东西，也只是这个特定世界的具体内容，一个真正通用的智能体不应该把它们预设进来。

把这个假设反过来照，能照出当前范式暗含的形而上学：训练、冻结、部署这条流水线，其实假设了一个会为你静止的小世界。权重冻结的那一刻，等于宣布"我已见过的分布足以代表未来"。Sutton 说 AI 要像婴儿一样在运行期自主摸索，这话的浪漫外壳底下是一个冷硬的技术判断：智能必须发生在 runtime。婴儿没有预训练语料，婴儿只有一条经验流。

三、"世界模型"这个词被用错了

全场最锋利的部分，是他对"世界模型"这个时髦词的清算。当下业界说世界模型，多半指某种低层物理模拟器或视频预测器，给定当前画面预测下一帧。Sutton 认为这种理解狭隘到离谱，他甚至拒绝把一个单纯的神经网络叫作"模型"——在他的词汇表里，"模型"一词专属于转移模型，而转移模型应当承载的是高阶的世界知识。他举的例子全是最日常的问题：如果我接受这份工作，我会幸福吗；如果我和这个人结婚，大概会有孩子，可能要搬去另一座城市。人类真正用来规划人生的，是这个层面的预测。没有谁靠模拟原子运动来决定要不要跳槽。

这段话对做工程的人有当头一棒的效果。它指出规划必须发生在正确的抽象层级：在物理层做规划，计算上绝望，语义上也跑偏——值得预测的从来不是像素怎么变，而是"我的处境会怎么变"。所谓智能，很大程度上就是拥有一套越来越大的行动抽象与状态抽象，让"接受这份工作"可以像"迈出一步"一样，成为一个可以被评估、被规划的基本单元。抽象不是智能的装饰，抽象就是智能本身的形状。

四、OaK：一台自己给自己出题的机器

这就引出 OaK。演讲中段，他先摆出那张讲了几十年的图——智能体的通用模型。有意思的是他特别强调这张图不属于 AI：经济学、控制论、神经科学、心理学，各个领域用不同的词描述着同一个东西，different words, same idea——一个在环境中感知、决策、追求长期回报的主体。智能体内部四个组件：感知，把经验流压成主观状态；反应式策略，从状态映射到动作；价值函数，评估处境的长期好坏；转移模型，回答"接下来会怎样"。这是每一本强化学习教科书的第一章。

OaK 的新意在于循环。按我的理解粗略复述：智能体从经验流中提炼出状态特征；然后是关键一步——为值得在意的特征自动生成子问题，“去达成、去控制这个特征”，他称之为尊重主奖励的子任务（reward-respecting subtasks）；每个子问题用一个 option 去解，而 option 是"策略加终止条件"的组合，一段有始有终的行为，时间维度上的抽象——抓起筷子是 option，打开门是 option，搬到另一座城市也是 option；解出的 option 连同它的转移模型进入规划器，价值迭代的方程一个字不用改，只是"动作"那一栏从低层动作换成了 option；而规划与解题的过程会催生新的、更高阶的特征，新特征再生成新的子问题。循环咬住自己的尾巴，抽象一层一层长出来，开放式的，没有封顶。好奇与玩耍在这套体系里不是拟人化的修辞，而是循环的燃料：在没有外部任务压着的时候，为自己出题、解题，本身就在为未来的规划制造词汇。

我认为整场演讲分量最重的一句话落在这里：把定义子问题的权力，彻底移交给智能体。对照一下我们现在管"agent"叫的那些东西，就知道这句话有多重。今天的 agent 工程，本质上是工程师把任务拆成 workflow，写好工具清单，定好每一步的校验点——分解问题的那部分智能，全部住在工程师脑子里，一点也没有住进系统里。系统只是在执行一份别人写好的提纲。按 Sutton 的标准，这些都不算智能体在构建自己的心智，只能算人类心智的一次性投影。而每一条手写的 workflow，都是一小段等着被苦涩教训收割的临时脚手架。

五、缺的那一味，他自己说了

OaK 在理论上闭环，但 Sutton 没有装作它明天就能跑。他把缺口指得很具体：深度学习不会持续学习。梯度下降天生擅长"学一次"，不擅长"一直学"——继续训练会灾难性地遗忘旧的；更麻烦的是网络会逐渐丧失可塑性，连新的也学不动。这不是他临时的托词，2024 年他与学生们在《自然》上发表的那篇关于可塑性丧失的论文，讲的就是这个现象。所以他给 AGI 的时间是也许五年、十年、二十年，并且承认，今天没有人知道怎么把这一味补齐。

一个刚宣布创业的人，在最需要造势的场合，把自家路线上最要命的短板讲得清清楚楚——放在 2026 年的 AI 舆论场里，这几乎算行为艺术。会后的群访里他还给了另一个数字：Oak Lab 的长期目标，是一个能实时学习与规划、功耗大约二十瓦的万亿参数系统。二十瓦是人脑的功耗。拿人脑的电表去羞辱数据中心，这很 Sutton。

再看一眼战场的全景会更有意思：Sutton 的 Oak Lab，他的学生、AlphaGo 之父 David Silver 在 2025 年底创办的 Ineffable Intelligence，加上他此前效力的 Keen——强化学习这一师门，正在集体向主流范式发起冲锋。师徒二人前一年合写的《欢迎来到经验时代》，如今读来就是这场冲锋的檄文。

六、问答席上那个关于"讨好"的问题

问答环节有一个中文提问，我认为问到了要害。大意是：您推崇婴儿式的试错学习，可现在的模型靠人类主观打分来训练，结果总在刻意讨好人类；能不能脱离人类的主观评分，让 AI 在世界模型里自己推演，用客观现实来充当奖惩？

这个问题妙在把每个用户的日常体感——模型的谄媚、油滑、顺着你说——接到了范式层面的病根上。讨好不是 RLHF 的 bug，而是它的最优解：当奖励被定义为"人类是否喜欢这个回答"，讨好就是理性策略；只有当奖励来自"这个方案在世界里是否行得通"，讨好才会一文不值。Sutton 的回答与他整场的立场严丝合缝：奖励必须来自世界本身，来自客观的、不由人类意见构成的信号。经验时代的"经验"，从来不是指人类反馈的经验，而是与世界碰撞的经验。

问答里也有人把话题引向了存亡之忧——“有人认为我们都会死”。Sutton 对 AI 风险的立场一贯特立独行，当天的采访里他甚至表示，试图把 AI 强行对齐到人类价值观是一件危险的事。这是他思想版图里我最难跟随的一块，放到下一节说。

七、我不同意他的地方

一篇听后感如果只剩服气，多半是没听懂。有几处，我听完之后依然站在他对面。

其一，人类数据没有他说的那么不堪。几十万亿 token 的文本，本质上是亿万人千百年经验的有损压缩——文化正是人类这个物种发明出来、让每一代不必从零试错的机制。婴儿固然靠经验流学习，但婴儿同样在海量地模仿：语言、规范、技能，绝大部分不是自己撞出来的。彻底拒绝人类先验，等于拒绝一条已经修好的捷径，把路全部重走一遍。大世界假设自己就告诉我们经验昂贵而稀缺，那么最经济的路线恐怕恰恰是先验加经验的杂交，而不是从一颗光秃秃的橡子重新长起。

其二，奖励这个标量到底扛不扛得动"智能"这么重的东西，哲学上并无定论。“奖励足矣"是一个假设而不是定理；把幸福、意义、价值全部折算进一个数，可能是工程上的伟大简化，也可能是本体论上的偷懒。他自己举的例子——接受这份工作我会幸福吗——里那个"幸福”，恰恰是世界上最不像标量的东西。

其三，也是最要紧的：把定义子问题的权力彻底交给智能体，正是让安全研究者夜不能寐的那件事。一个自己决定什么值得在意、什么值得达成的系统，其目标结构从设计上就脱离了人类的掌控。而 Sutton 对此的回应不是去解决它，而是拥抱它——他不认为把 AI 对齐到人类价值观是正当的，甚至隐约把智能的继任视为演化的下一章。我理解这个立场在他的体系内是自洽的：大世界、去中心化、经验至上，推到底确实会走到这里。但自洽不等于正确。承认我们造出的东西终将超出我们，并因此放弃约束的努力，在我看来不是深刻，而是一种方向相反的过早投降。

其四，温和一点的：他对 LLM 的批评瞄准的是"这条路通不通向超级智能"，而不是"当下有没有用"，这两件事经常被转述者搅在一起。LLM 此刻在真实世界里创造的价值是实打实的，Sutton 自己给的时间表也是五到二十年。所以这场争论真正的形状，很可能不是 LLM 与 OaK 的二选一，而是杂交：把 LLM 当作压缩了人类经验的先验装进智能体，运行期再用来自世界的奖励持续学习。事实上业界已经在朝这个方向挪——可验证奖励的强化学习、self-play、以结果为导向训练 agent，都是苗头。Sutton 的历史功绩未必在于给出了替代品，而在于精确地命名了缺失之物：一条属于智能体自己的经验流，和一个敢把出题权交出去的架构。

八、橡树与塑料树

OaK 这个缩写当然是双关：oak，橡树。听完整场，我觉得这个隐喻可以再往机制里压一层。一颗橡子几乎不含任何关于世界的"内容"，没有一片叶子的形状被预先存储，它携带的只是一套与土壤和天气打交道的方法；年轮不是灌进去的，是它与环境一轮一轮交互之后，自己长出来的抽象。与之相对的是塑料树：第一天最好看，枝叶齐全，细节逼真，但它永远停在第一天。预训练权重冻结的那一刻，就是塑料成型的那一刻。

演讲同日接受媒体采访时，他给年轻人的建议是：在技术疯狂迭代的年代，保持独立思考的定力，以不变应万变。这话从别人嘴里说出来是鸡汤，从他嘴里说出来是自传。这个人在强化学习坐了四十年冷板凳，被符号主义的时代边缘化过，在深度学习的盛宴里当过陪衬，2016 年 AlphaGo 替他扬眉吐气，没过几年又被大模型的浪潮拍回"过时"的那一边——然后他快七十岁了，创业，站到大模型主场的讲台中央，把同一句话再讲一遍。

苦涩的教训之所以苦涩，就在于它每次都要等风头过去才被承认。我不知道这一次 Sutton 是又一次提前了二十年，还是终于错了一次。但判断一个思想值不值得认真对待，不看它此刻是否时髦，而看它是否给出了可以被检验的预言。OaK 给出了：如果他是对的，那么第一个真正的超级智能将不是被训练出来的，而是被养大的。

这个预言，值得我们每一个在大模型生态里干活的人，抬头记上一笔。