强化学习之父 Richard Sutton： 如今AI正进入“经验时代” - 指南

2024年图灵奖得主、“强化学习之父”理查德·萨顿（Richard Sutton）在2025 Inclusion·外滩大会上发表主旨演讲，他认为，人类信息红利正逼近极限，人工智能正在进入以持续学习为核心的“经验时代”，潜力将远超以往。

萨顿表示，大多数机器学习的目标，是把人类已有的知识转移到静态、缺乏自主学习能力的AI 上。“大家逐渐达到人类数据的极限，现有的方法不能生成新的知识，不适合持续学习，而持续学习对智能的效用至关重要。”

他认为，我们正进入“经验时代”，需要一种新的数据源，由智能体与世界直接交互中生成。这正是人类和其他动物的学习方式，是AlphaGo自我博弈下的“第37手”，也是近期AlphaProof在国际数学奥林匹克斩获银牌的路径。

萨顿解释，“经验”指的是观察、行动和奖励，这三种信号在智能体与世界之间来回传递。“知识来自于经验，可以从经验中学习。一个智能体的智能程度，取决于它能预测并控制自身输入信号的程度。经验是一切智能的核心与基础。”他同时指出，强化学习带领大家进入了新的经验时代，但要释放全部潜力，还需要两项目前尚不成熟的技术——持续学习（continual learning）和元学习（meta-learning）技术。

面对外界对AI带来偏见、失业甚至人类灭绝的担忧，萨顿认为，这种对人工智能的恐惧被夸大了，目标不同的智能体，可以通过去中心化的协作实现双赢。“人类最卓越的超能力，就在于比其他任何动物都更擅长协作。人类最伟大的成功在协作本身——经济、市场与政府都是成功协作的产物。”萨顿表示，人工智能和人类繁荣将来自于去中心化协作，“协作并非总能实现，却是世间一切美好事物的源泉，大家必须寻求协作、支持协作，并致力将协作制度化。”

他认为，在人类的发展进程中，人工智能的替代将是不可避免的。而人类至少是催化剂，是助产士，更是开启宇宙第四大时代——“设计时代”的先驱。萨顿将宇宙历史分为四个时代：粒子时代、恒星时代、复制者时代和设计时代。

“人工智能是宇宙演化的必然下一步，我们应以勇气、自豪和冒险精神来迎接它。”萨顿表示。