我们可能高估了Agent自主化低估了AI对社会的改变。我们可能高估了Agent自主化低估了AI对社会的改变。作者 |李水青编辑 |漠影7月18日上午作为WAIC 2026最受关注的论坛由商汤科技承办的“基座大模型架构创新与生态合作论坛”吸引了无数AI研究者、产业专家和投资机构的目光。因它直面了当前大模型行业最核心的焦虑当Scaling Law在逼近物理极限多模态究竟是破局的“解药”还是新瓶装旧酒的延伸由商汤科技首席科学家林达华主持复旦大学邱锡鹏教授达摩院首席科学家赵德丽、阶跃星辰首席科学家张祥雨、新加坡南洋理工大学刘子纬教授共同参与的“首席科学家”圆桌对话覆盖顶级研判矩阵堪称多模态AI迈入“深水区”后中国AI行业的首次集体审视与深度交锋。▲几位科学家在同台探讨过去一个多月GPT-5.6等国际最新模型陆续亮相。林达华开场便指出如今最先进的大模型几乎都已经把多模态理解能力变成“标配能力”。但另一个问题随之浮现多模态到底只是大语言模型能力边界的延伸还是下一代智能真正的起点进一步说今天依靠Next Token Prediction建立起来的大模型真的能够理解物理世界吗在高密度思想碰撞中五位科学家围绕多模态的内生本质、核心瓶颈以及5年后的终极图景展开了一场足以重构行业认知的“生死局”辩论。01.“走出洞穴”再论多模态是“外挂”还是“灵魂”林达华一开场就抛出了这个核心问题也是整场论坛最核心的一次思想碰撞。当前业内存在两种截然不同的声音。一种认为大语言模型已经成为未来AI的核心多模态只是语言模型能力边界的自然延伸另一种则认为当AI真正从数字世界走向物理空间、开始构建世界模型时多模态就是智能最基础、最原生的组成部分而不是语言模型的外挂。未来AI到底应当以语言为中心还是以世界为中心林达华把这个问题直接摆上了台面。对此邱锡鹏的观点鲜明智能还是要依赖语言的。他认为多模态未来的发展重点不是取代语言而是如何把多模态信息与语言真正对齐。不过在他看来今天的大模型距离真正理解世界还相差很远。“模型真正欠缺的不只是多模态而是Context。”这里的Context是指真实世界复杂情境的理解能力。未来模型面对的不只是更多图片、更多视频而是如何把现实世界复杂情境转化成模型能够理解的信息。未来多模态的发展很可能需要一整套围绕现实环境构建的Harness以支撑模型理解真实世界。与邱锡鹏的观点不同。赵德丽认为基于多模态的模型是下一代智能的范式。他首先从更宏大的视角总结出通向智能的四条路径大语言模型、走向开放空间的机器人、基于数字生命的模拟、基于神经信号的交互。这四条路径有一个共同特点都与人类产生智能的源头信号有关而且全都是多模态的没有一个单一模态。“大语言模型是知识的压缩视频生成模型也是人类行为的压缩和记录。大语言模型可以学习智能视频生成的模型一样可以学习智能。”赵德丽强调他举了猎豹捕猎、蚂蚁寻路的例子这些高超的技能都不是通过语言学习的而是通过与环境的交互、模仿、反馈。赵德丽更进一步指出物理世界需要的是四维因果关系的建模物理空间、物理属性、因果关系、动作与运动而大语言模型只是一维的。因此“无论从智能生发的原理还是算法的逻辑基于多模态的模型都是下一代智能的范式”。与邱锡鹏和赵德丽的角度都不相同张祥雨则把焦点转换了。他认为核心不是语言还是视觉的路线之争而是“学习范式”怎么让智能体学会自主学习或者叫后天学习、在线学习。“这个不解决你不管是走语言还是视觉其实都是一样的。”为什么语言模型今天看起来更成功张祥雨认为我们现在的训练数据是静态的是经过人类大量收集、清洗、整理得到的。语言天生信息密度高在这种“模仿学习”范式下自然占优。而视觉信号稀疏、高维在这套范式下工作得不好。但问题来了张祥雨话锋一转当大模型走向智能体时代一切都在变化。“智能体跟环境做交互但并不能从反馈中高效、自动地学到东西缺少了自我进化能力。”他举了一个生动的对比“Codex订阅一个人顶十个人但用了多久提升都有限招来的实习生一开始不行通过实际工作很快就进步了。这是自我提升的能力而我们的模型没有。”眼看讨论在语言中心论和世界中心论之间形成了张力刘子纬从从哲学层面给出了一个富有深意的判断。他引用了柏拉图的洞穴比喻——语言是真实世界的低维投影“我们在洞穴里观察投影总结世界规律但终归需要迈出洞穴走向真实的世界”。具体到数据层面他把语言比作化石燃料“人类积累了很久但终归有限我们肯定会走向下一个时代利用其他能源形态——多模态数据”。任务层面“很多高价值的任务比如制造业一定脱离不了多模态而且多模态真的能涌现出下一代智能”。可以看到从林达华的“语言中心与世界中心”之问到邱锡鹏的“情境智能”、赵德丽的“第一性原理”再到张祥雨的“持续进化”、刘子纬的“脱虚向实”尽管各位学者的切入角度各不相同但指向的趋势是高度一致的多模态正在从“辅助工具”走向“核心基础设施”。而这种转变的真正驱动力是AI应用场景从数字空间向物理空间的不可逆迁移。02.数据、架构、范式多模态下一次跃迁缺的是什么从第一性原理展望长期AI前景之后林达华把问题拉回现实当前主流AI方法比如数据、模型结构、训练范式足以支撑我们走到下一阶段吗真正的瓶颈在哪这个问题在业内已经有了明显的观点分野。一种判断是乐观的当前的模型架构已经具备⾜够潜⼒真正的限制在于⾼质量多模态数据仍然稀缺。特别是带有时间关系、空间关系、⾏为过程和结果反馈的数据⽐互联⽹⽂本更难获取、标注和使⽤。只要解决数据与算⼒问题现有路线仍有很⼤的提升空间。另一种声音更为审慎问题并不只是数据量不⾜而是基于下⼀个 token 预测的训练⽅法可能天然不擅⻓学习物理规律、因果关系和持续变化的环境。真正的突破可能需要原⽣多模态架构、世界模型、强化学习、主动探索或持续学习等新的范式。那么限制多模态 AI 继续突破的⾸要因素究竟是什么扩⼤数据和算⼒是否仍然有效还是我们已经接近必须改变模型架构和训练⽅式的阶段首先刘子纬给出了一个冷静的判断“这三个方面数据、模型结构、训练范式都不足以推向下一个阶段都有改进的空间。”他先从数据层面拆解了“为什么语言行、多模态不行”语言模型撞上了好运互联网20年积累的语料、为玩游戏而发展起来的GPU算力所有要素恰好齐备。但多模态呢“互联网上有很多视频图片大部分是相对静态的没有太强的长程关联。”做家务、每天工作这种长程任务很难被记录下来。“语言模型是无心插柳柳成荫积累数据的多模态需要一个更好的范式来记录、保存、标注数据这不仅仅是技术问题更是组织问题、社会问题。”紧接着他把矛头指向了架构“整体架构还是以语言模型为核心多模态能力以桥接方式进入。”他提出了“原生多模态”的挑战输入侧怎么做到原生输出侧怎么做到原生长上下文、稀疏编码、在哪一层做表征——这些问题都还没有答案。最后落到学习范式他承认这是“更大的问题”。“所有做视觉的人都有这个感觉10年前大家就在讲这个问题依然没有被解决。”刘子纬的“三连击”把问题拆得很开但张祥雨或许觉得还可以更彻底。他接过“持续进化”这个命题继续深挖。他认为自主学习是共识但具体路径存在分歧。今天的模型有比较长的上下文但“还远远不够长”而且有严重的上下文退化。工程上靠上层Harness做上下文管理、做Self Evolve是一条有人在尝试的路线但问题很明显。多模态让这个问题变得更严重。“多模态的信息太长了压缩多模态信号不像压缩文本那么自然。如果塞满了100万token的图呢压缩率非常有限。”然后他抛出了一个犀利的问题“仅通过外部记忆真的能让智能体本身产生演化吗就像一个学生很会记笔记但假如他的海马体无法再记忆新的东西仅靠外部记忆他能取得长远进步吗不可以的。”张祥雨继续拆解下一代自主学习要解决三大问题怎么学在线学习问题、学什么探索与好奇心建模、怎么学得高效效率问题。而当下最值得投入、最有可能短期内出成果的就是在线学习。在线学习又面临两个核心挑战他继续展开第一是层次化记忆建模今天的Transformer建模短期记忆很优秀但瞬时记忆感知记忆完全没有长程记忆又分为情境记忆和语义记忆对应着不同的机制。“Transformer的上下文从原理上更像一种工作记忆它是无损的但有效长度比较短。你在用一个试图把工作记忆变长的方式来建模原理上不同的记忆这肯定有问题。”第二是学习算法本身。很多人把赌注押在强化学习上但张祥雨提出了不同观点“RL在过去推理时代很成功数据效率很高但这个效率很大程度来自On Policy自己生成数据再蒸馏回去。满足这个特性的不止RL蒸馏本身、Self Correction都满足。”他认为On Policy可能是解决监督信号稀疏问题的出路而世界模型则是解决效率问题的另一个关键。林达华插进来追问了一句把讨论引向Memory机制。“现在的模型不管是Dense还是MoE本质上都靠Context承载记忆。Context从1兆推到2兆但有效的还是前面一小段。这是不是说明我们用一个短期工作记忆的机制去承载本该属于长期结构化记忆的功能需要有较大的革新”张祥雨立刻点头表示认同“没错这也是非常重要的一个前沿研究点如何建模Memory机制。”人类的记忆机制是分层的包括瞬时感知记忆、持续2-4秒的短期工作记忆、长期的情境记忆和语义记忆。Transformer的Context从原理和特性上就更像工作记忆它不会丢信息但有效长度就是有限。当视觉信号输入以后它就永远留在Context里机制上不允许压缩掉。而人类会主动选择、压缩、清除。这是根本性的差异。此时赵德丽加入了这场关于瓶颈在哪的讨论。他先提了一个行业现象“模型架构逐渐收敛算法本身没人关心了大家接下来都去做应用”。作为算法出身的科学家他认为这是巨大的误区。“AI从数字空间走向物理世界首先面对的就是数据问题。”赵德丽指出语言模型和视频生成模型的数据都来自互联网积累而物理世界的数据极其稀少。“以机器人为例去年谁能有10万小时数据就很牛了今年大家才谈论大几十万小时但远远不足以支撑GPT-3.5水平的训练。”▲几位科学家在同台探讨不过赵德丽话锋一转给出了一个极具产业洞察的判断“中国的工业场景、服务业场景、家电场景多样性和需求远远大于欧美。所有数据都来自实际场景从这个角度看中国在具身方向上有天然的巨大优势。”关于训练范式和算法架构赵德丽强调了一个容易被忽视的事实AI有技术共享的传统论文和技术报告公开这“给人一个误区认为技术不重要”。但实际上“把强化学习引入基础模型PPO、GRPO这类具体算法Sparse Attention、Sliding Window这些架构创新DeepSeek底层的优化机制——每一个技术进步都推动着领域发展”。回到Memory创新赵德丽认为它涉及两个层面一是与芯片架构深度耦合的软硬件协同二是个人数据和工作数据如何长期供模型使用。“DeepSeek的Ingram算法把知识注入模型、耦合成一体、端到端训练这是架构创新的一个具体范例。”至此关于瓶颈是什么的讨论呈现出四层递进林达华首先定位问题刘子纬拆解了数据、架构、范式三方面的局限张祥雨深入记忆机制和在线学习的技术细节赵德丽则从产业落地和数据获取的现实中找到突破口。科学家的视角彼此交错又相互补充。03.高估Agent低估社会变迁五年预言林达华把最后一个问题留给了时间尺度。回望2022年底-2023年初的AI产业现在发生的很多事完全预想不到。那么从未来5年后看现在什么会被高估什么会被低估林达华自己先分享了一段感受。2023年初大家最焦虑的是AI会不会取代人类工作但到今天看AI更多是在改变工作方式而非消灭工作这可能是被高估的而被低估的是范式变革的速度2023年没几个人能预料到强化学习会在2025-2026年重新成为核心方法也没人预料到“测试时扩展”会成为一个独立的竞赛维度。邱锡鹏坦言“预测一向是非常难的。未来AI大部分应该不是我们今天所想象的。如果刻意去追求某些东西不一定会朝预期发展。相反现在看起来不那么受关注的反而可能得到充分发展。”他给出一个判断下一代的范式变革可能是“AI for AI”。“既然Coding Model、Agentic Model已经走出了突破不如先把它走到极致再让它去设计未来的多模态模型到底是什么样的有没有更好的范式。”邱锡鹏强调渐进式演化的力量。“ChatGPT在2023年看起来是很大的范式革新但它也是一点点走出来的。Transformer还在其次更前面的是Seq2Seq的范式我可以统一所有自然语言处理任务。有了这种大的潜力认知再去优化模型直到某个突变的节点突然成功了。未来肯定和我们现在预测的不太一样。”与邱锡鹏的“无心插柳柳成荫”观点形成对比的是赵德丽的预测相对具体。他认为被高估的可能是“Agent在具体企业级、商业级场景落地时的自主化能力”。被低估的则是“AI对社会运作方式的改变”。5年对AI来说是一个非常大的周期。他举了一个很具体的例子支付。“现在逐渐走入人与智能体、智能体与智能体之间的交互。这里涉及一个简单的问题智能体怎么做支付整个支付体系都是围绕人构建的移动支付是增加社会效率最有效的工具。但智能体支付呢这背后是整个社会运作方式的重构。”一个偏重“演化不可测”一个偏重“社会确定性”。这两种预测方向看似迥异实则互补邱锡鹏提醒我们保持对技术路径的开放心态赵德丽则提示AI将如何渗透社会肌理。04.结语多模态正在成为AI产业新的主战场在通往物理世界智能的道路上语言模型至关重要但远远不够。从邱锡鹏的“情境智能”、赵德丽的“四条智能路径”、张祥雨的“自主学习范式”到刘子纬的“走出洞穴”每一位顶尖学者都从不同维度指向了同一个方向多模态不是大语言模型的附属品而是下一代智能的原生基础。当前的多模态AI正处在一个关键的转折点。算法架构的创新远未停止从Memory机制的重新设计到强化学习的深度融合从世界模型的构建到在线学习范式的突破。这些都是通向物理世界智能必须跨越的门槛。而在产业落地上中国在具身智能、工业场景、服务业场景上的多样性优势有望成为下一阶段全球AI竞争中的关键变量。正如赵德丽所说5年后我们可能会惊讶地发现AI对社会运作方式的改变远比今天预想的要深远得多。多模态正在成为AI产业新的主战场。而关于“灵魂”与“外挂”的论战也许短期内没有标准答案但决定了物理AI下半场的最终走向。原文链接WAIC五位首席科学家交锋多模态是LLM的“外挂”还是下一代智能的“灵魂”-36氪