西湖数智:让机器在隐空间中预演“下一步”

上海

本文发布于《浦江科技评论》2026年10月刊|作者:李贤焕

在世界模型的研发军团中,西湖数智放弃了像素仿真的路子。它把物理规律压进隐空间,让机器在抽象概念层面理解物体怎么动、怎么碰、怎么变。它试图用数量级更低的算力,换来一颗能推演物理世界的“大脑”。

世界模型的一个核心议题是,当机器人面临训练数据中未曾有的情况时,能否推演下一步行动。

比如当人够不到床底的东西时,通常会找来一根棍子或者其他细长坚硬的东西,把它从床底拨出来。此前未必有人专门教过,但我们知道,细长而坚硬的物体可以延伸手臂的范围,从而接触到物体并改变物体的位置。

对机器人来说,这却可能是一道完全陌生的题。

它或许已看过成千上万次从桌面上抓取物体的动作,也能沿着学到的轨迹准确复现这个动作;可当目标进入机械臂无法直接触及的位置,眼前又只剩一根长棍,它还能不能组合已有的认知,找到新的办法?这意味着机器究竟是记住了一个动作,还是理解了动作背后的物理关系?

2026年1月成立的西湖数智,想解决的正是这类问题。

这家由西湖大学孵化的公司,英文名为Awomo,由西湖大学博导、自主智能实验室负责人于开丞创办。近期,西湖数智连续完成种子轮及天使轮融资,累计融资金额超过1亿元人民币,投资方包括英诺基金、东方嘉富基金、正轩投资等机构。

在中国世界模型创业队伍的版图中,西湖数智是极少数在隐式世界模型路线上拿到验证的玩家。这是对标杨立昆“世界模型”的路线,但更具解释性和工程落地性——西湖数智首创了名为“概念世界模型”的隐式物理建模方法。

区别于更常见的生成完整视频的世界模型,西湖数智的“概念世界模型”把计算集中在物理关系和行动后果上,并最终将这套能力融入自动驾驶、通用机器人、工业设备和智能硬件中,成为不同机器可复用的智能底座。

因此,西湖数智把自己定位为通用物理智能技术开发商。近期,《浦江科技评论》就此专访西湖数智创始人于开丞,试图呈现它的“概念世界模型”究竟是什么,以及一个初创团队如何从今天出发,通向它所设想的物理智能未来。

在行动前,能预判影响

世界模型最基本的能力,是预测世界的下一个状态。这里的“状态”,指某一时刻物体的位置、运动、接触关系以及周围环境的情况。

许多机器人通过模仿学习掌握动作。模型观看人类怎样拿起杯子、关门或叠衣服,再从这些示范中学习当前画面与下一步动作之间的对应关系。相比工程师逐条编写规则,这种方式可以从数据中学习更复杂的操作。而在于开丞看来,如果模型只能“看到什么,就做什么”,那么在面对训练数据没有覆盖的组合场景时,仍容易失去答案。

世界模型要在感知和动作之间加入一次状态推演。机器看到杯子、桌面和机械臂,先形成对当前状态的表征;如果机械臂从左侧抓,杯子会怎样移动?如果手指碰在杯沿,杯子是否会倾倒?如果抓取过程中突然有另一个物体撞过来,原来的动作是否还安全?模型先预测这些未来状态,再据此选择动作。

“我们希望它在规划下一个动作之前,做状态预测。”于开丞说。机器由此先理解行动可能带来的结果,再从“知其然”走向“知其所以然”。

西湖数智提出的“概念”,正是为这种推演服务。模型从数据中抽象出关于物体和物理关系的基本认知,再用这些认知理解新的场景。面对掉进床底的东西,机器可以调用长度、硬度、接触、受力和工具功能等概念,组合出利用长棍延伸操作范围的办法。开车时突然遇到一块手写的临时路牌,也是类似的问题:模型把文字、标志、道路位置和人的意图联系起来,从已有认知中形成对陌生场景的判断。

这些概念由模型在训练中自行形成,区别于工程师提前写好属性表,或给每个物体贴上“硬”“软”“可移动”的固定标签。

于开丞把它比作模型在隐空间里建立的一本内部词典:已有概念可以反复调用,遇到无法对应的新事物时,模型再形成新的认知。西湖数智通过模型结构的优化,推动概念在训练中完成拆解、关联和重组。

今天的选择,与于开丞此前在自动驾驶行业中的经历有关。

2021年,他以“阿里星”身份加入阿里巴巴达摩院自动驾驶实验室,从事感知算法研究;2023年进入西湖大学,组建自主智能实验室。真实道路上的长尾问题让他逐渐意识到,仅靠不断增加数据,很难穷尽物理世界的组合。

自动驾驶早期依靠规则:红灯停、绿灯行,前方多少米开始减速。规则难以覆盖全部开放道路,行业于是转向数据驱动,让模型从大量人类驾驶行为中学习。但罕见场景本就很少发生,两个罕见条件叠加在一起,出现的概率更低。模型补好一个场景,另一个场景又可能出现问题,像在不断“打地鼠”。

于开丞和团队最初选择的办法,是用生成模型制造训练数据。现实中难以采集的长尾场景,可以先在模型中生成出来,再交给驾驶模型学习。于开丞把它称作“造梦机”:缺少什么题,就多造一些题来练习。据他介绍,团队曾在ECCV自动驾驶赛事和Fail2Drive榜单中取得第一,并与车企开展产业部署。

团队随后形成了一个新的判断:一个能够生成复杂场景的模型,其实内部已经掌握了某些关于世界的信息。能否直接把这些信息用于判断和行动?沿着这个想法,他们开始尝试把“造题的机器”变成用于判断和行动的“脑子”。

2024年年底,团队开始转向隐式世界模型。据于开丞介绍,2025年的早期实验显示,概念拆解和组合可以增强模型在陌生场景中的泛化能力,这也成为团队走出实验室、成立西湖数智的契机。

可复用的物理智能底座

“世界模型”很热,不同团队选择了不同的实现方式。路线之间的主要区别,在于模型预测的“未来”以什么形式存在。

一种直观的办法,是把未来画出来。

模型先观看大量连续视频,学习前后画面之间的关系。在具体任务中,它看到当前几帧画面,再接收一个动作条件,例如“汽车向左转”或“机械臂向前推”。模型生成下一帧,再根据已经生成的内容继续向后预测:杯子开始滑动,逐渐靠近桌沿,最后掉下桌面。

连续生成的画面,像是在机器内部播放一部尚未发生的电影。如果再加入稳定的三维结构,这部电影就会变成一个可以进入的空间。

李飞飞等人创办的World Labs把这类能力称为“空间智能”:模型从文字、图片或视频中建立可浏览的三维世界。当视角转过一面墙、再转回来,原来的桌子和门仍应处在相应位置;人或机器不仅可以观看,还能在其中移动和交互。这条路线既可以服务游戏、影视和设计,也可能为机器人提供仿真环境与训练数据。

这种显式生成的好处是直观。模型对未来的想象是否连贯,物体有没有突然消失,运动是否违背常识,人可以直接从画面中观察。生成出来的场景还可以变成自动驾驶和机器人的新训练样本。

另一条路线直接在隐空间中预测未来状态。以杨立昆推动的JEPA架构为例,视频首先进入编码器,被编码成一组向量。向量是一串数字,是机器存储和计算信息的载体;向量承载的物体位置、运动和相互关系等信息,就是模型对世界的“表征”。

这些向量所在的表示空间,被称为隐空间。编码过程可以弱化杯子的颜色、桌面的纹理和背景细节,把与状态变化相关的信息保留下来。预测器随后计算当前向量如何变化,再得到未来状态的表征。

加入动作信息后,模型可以在隐空间中尝试不同方案。当前状态和目标状态各自对应一组向量表征;系统让预测器反复推演多组候选动作,比较哪一组结果离目标更近,再把最合适的动作交给机器人执行。

未来,模型可以直接在隐空间中被计算和比较。机器人无须先生成画面,就能规划动作;如果研究者需要观察模型“想象”了什么,还可以另行训练一个解码器,把这些表征还原成便于人观看的画面。

西湖数智的概念世界模型与JEPA同属隐式路线,同样在隐空间中预测未来。它们的区别在于,前者更强调概念的拆解和组合。向量是信息的载体,概念则是模型从这些表征中抽象出的可复用认知。西湖数智希望隐空间里的信息围绕物体、状态、动作和物理关系组织起来,形成可拆解、可关联、可重新组合的物理概念。

在于开丞的划分中,概念世界模型处在普通的隐空间表征与更高层的因果推理之间。现阶段的重点,是找到一种可规模化的概念表征。机器重点保留与任务相关的关系:碰撞会改变运动方向,重心变化可能导致倾倒,平面可以承托物体。它像人在闭上眼睛预演动作时的“大概知道”:无须形成清晰画面,也能把握完成任务所需的信息。

显式与隐式面向不同的目标。生成完整世界可以直接服务于人类观看、内容创作和三维交互;西湖数智则把模型用于机器行动,重点建设可复用的物理智能底座。集中处理与行动有关的信息,可以降低预测成本,更快地尝试多个未来,并把学到的物理认知迁移到不同硬件上。

寻找世界模型的GPT时刻

世界模型正在吸引越来越多的研究者、创业公司和资本,也在寻找一个像GPT一样清晰的技术时刻。大语言模型的突破建立在一套可以持续扩展的方法上:把语言拆成Token,通过预测下一个Token,在海量数据和计算中不断涌现出新的能力。

西湖数智正在寻找物理世界里类似Token的可规模化单元。

于开丞把这种单元称为物理智能的“基元”。在一个较为具体的操作任务中,可能涉及20~40种基本概念;走向通用世界以后,模型需要掌握的概念可能扩展到数千乃至数万种。概念逐步增加,它们能够形成的场景组合则迅速增长,模型通过调用已经学会的概念,可以处理此前没有整体见过的情况。

这也是“概念世界模型”最核心的技术设想:以相对线性的学习成本,获得更大范围的组合泛化能力。它要建立一套能够跨任务学习的物理智能底座,让拧螺丝、叠衣服和抓杯子等能力共享一套世界认知。

按照于开丞的看法,一个通用世界模型应该显著减少学习新技能所需的数据。

他以人学习开车或做饭做比较:一个成年人掌握一项基本技能,往往只需要十几个小时的练习。作为对比,今天的自动驾驶系统则要从规模庞大的数据中反复学习。世界模型的GPT时刻,应当表现为模型在一个领域形成的认知可以迁移到另一个领域,让新任务共享已有的物理常识和学习成果。

据介绍,西湖数智目前约有30人,团队成员包括来自高校和产业界的研究人员与工程专家。现阶段,团队注意力主要围绕模型能力上限推进,搭建预训练基础设施、准备物理交互数据并扩大模型规模。公司计划于2027年年中发布一个约10 B规模的通用世界模型,使其能够跨越多个领域、处理不同模态和任务;下一步再向100 B乃至1 000 B规模继续演进。团队也计划开放早期模型,吸引更多开发者参与物理世界模型的探索。

模型之外,数据是这条路必须同时建设的基础设施。

西湖数智需要覆盖不同物体、关系、环境和交互方式的多样化数据,这类数据比在同一场景下重复采集动作更有助于拓展模型的概念范围。具身智能近年的发展已经积累了机器人操作、工厂生产和仿真环境中的数据。据于开丞介绍,公司也在与不同场景方建立合作,这让今天建设世界模型比一年前拥有了更好的行业条件。

评测方式也需要随技术路线改变。评测显式模型可以比较生成的视频是否逼真,而隐式模型关心的是,机器能否在不同概念重新组合以后准确预测结果,并据此完成任务。

西湖数智正在探索新的评测方法,希望更好衡量模型对陌生组合、行动后果和未来状态的理解能力。

商业上,西湖数智现阶段把自己定位为机器的“大脑”,通过模型适配工业设备、机械臂、汽车和新型智能硬件。这些设备都有各自的本体和执行系统,也面对着相似的问题:换到新的设备或场景时,往往需要工程师额外编程、适配或训练。如果同一套物理智能模型能够经过适配进入不同设备,模型能力本身就可能成为一种基础服务。

于开丞把公司的能力建设分成三个阶段:先看懂世界,再在世界中行动,最后操作万物。眼下,西湖数智首先要完成的,是把有限场景中观察到的概念组合能力扩展到更大的物理世界。

语言模型已经找到了Token,物理智能也在寻找和定义自己的最小单元。西湖数智的选择,是把赌注押在“概念世界模型”上:机器像组合词语一样组合关于物体、状态和动作的认知,即使面对没有见过的场景,也能推演下一步应该怎么做。世界模型的GPT时刻,或许就藏在这种从“刷题”到“理解”的变化之中。

    特别声明
    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问https://renzheng.thepaper.cn。