梦瑶 发自 凹非寺
量子位 | 公众号 QbitAI

太!火!爆!了!

还得是WAIC,还得是AI圈春晚——

哪怕到了展会第三天,依旧人挤人人人人,火爆热程度堪比上海这两天的天气。(doge)

甚至,据说,连黄牛票…都炒到3000块钱一张了!?



真不怪大家这么热情,主要吧,还是展会现场太有看头了——

这边机器人模拟药房拿药取药、那边机器人组团开演奏会,还有各种长进真实硬件里的Agent和操作系统。

具身智能、世界模型、AI Coding、Token经济、AI硬件……过去一年最火的技术概念,今年几乎全都被搬到了现场。

如果说去年逛展大家聊得更多的,还是AI还能做点啥,那到了今年,一个非常非常非常明显的变化是——

AI已经从屏幕里走了出来,开始往工厂、家庭、药房、穿戴设备和各种真实生产场景里「疯狂流动」了:



在一众展商中,我也看到了一个咱非常之熟悉的玩家:京东。

只不过吧,这次,这家厂商亮相的方式确实有亿点不一样。

此前,京东就官宣要打造全球最大的物理世界运营中心,没想到这么快就把最新成果搬到了WAIC现场——

首次集体亮相的JoyAI全系列大模型、具身数据采集与训练链路,还有以JoyInside为底座打造的京东AI Home,全都来了:



逛完今年的WAIC,我们会发现AI的能力边界,真的开始从数字内容的理解与生成,进一步延伸至物理世界的环境感知、实时决策与具体执行。

而过去停留在屏幕里的智能概念,如今已经开始进入工厂、家庭和各类终端设备,真正参与现实世界的现实运行了。

看得见、听得懂、还能执行,面向物理AI的模型全家桶来了

这两年,大模型已经进入密集发布期。

今年走进WAIC主场馆,我们会发现图像、视频、语音、交互、具身等不同方向的模型几乎覆盖了所有热门赛道。

但不得不承认的一点是,在真实的物理环境中,单一模型给出判断,只是整个AI任务执行流程的「起点」。

后续的路径规划、设备控制、动作执行与结果反馈,可以说每个环节都直接影响一个任务能否真正形成完整闭环!!

也正因如此,物理AI对模型能力的要求,也从单项能力的突破进一步延伸至感知、理解、决策、执行的系统协作。



△AI生成

就在今年WAIC现场,京东直接端上了一整套面向物理世界的JoyAI模型「全家桶」。

从语音、图像、视频、实时交互、到具身智能,可以说是把物理AI需要的模型能力统统梭哈了……

对物理AI来说,视觉能力决定了AI能否建立对现实环境的连续认知。

毕竟一台机器人真正开始行动前,需要先弄清周围有什么、物体位于哪里,以及彼此之间存在怎样的空间关系。

而京东此前开源的JoyAI-Image-Edit、JoyAI-Echo和JoyAI-VL-Interaction模型,刚好对应了视觉能力向物理世界延伸的不同维度——

JoyAI-Image-Edit实现了视角变换、空间漫游与几何一致性编辑,让AI从处理平面像素进一步走向理解空间结构。



△JoyAI-Image-Edit

JoyAI-Echo通过跨模态记忆维持长视频的一致性,JoyAI-VL-Interaction则把理解和响应压缩至毫秒级,让AI可以一边观察实时画面,一边交互、调用Agent。

值得一提的是,京东还在今年WAIC上,展示了多模态领域的最新研究成果:实时视频编辑模型JoyAI-Video-Edit。

具体来说,用户可以自定义画面,并在预览过程中实时修改,让视频生成具备更强的即时反馈与动态调整能力。

从长时一致性、实时理解到即时修改,几款模型分别补上了动态视觉中的不同环节,让物理AI既能记住前后变化,也能跟上实时画面,并根据环境变化及时调整反应。



△JoyAI-Video-Edit

视觉模型让设备看懂周围环境,但当设备真正进入家庭和零售场景,还要面对一个更难处理的变量——人的指令。

毕竟,大家都懂,现实交流很少按照标准格式发生。

语气、习惯和表达方式同样因人而异,对于物理AI来说能否真正听懂指令,直接决定了后续动作会不会跑偏。

在今年WAIC上,京东不仅亮相了语音生成基础模型JoyAI-Voice,还同步发布了新的语音交互模型:JoyAI-Talker

其能够识别用户的情绪与真实意图,根据不同人的表达习惯调整回应,同时具备低延迟交互和随时打断能力。

这意味着,人与物理AI的交互能够从一次性下达指令,变成持续沟通:设备可以在执行过程中接收反馈、暂停动作、理解新的需求,再及时调整接下来的行动了!!



能看懂环境、理解人的意图,物理AI还要跨过最后一道门槛——让真实设备把模型的判断变成动作。

而京东的JoyAI-RA移动操控基础模型,解决的正是这段从决策到行动的转换。

通过统一训练框架,让不同机器人与人类操作经验能够在同一套动作表达中完成对齐,再结合仿真训练和真实环境验证,持续修正模型在现实中的执行偏差。

由此,物理AI在模型能力上,才真正完成了从感知、理解、决策到行动的完整闭环。

小机器人们,开始在物理世界狠刷「经验值」

机器人在模型里学会了看、听、理解和规划,真到了现实世界,还是可能被一只摆歪的杯子「难住」。

毕竟,模型给出的更多是智能上限。

这些能力能否迁移到物理世界的真实任务中,很大程度上还是取决于小机器人们在物理世界中攒到的经验

读万卷书不如行万里路,这个道理放在小机器人身上,同样成立。

于是,随着机器人走向现实环境真实作业,一个越来越关键的环节被推到了台前,那就是「具身数据采集」



△AI生成

与大模型的语料训练相比,机器人学习所需的真实经验,其实要比文本数据难攒得多,而且哪怕数据规模上去了,机器人也可能被「教坏」。

京东就做过一组很直接也很直观的实验——

他们分别用1万小时高质量数据和1万小时存在瑕疵的数据训练模型,结果发现,有瑕疵的数据即使继续往上堆,模型效果也未必提高,甚至还会越练越差。

所以在京东看来,数据时长只能反映采集规模。真正决定训练价值的,是动作、轨迹、任务结果和场景变化能否被准确记录和理解,背后还牵涉标注模型、算法精度与数据处理等一整套技术链路。

由此形成的「数据采集—模型训练—真机验证—反哺采集」数据采集闭环,则是物理AI真正走进现实世界的关键。



△AI生成

值得一提的是,这套围绕真实数据持续运转的具身智能数据采集的飞轮,也已经跑出了最新进展——

当前京东已经发动60万人参与数据采集,建设了全球最大具身数据采集中心,预计2年内采集1000万小时人类真实数据。

围绕数据采集、仿真训练与真机验证,京东还构建起了全球首个覆盖采、存、标、训、评、仿、测的全链路具身数据基础设施。

从人类怎么做,到机器人怎么学、哪里做错了、下一轮还缺什么数据,就这样被串进了同一个持续循环的系统里。

而这条链路跑出来的最新成果,则被直接搬到了今年WAIC现场。

在今年WAIC上,京东开源了行业最大的人类第一视角数据集EgoLive——

2000小时视频、65866个Episode,覆盖346项真实世界任务。人类在生活和作业现场中积累的操作经验,就这样被一段段记录下来,变成具身模型可以反复学习的「现实教材」。

事实上,京东之所以选择第一视角的数据采集方式,背后也有一层更具体的行业判断。

在京东看来,具身智能真正稀缺的,是能够同时保留环境信息、动作过程与任务意图的高质量真实数据。

而「第一视角」的数据采集工作恰好提供了一条更适合规模化的路径:它能沿着人的视线,完整记录看到了什么、双手怎么动、任务如何完成,同时减少对特定机器人本体的依赖。

如今,这条路线事实上也已经在实际任务中得到验证,在多个应用场景里,使用京东第一视角数据和机器人数据后,任务准确率甚至已经实现两位数的提升。



△AI生成

光看数字多少还是有点抽象。

在这次WAIC上,京东把具身智能从跟人学到自己干活的整条链路,还搬到了现场。

参观者戴上京东自研的超高清采集终端JoyEgoCam,在货架前完成一次真实作业,人看到了什么、手怎么移动、物品如何被拿起和摆放,都会以第一视角完整记录下来。

这些数据随后经过自动标注、质量优化和结构化处理,被送入数字孪生环境中训练、评测,最后再部署到实体机器人上。

具身数据从采集到训练、再到真机验证的闭环,也就这样在现场跑了起来:



从云端到现实世界,这次终于有了更具体的物理AI入口

AI要真正走进物理世界,最终的落脚点,那就是其能不能在「真实场景」里把事情做成。

事实上,不同的场景对于AI的嵌入难度,也完全天差地别。

例如工厂和物流更像一道边界清晰的封闭题:货物从哪来、机械臂往哪抓、设备按照什么规则运行,大多可以提前定义,任务完成与否也有明确指标。

但,「家庭」场景就麻烦多了。

一个家里同时存在各种设备产品,每类产品都有自己的系统与交互逻辑,数据分散在不同设备里,此外更难预测的,还有人和突然变化的环境——

孩子突然哭了、老人夜里起床、宠物挡住扫地机器人……这些情况随时可能发生,也很难提前穷举。

也正因如此,家庭正在成为物理AI最难进入、同时也最有战略价值的场景之一。

而京东,目前也已经把模型与数据能力接进一台台具体设备,沿着这些智能终端,真正走进了家庭场景。



△AI生成

值得一提的是,面向真实的物理场景,京东当前已经把自研JoyAI大模型的能力,进一步封装成了一套给智能硬件使用的AI大脑——JoyInside

从定位来看,JoyInside更像连接模型与硬件的一层AI System。

其将JoyAI的感知、理解、记忆和交互能力接进具体设备,同时处理家庭场景中的语音识别、意图理解、长期记忆和多设备协同

而对于家庭里的各种设备,事实上京东则有一层更具「具身」意味的理解——

此前,京东科技AI创新业务附身智能负责人曾在媒体采访中提到,在京东看来,一个家里的台灯、床垫、空调、机器人和AI玩具,其实可以被看成一台拆散了的「积木式机器人」。

每台设备负责一种感知或行动,JoyInside则让它们逐渐理解家庭成员的需求,并在不同场景中相互配合。

这套思路在今年WAIC现场,也有了更具象的展示。

比如下面这张搭载JoyInside的智能睡眠床垫,能持续捕捉睡眠体征,还能结合用户当前状态进行主动询问。

当感知、模型理解与设备控制被接进同一条链路,一张传统床垫也就拥有了持续感知、主动判断和提供服务的能力。



再比如,在学习场景中,JoyInside AI投影台灯提供了一个更典型的物理AI样本。

通过无屏漫反射投影与多模态扫题批改,它可以识别纸面题目、书写内容和学习进度,再将模型生成的讲解与反馈直接投射到桌面,实现实时答疑和订正。

这意味着,AI的交互界面开始从屏幕里的对话框延伸到真实学习空间。一盏传统台灯也由此升级成了具备「感知—理解—反馈」能力的物理AI终端:



而这张由智能硬件组成的物理AI网络,扩张速度也比想象中更快。

据了解,目前接入JoyInside的智能硬件,对话轮次平均提升超过120%,而JoyInside合作范围也已经覆盖近200个家电家居、机器人和AI玩具等行业品牌。

甚至到今年,JoyInside预计还将接入超过千万台终端设备。

所以当我们再回过头再看——

全球最大物理世界运营中心这个战略目标,似乎也已从一个口号愿景,逐渐长出了模型、数据、设备和真实场景组成的「具体骨架」。

对于一家从零售起家的厂商来说,物理世界从来都不抽象。

货物怎样流动、仓库如何运转、设备怎么协同、用户需要什么,原本就是京东过去二十多年每天都在处理的问题。

当模型、数据、基础设施、终端与业务场景逐步贯通,物理AI也随之形成一套持续循环的运行机制——

在真实环境中感知与行动,在执行过程中获得反馈,再将反馈沉淀为数据,推动模型进一步迭代。

进而AI也开始从云端,一步步推向了自己最熟悉、积累也最深的物理世界。

物理世界的AI,也终于等来了它最理想的样子。