10月14日,破晓智能联合天珑移动发布全身全模态数据采集系统SeePhys Hub,尝试为第一视角(Ego)数据补上身体运动与触觉信息。整套设备由一个四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成,通过视觉与运动信号融合恢复全身姿态,并根据任务需求采集手部接触压力,希望在保留Ego轻便、易于规模化采集优势的同时,把视野之外的身体运动和触觉信息重新带回来。
第一视角采集数据已成为具身数据采集的重要来源,但对需要移动和全身协作的任务来说,只记录眼前画面会遗漏关键状态。例如人抬手去够高处物品时,肩膀、手臂和躯干需要一起调整,第一视角相机能拍到双手,却不一定看得到手肘和腿部位置;遇到身体自身遮挡、物体遮挡或视角盲区时,全身姿态估计的可靠性就成为问题。SeePhys Hub采用稀疏节点方案,在腰部和双小腿布置三个动作追踪器,结合头部视觉与双腕信息,通过算法恢复全身姿态,IMU提供运动信号,UWB提供节点间测距信息,再与视觉结合完成估计。
视觉覆盖同样做了扩展:四目头环提供360°环视,腕部相机补充近距离操作细节,可选配的触觉手套记录双手与物体接触时的压力变化。视觉、身体运动与触觉信息同步记录,共同还原人类真实操作过程。多路信号需对齐到同一时刻,按产品资料,头环内相机、IMU和UWB的同步精度不超过0.5毫秒。采集之后,配套平台负责解析、清洗、动作切分和语义标注,并衔接场景重建、姿态估计和手部追踪,动作重定向则将人的动作映射到机器人本体。
破晓给出的产品取舍,是在少量节点基础上结合算法:头环重量不超过220克,单个腕部手环不超过75克,团队把轻便、成本和真实场景中的活动自由度放在产品设计的重要位置。在创始人兼CEO杨朔描述的三层数据金字塔中,底层是量大的互联网视频,通过算法补充姿态和触觉信息;顶层是高精度动捕、真机操作等数据;SeePhys Hub则定位于两者之间,探索兼顾精度与规模化成本的采集方式。