无问芯穹联合清华大学、上海交通大学正式开源具身智能端侧推理引擎APXInf,面向机器人端侧场景设计,支持RTX 4090、Jetson Orin、Jetson Thor等主流计算平台,覆盖从模型开发、效果验证到机器人本体部署的完整链路。
具身模型在云端运行良好,但迁移到机器人本体时,推理系统本身往往成为首要瓶颈。云端聊天机器人几百毫秒延迟只是体验差异,而需要持续感知、连续决策和实时控制的机器人,几百毫秒可能带来动作迟滞、轨迹不连贯甚至任务失败。规模化落地还需兼顾算力成本、功耗与有限硬件资源的利用率。
APXInf围绕机器人真实执行链路进行端到端优化,通过Pipeline、Graph、Kernel及量化等多层优化降低推理延迟。在Thor平台上,APXInf将PI 0.5 FP8的端到端推理延迟从278ms降至26ms以内,频率可达38.46Hz,实现10.7倍的延迟下降,为机器人实时感知与控制提供更充足的响应空间。
在稳定性方面,APXInf采用Rust系统语言构建极简运行时,搭配Python易用接口,面向长时间运行、连续感知与控制、有限计算资源及多模块并发的复杂环境,强调真实部署中的可预测性与持续运行能力,同时降低开发者的接入与优化成本。