蚂蚁灵波在7月开源14B世界模型LingBot-World 2.0后,又发布其轻量版,参数规模仅1.3B,面向消费级单卡GPU设计,可在本地实现实时世界生成。此前14B主模型已能做到小时级持续生成、丰富的动作和事件交互,并在相应算力和推理配置下实现720p/60fps的高清实时体验。
在IFA柏林消费电子展开幕演讲中,AMD高级副总裁Jack Huynh点名了三个开源模型,除智谱、千问外就是LingBot-World,并用其做了Demo:一个Prompt生成世界后,角色可在中国小镇、欧洲乡村等环境中长时间探索、环顾和行动,场景随交互继续向前展开。他给出的评价是“This is the future of Personal AI”。
世界模型与普通视频生成的区别在于,它生成的是一个持续演进的世界:人在场景里往前走一步,模型就得接着往前生成;视角转向左边,画面也要跟着变化。14B版本虽已实现超过一小时的不间断生成测试,从水乡、城市一路跑到雪地、太空等不同场景,但背后需要编译器级别的注意力Kernel优化、动态KV缓存调度、异步流媒体传输和混合并行推理策略等繁重工程栈。
1.3B版本要解决的是能否在较少算力下也把它跑起来。蚂蚁灵波并非先做大模型再砍小,而是先走通一条训练路线,小模型是这条路线走到最后自然出现的产物。团队首先训练了名为Causal World的模型,其生成当前状态时只能依赖过去已发生的视觉信息和用户到此刻为止的输入,不能提前看未来内容,即为因果。
咨询
咨询