2026年AICon人工智能开发与应用大会·北京站将于12月18日至19日在北京新云南皇冠假日酒店举办。本届大会以探索AI应用边界为主题,设置13大技术专题,覆盖大模型后训练、推理优化、Agent工程、知识工程、智能体评测与安全、自进化系统、AI软件交付、原生架构及组织变革等核心方向。
北京大学集成电路学院助理教授、博士生导师卓有为已确认出席“大模型推理与算力调度实践”专题,发表题为《面向多智能体应用的大模型推理调度与缓存优化》的主题分享。卓有为入选国家高层次青年人才计划,主持国家重点研发计划青年科学家项目,本科毕业于清华大学计算机系,博士毕业于南加州大学计算机系。
随着Agent从问答工具演进为能理解目标、调用系统、闭环执行的企业级工作承担者,工程能力成为规模化落地的关键瓶颈。多智能体应用具有执行依赖复杂、工具调用频繁和上下文交互密集等特点,大模型推理系统虽具备批处理与缓存复用能力,但仍面临关键任务资源竞争、工具等待期间显存闲置以及跨智能体缓存冗余等问题。
针对上述问题,卓有为将介绍两项工作:TokenCake通过感知智能体依赖与运行状态,结合动态显存分区、主动缓存卸载与预测式回迁,协同优化任务调度和缓存管理,减少关键路径阻塞与上下文重计算;TokenDance进一步面向轮次化协作中的共享上下文,结合集合式缓存复用、差分存储与融合恢复,减少跨智能体的重复计算和存储开销。实验表明,相关方法可显著降低多智能体应用的端到端时延,提升资源利用效率与有限显存下的并发服务能力。