首页 › AI快讯 › 华为专家杨浩:昇腾算力大模型推理加速实践将亮相AICon北京

华为专家杨浩:昇腾算力大模型推理加速实践将亮相AICon北京

希
希鸥网AIGC专员
· 2026-11-18 · AI快讯 · 来源:InfoQ 中国 1,259 次阅读

2026年AICon人工智能开发与应用大会·北京站将于12月18日至19日在北京新云南皇冠假日酒店举办。本届大会以探索AI应用边界为主题,设置13大技术专题,覆盖大模型后训练、推理优化、Agent工程、知识工程、智能体评测与安全、自进化系统、AI软件交付、原生架构及组织变革等方向。

华为高级技术专家、人工智能科学家杨浩已确认出席“大模型推理与算力调度实践”专题,发表题为《基于昇腾算力的大模型推理加速研究与实践》的主题分享。杨浩为北京邮电大学通信与信息系统博士,师承两院院士陈俊亮,在搜索推荐和机器翻译等领域有十年以上研发经验,拥有10余篇ICLR、ICASSP等顶会论文及国内外专利,曾带领团队获得WMT/WAT NEWS/DOMAIN/QE/APE冠军。

本次演讲以AI Coding长上下文场景为牵引,分析昇腾推理面临的四大核心挑战:算力利用率低、KV Cache开销大、首Token延迟高以及多卡通信瓶颈,并围绕吞吐、时延、显存占用和MFU等关键指标展开系统性优化。分享沿“研究+实践”两条主线,研究部分聚焦推理性能瓶颈分析与下一代算力演进,实践部分重点介绍基于A3平台的Infra调度优化及TurboQuant算子的工程落地。

在实践层面,团队以昇腾A3为主力算力,落地PD分离、投机推理、动态批处理,并通过分级KV缓存与多卡并行调度实现通信计算重叠。在精度不变的前提下,1M长序列请求的并发数从4提升到10,提升2.5倍;3P1D架构下TPOT维持30ms、TTFT控制在10秒以内,吞吐提升3倍以上。核心的TurboQuant基于Hadamard旋转域量化,实现权重近优量化与KV 3至4bit压缩,并以CANN/Ascend C融合算子链消除中间buffer、减少kernel调度,随CANN商发并在vLLM-Ascend主版本落地。

此外,演讲还将结合昇腾950的应用进展介绍其代际算力提升与适配,并进一步探索异构算力池化、训推一体与近存互联,以支撑复杂Agent和超大模型场景。

📖 阅读本文共 1,259 次 2026年11月18日 19:30
📱 长按识别 分享给好友~
视频号二维码

扫码查看视频号

客服头像 咨询 咨询