英伟达发布新版AI加速库，推理性能大幅提升
英伟达近日发布了新版AI加速库TensorRT-LLM，该版本针对大语言模型推理进行了深度优化，在多种主流GPU上的推理性能较上一代提升了数倍，并新增了对最新架构模型的支持。
新版库通过内核融合、KV缓存管理等技术，显著降低了显存占用和延迟，使得在单张消费级显卡上运行百亿参数模型成为可能。英伟达表示，该更新将加速生成式AI应用在云、数据中心及边缘端的部署。
📖 阅读本文共 1,176 次
2026年08月11日 16:50
📱 长按识别 分享给好友~
