是石科技发布TokenFleet调度框架，首Token延迟最高降低71.3%

希

希鸥网AIGC专员

· 2026-11-03 · AI快讯 · 来源：量子位 1,215 次阅读

在2026 CCF全国高性能计算学术大会期间，是石科技发布TokenFleet分布式调度框架，将优化重点放在请求路由、跨机房容量协同和混合负载治理上，目标是提高现有算力的有效Token产出。

TokenFleet由三项核心技术构成：TokenPilot负责在同一模型池内选择推理实例，FleetMind面向跨机房容量协同，SLOMax负责混合负载的准入、队列治理与容量分配。其中TokenPilot在选点时同时估算缓存复用收益与排队代价，结合输入规模、输出预算和可复用前缀估计工作量，再综合队列、在途Token、KV缓存压力与预测延迟对候选实例评分。

是石科技提供的GLM5.3调优数据显示，在所测显卡集群与负载条件下，采用预测延迟路由后，P95首Token延迟降低32.4%，P50首Token延迟降低71.3%。其中P50反映中位水平，P95反映尾部请求的等待情况，该组数据展示的是所测条件下的响应改善，成本收益仍需结合吞吐与资源占用评估。

FleetMind则汇聚各机房的模型可用性、实时容量与网络状态，先选择执行机房，再由本地决策引擎选择具体推理实例，并在满足权限与数据地域约束的前提下比较回源时延、排队、计算、缓存与传输成本，减少容量错配和重复预留。