Cloudflare近日通过AI Gateway推出Auto Router公测版，用户只需将模型设置为cloudflare/auto，分类器就会为每个请求选择模型。公告中最受关注的内容，是一项Cloudflare自家路由器反而落败的基准测试：可靠性提高约10个百分点，成本约为原来的三分之一。该测试包含97个任务，每个模型采样三次，并进行1万次Bootstrap重采样。
路由分为两个阶段。AI Gateway首先构建候选模型池，过滤掉无法处理当前请求格式的模型，并应用凭证、计费配置、访问控制和支出限制。随后，一个多头分类模型在Cloudflare边缘GPU上通过Workers AI运行，为14类任务分配概率，并从复杂性、歧义性、风险程度、对先前上下文的依赖程度四个维度对请求进行1至5级评分。评分矩阵将结果与基准测试数据结合，公开公式为“效用=预期质量-自适应成本惩罚”。Auto Router仅基于最近几轮请求实时分类，文本上限为8KiB，任务难度越高，价格权重越低。
从事智能体工程的CTO Jacques B指出，如果还需要有人额外花一小时修正结果，更便宜的模型其实并没有省下多少成本。分类机制也引发质疑：技术负责人Igor Pyrin认为，风险评分只依据偏重最近几轮的精简上下文，在较长的智能体会话中，用户可能很早就说过“这是客户退款”，之后只说一句“继续执行”，一条简短的最终指令不应悄悄降低底层操作的风险等级。
文档还补充，响应会携带cf-aig-routed-model和cf-aig-routing-reason，后者可能返回cost_optimal_within_pool或pinned_by_turn等值，便于事后审计模型选择；可通过cf-aig-allowed-models和cf-aig-allowed-providers请求头针对单个请求限制模型池，但目前无法保存为路由配置文件。此外，若无会话ID，同一对话中的请求可能被分配给不同模型，无法复用提示词缓存，Cloudflare因此施加随上下文长度增长的模型切换惩罚。