不是所有任务都需要最强的模型。openJiuwen团队首发X-Router自演进模型路由技术,让每一次请求选对模型,让每一次反馈都成为下一次更优、更省的选择。实测数据显示,该技术可减少50%以上的Token消耗。
当前绝大多数AI应用的真实状态是“一个模型包打天下”:翻译一句简单的话,调用的可能是参数量千亿、跑在云端最贵算力上的模型;写五十行代码、还要自己debug三轮的难题,调用的还是同一个模型。简单任务用昂贵模型带来不必要的成本,复杂任务交给轻量模型则效果不稳定,依赖固定规则做选择又很难跟上业务与模型的持续变化。用户真正需要的,不是一张需要反复维护的模型路由表,而是让Agent自己完成判断。
openJiuwen是由华为2012实验室、华为云、终端、计算、算力先遣队等团队联合高校、企业等广大开发者联合构建的开源AI Agent平台。此次团队给出的答案,是在Agent与模型之间增加一层面向请求的智能决策能力,一个专门负责“这一轮任务该用哪个模型、用什么策略”的路由引擎,基于任务复杂度动态决策与编排群智协同及最优模型选择,实现成本-效果综合最优。
这套系统具备三个属性:可配置,不同业务能带着自己的偏好进来,这一轮要最省还是最快由业务方说了算;可演进,策略能跟随模型生态的流动一起成长;可观测,每一次决策的依据、每一次执行的反馈都要能看见、能回溯。openJiuwen团队把这套体系拆成三层:第一层负责“看得准”,基于历史数据离线刻画每个模型的能力画像,并在线动态刷新,画像更新时延优于1分钟;第二层负责“选得对”,实现决策与执行分离,路由层只管判断,具体调用交给宿主;第三层负责“越用越好”,让每一次决策结果变成经验,使下一次判断更准。
扫码查看视频号
咨询
咨询