10月16日,范式智能联合北京睿思智联科技有限公司宣布,一站式生产级AI部署平台“模域”(ModelSphere)正式上线。该平台面向企业用户免费开源,将算力管理、模型部署和运行优化整合于统一平台,帮助企业降低部署与运维门槛,更高效地把算力转化为安全、稳定、可用于实际业务的AI服务。

随着大模型进入规模化商业阶段,企业在算力统筹、模型部署与效能优化中普遍面临资源利用率低、芯片生态割裂、部署门槛高、生产环境调优难等问题。模域提供图形化操作面板与预置部署能力,减少环境配置代码编写,并内置自动弹性扩缩容、PD分离部署、三级KV缓存、高可用负载均衡及服务断流自动续写等企业级能力,支持模型服务在生产环境中稳定运行。

在性能方面,平台内置AutoTune智能模型排期策略,结合硬件加速能力的自适应负载均衡调度,系统极限吞吐效率较基准提升约285%,性能跃升至原来的4倍。平台融合EngineX推理引擎,可统一和混合调度华为昇腾、天数智芯、摩尔线程、海光DCU等国产算力资源,用户无需为不同芯片重写底层逻辑代码。模域团队已适配优化DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM等主流模型,支持模型发布后快速部署并调优至生产环境。

技术层面,模域与vLLM、SGLang等推理引擎配合:推理引擎负责提升单台服务器的计算效率,模域负责集群架构级纳管与优化,包括负载和缓存感知的请求路由、统一KV缓存池、基于服务质量的自动化扩缩容、服务断流自动续写、基于线上数据的自动化性能调优及运行监控。平台采用Apache 2.0协议,已在GitHub上线。