范式智能技术集团有限公司(股票代码:6682.HK)联合北京睿思智联科技有限公司宣布,一站式生产级AI部署平台“模域”(ModelSphere)正式上线。该平台面向企业用户免费开源,将算力管理、模型部署和运行优化整合在统一平台,帮助企业降低部署与运维门槛,更高效地把算力转化为安全、稳定、可用于实际业务的AI服务,目前已在GitHub开源。

随着大模型进入规模化商业阶段,企业在算力统筹、模型部署与效能优化中普遍面临资源利用率低、芯片生态割裂、部署门槛高、生产环境调优难等问题。模域将这些工作整合为统一的部署与管理流程,减少企业在底层系统适配、资源调度和日常运维上的重复投入,让技术团队无需深度掌握驱动编译与硬件适配等复杂工作,即可将各类开源大模型嵌入核心业务流程。

在功能层面,模域提供图形化操作面板和预置部署能力,内置自动弹性扩缩容、PD分离部署、三级KV缓存、高可用负载均衡及服务断流自动续写等企业级能力。平台内置AutoTune智能模型排期策略及结合硬件加速能力的自适应负载均衡调度,系统极限吞吐效率较基准提升约285%,性能跃升至原来的4倍。同时,平台融合EngineX推理引擎,可统一和混合调度华为昇腾、天数智芯、摩尔线程、海光DCU等国产算力资源,用户无需为不同芯片重写底层逻辑代码。

模域团队持续跟进开源社区迭代,已适配优化DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM等主流模型,支持模型发布后快速部署并调优至生产环境。技术层面上,模域与vLLM、SGLang等推理引擎互相配合:推理引擎负责提升单台服务器的计算效率,模域负责集群架构级纳管和优化,包括负载和缓存感知的请求路由、统一KV缓存池、基于服务质量的自动化扩缩容及运行监控等,保障生产环境下系统的高性能和高可用。平台采用Apache 2.0协议全面开源,将大模型部署与优化的工程能力向更多企业和开发者开放。