继DeepSeek于10月20日开源面向自研模型的推理框架DeepInfer之后，StartLux也宣布开源为StartLux-Decision设计的专用推理引擎StartLux-Prism。两家公司的技术路线虽然不同，但都将优化重点从模型本身延伸到推理系统，标志国产大模型技术栈正从模型训练向专用推理系统纵深演进。

根据StartLux公布的测试数据，在单张NVIDIA H200 GPU上使用StartLux-Decision v1.1 27B模型，Prism在测试场景中的推理速度达到原有vLLM方案的1.2至5.3倍。其中，针对同一份材料回答三个问题时，处理时间从92.9毫秒缩短至17.4毫秒，实现5.3倍加速；短问题场景下则实现约2.8倍加速。此外，Prism支持张量并行（TP）与数据并行（DP）组合部署，TP用于缩短单个请求处理时间，DP用于提高整体吞吐量。

Prism还重点优化了推理结果的确定性。StartLux表示，在其支持的运行配置下，相同请求不受并发量、批处理方式及GPU数量变化影响，可得到逐位一致的输出概率。在覆盖7个评测集、共12,351次决策的测试中，Prism平均准确率为92.94%，与BF16原始精度下的92.97%基本持平。

与vLLM、SGLang等围绕大语言模型生成式推理优化的通用引擎不同，StartLux-Decision的核心任务是读取输入材料并对有限候选选项计算概率，不一定需要逐Token生成长文本。以同一份材料回答多个问题为例，原有方案将每个问题作为独立请求处理，会重复执行分词、调度及公共上下文计算等步骤。Prism针对这些特点重新设计了计算流程，在计算最终选项概率时只针对有效候选计算输出分数，无需为约24.8万Token的完整词表计算Logits，同时可得到与完整词表打分后再归一化相同的数学结果。