大型零售企业将大模型能力平台化，库存推荐幻觉率从15%降至1.5%

某大型零售企业的库存准确性平台在将基于大模型的库存推荐系统投入生产运行的首月末，约15%的智能体返回结果为幻觉——表述看似言之凿凿，内容却毫无事实依据。六个月后，这一比例降至1.5%。推动下降的关键并非换用更强大的基础模型，而是架构决策：不再把大模型能力视作应用层业务问题，而是当作平台基础设施来对待。

该系统针对数百万SKU、数十亿条历史库存记录中的异常信号进行分析，为业务方生成库存修正建议，覆盖库存审计、补货审查、差异分诊等场景。平台层由业务、产品、软件工程师、数据科学家与数据工程专家共同构建，目前服务于数十个应用团队，并对Gemini、GPT等基础模型进行统一路由与治理。

项目团队在生产中识别出三类原型阶段未暴露的问题：真实请求量下的API限流、输入数据质量导致的推荐偏差，以及持续流量下稳定出现的幻觉。团队认为，幻觉是输出问题而非程序Bug，传统健康检查无法发现；Token消耗若未按请求归属统计，成本优化只能靠猜测；模型输出质量下滑时，延迟与错误率指标依然正常。这些共性问题应由平台层统一处理，而非由各应用重复搭建脚手架。

该平台的所有基础组件均已开源，代码刻意不设隐藏抽象层，通过Ollama运行本地模型llama3.1并使用LiteLLM对接，可端到端本地运行、无需API费用。团队强调，共享平台强制形成契约：应用声明所需模型、提示词版本、Schema、工具集与评估引擎，平台负责交付，新应用因此可在数天内上线。