大模型从云端走向终端：端侧压缩与混合部署成量产关键

AI工程重心正从云端向终端迁移，大模型需要在车端、手机等资源受限设备上实现低延迟、高稳定、可量产的落地。阶跃星辰AI终端解决方案架构师袁俊杰已确认出席QCon上海“千行百业Agent创新实践”专题，分享《“AI+终端”时代的萌芽：大模型在终端领域的探索和量产落地》。他认为，AI发展正从“Chat问答”走向“Reasoning推理”，再到“Coding生成”，下一个必然浪潮是向终端的全面渗透。

在袁俊杰看来，大模型能力正从云端走向车端、手机端、可穿戴设备、智能家居和IoT终端，从“能回答问题”进化为“能理解场景、执行任务、交付体验”。这意味着模型不仅要跑得动，还要跑得快、跑得稳。面向百万辆级别的量产交付，端侧模型压缩、混合部署、OTA迭代、数据飞轮等工程化能力成为真正的壁垒。

技术架构上，传统级联式语音交互存在延迟累积、语义断层、无法打断等瓶颈。袁俊杰将介绍下一代Realtime Voice Agent框架：端到端流式多模态架构将语音输入到意图理解、动作执行、语音输出的全链路实时化，端到端延迟控制在200毫秒以内，并支持流式打断、多模态融合输入与Agentic任务自主执行。

端侧部署方面，当前模型尺寸仍不够大、性能不够强、延迟相对较长。混合部署策略以端侧轻量模型处理高频离线场景，云端大模型处理复杂推理，并通过离线优先架构、断网续连机制与隐私保护方案实现端云协同。在汽车座舱场景中，大模型有望成为连接座舱感知与智驾规划的“统一认知中枢”。袁俊杰曾任职于多家“模型六小龙”企业，主导阶跃星辰模型在汽车及终端领域从0到100万数量的落地。