首页 › 产业观察 › 12GB显卡跑125B大模型,DeepSeek-VL前负责人

12GB显卡跑125B大模型,DeepSeek-VL前负责人做的本地Agent想替企业省下Token费

希
希鸥网
· 2026-11-20 · 产业观察 · 来源:希鸥网 1,635 次阅读

希鸥网产业观察,办公场景的本地化AI Agent赛道出现新变量。核心看点在于:消费级硬件能否承载千亿参数模型,以及“数据不出本机”能否成为企业采购的决策依据。

2026年,Simplex AI推出办公场景Personal Agent产品Linger。该产品支持会议实时转录,会后用户可直接向Agent提问会议内容并跟进待办事项。创始人Tony Zhang对外披露,Linger搭载自研MoE推理引擎PolyStrata,在配备12GB RTX 3060与64GB内存的电脑上,125B参数的Qwen3.8-Flash-Next模型生成速度达45.5 tokens/秒;在32GB显存的RTX 5090上,速度升至179 tokens/秒。

PolyStrata的原理是分级存储调度:把高频“专家模块”放进GPU显存,次高频放内存,低频放SSD,调用时在三级硬件间动态搬运数据,从而避免整模型塞进显存。产品另设“模型自动驾驶”功能,自动检测GPU、显存、内存配置,从49个语言模型、两种推理引擎、多种量化方案与上下文长度的组合中推荐安装方案。按SimplexAI评分体系,12GB显卡加32GB内存设备得分57.3,对标Claude Opus 4.6。

Tony Zhang回应了外界“为何不基于DeepSeek harness开发”的疑问。他表示Linger的重点是把模型和harness一起优化,12GB显卡本地跑125B模型,不按token付费,数据不出本机。产品定位上,DS-Bot核心是Bot与Bot、Bot与群组的协作,Linger核心是人与自己的Agent、Agent与本地环境。Tony Zhang本科毕业于浙江大学,2019年获香港科技大学博士学位,曾任微软区域研究院研究员、DeepSeek AI科学家及DeepSeek-VL项目负责人,后进入浙江大学任教并创立Simplex AI。他透露PolyStrata由团队一位18岁成员构建。

希鸥网认为,Linger的真正卖点不是参数规模,而是把企业的AI边际成本从“按token计费”改成“一次性硬件投入”。对创业者而言,有两条动作值得落地:一是涉及合同、财务、研发纪要等敏感数据的办公环节,优先评估本地推理方案的合规折价;二是采购本地模型前,先用自己的真实会议数据跑一轮转录准确率与待办提取率的压力测试,别只看跑分。硬件是沉没成本,数据主权才是长期账。

以上内容由希鸥网整理自网络,仅为传递商业信息,不构成任何投资建议。如有侵权请联系删除。

第39届华商创新论坛将于12月27日在杭州举办,同时第十二届金鸥品牌榜·2026年度创新案例库开放申报了,免费提报,独立评估,入榜品牌将获得电子版《入榜证明》及年度专题公示,优秀案例可获得深度专访+全平台分发。 如需修改或发布文章,请加微信号:sheisceo

📖 阅读本文共 1,635 次 2026年11月20日 17:03
📱 长按识别 分享给好友~
视频号二维码

扫码查看视频号

客服头像 咨询 咨询