TypeSafe AI联合创始人兼CEO Diogo Almeida在最新一期Latent Space访谈中表示,公开benchmark极其容易被操纵,即便开发者没有主动作弊,最终也可能被榜单牵着走。相比一张通用榜单,他更愿意相信长期积累的产品体验与信任:只有把模型放进真实工作流,并针对该工作流去评估和测量,才能判断它在真正重要的流程中表现如何。
Jev是一款“不会聊天、只会做决定”的模型,近期在网络上迅速走红。有人用它筛选海量论文,有人用它提前把握客户需求,还有人连夜开源了“Jev聊天助手”,用于预判老板的想法、分析对象闹别扭的原因,并一键生成多条回复供选择。发布视频在短短6天内浏览量突破3870万;在第三方JevBench v1.2.1综合榜中,Jev 1.13.0以75.3分排名第一。
Diogo Almeida指出,当前整个行业都在卷速度和拼成本,反而把可靠性弄丢了,但可靠性才是一款产品真正的灵魂,也是用户敢于托付信任的关键。他并不仇视OpenAI,但提出一个疑问:既然AI能破解千禧年大奖难题,为什么在有经济价值的实际工作上贡献几乎为零?他认为拉动全要素生产率增长才是衡量AI经济革命的真正标尺,目标是在五年内拉动3%。
他还透露,Jev日处理量已突破一万亿token,且夜间流量持续走高,说明大量调用来自机器自动化而非普通用户尝鲜。对于是否从零开始预训练大模型,他直言即使给十亿美元也不会做,因为预训练实在太烧钱。他同时表示,早期互联网那种蓬勃活力正在回归,每个人又都有机会参与创造,但这会是一片狂野的新大陆。
扫码查看视频号
咨询
咨询