UniPat AI发布PaperBenchX测评，从93篇研究论文构建93个复现任务，横跨电磁、光子、化学、材料、生物、机器人等12个研究方向、10种领域原生科学环境，含3168条专家校验评分项，是国际上首个多学科端到端论文结果复现基准。结果显示，表现最强的GPT-6 Astra完整复现率仅为13.98%。

测评规则是：Agent拿到真实论文、装好对应科学软件的容器化环境以及说明复现部分的任务书，交回一份可执行复现工作流；评分标准、容差与参考答案全部对Agent隐藏。Agent虽能看到论文中的结果数字，但考试重点在于能否重建科学上成立的流程并自行跑出支撑结论的证据。

Agent交卷后，系统删除全部输出、断开网络，在隔离环境中把工作流从头重跑，评分器只相信重放产物。这意味着模型能在不少任务中产出看似合理的结果，但真正从头跑通完整工作流、生成与论文一致且可验证证据的成功率不到七分之一。

此前OpenAI宣布其模型仅用88小时攻克千禧年七大数学难题之一的N-S方程，并放出722篇数学手稿。陶哲轩、邓煜等25位菲尔兹奖得主联名公开信肯定大模型数学能力急剧提升，同时指出把解决数学问题当作基准测试对数学科学和共同体有害。数学领域有Lean作为证明正确性的兜底，其他科学领域则缺少类似机制，PaperBenchX正是为科学仿真搭建这样一道校验关卡。目前团队已从每个研究方向选取1个代表性任务，共开源12个测试任务。