OpenAI详解计算机操作进展：智能体更会排错，一周做出Decisions API原型

今年6月，播客主持人Dwarkesh Patel质疑计算机操作结果容易验证、进展却缓慢。三个月后，OpenAI在9月29日开发者日展示了Dot、计算机操作和一系列新开发者接口。每个Dot可使用一台独立的云端Linux电脑，既能打开浏览器，也能运行桌面应用，用户可把原本需在网页或软件中逐步完成的任务交给它处理。

开发者日后，Latent Space播客采访了OpenAI计算机操作产品与工程负责人Ari Weinstein及API产品负责人Nikunj Handa。Ari认为，过去一年最关键的进步是智能体遇到障碍后更会排错和重试；它也不再只能看着截图逐步点击，页面结构、无障碍信息和自己编写的代码都可成为操作软件的方式。他称能力提升来自模型与运行框架两方面，智能体可结合截图、无障碍信息、页面结构和Playwright操作软件，也可编写代码一次执行多个步骤。当前瓶颈分布在模型、推理、运行框架和信息呈现等环节，随着执行速度提高，等待网站加载的耗时也愈发明显。

Nikunj Handa分享了API层的实践，包括让模型在工具执行时继续推理、快速决策、性能优化和上下文管理。他承认，Decisions API是受Jev启发而启动，起初并不在研发计划中，项目启动约一周团队就完成可运行原型。他们没有重新训练模型，而是沿用Luna的权重，把输出约束成结构化结果，并专门优化推理系统，让首次决策返回时间尽可能短，多个问题还能并行批量处理。它更像一个极快的分类和决策层，可用于客服工单分类、评估打分和计算机操作，也能与GPT Live配合，让智能体在需要快速判断时更灵敏。

在安全边界上，Ari建议开发者根据任务限制智能体可访问的网站和应用，并在付款等可能产生重要后果的操作前征求人工确认。当智能体能够访问网站、处理付款，人该在哪些环节把关，仍是产品必须回答的问题。