Capability · 连接与控制

自主控制电脑 Computer Agent

接管操作系统,像人一样用鼠标键盘

定义

Computer Agent 是 TA TA 直接操作计算机图形界面的能力:模拟鼠标点击、键盘输入、窗口管理,能使用任何没有 API 的软件。这是 TA TA 区别于纯 API 智能体的关键。

输入

  • 目标应用与操作描述
  • 屏幕截图(视觉定位)

输出

  • GUI 操作序列执行结果
  • 操作录屏(审计用)

适用场景

  • 自动填写没有 API 的网站表单
  • 自动操作 Excel 生成报表
  • 自动登录后台下载数据

技术原理(可公开部分)

视觉定位 + 动作执行:截图→视觉模型定位坐标→模拟输入。所有操作录屏存档,高风险操作需人工确认。

评估指标

  • 元素定位准确率
  • 任务完成率
  • 误操作率(目标小于0.1%)

调用接口

POST /api/v1/agent/instruction/execute

{"instruction_id": "gui_click", "params": {"target": "提交按钮"}}

查看完整开发者文档 →

版本历史

v1.0(2026-10):基础 GUI 操作上线

← 返回能力总览 获取 TA TA $499