QirabotAI 视觉驱动的 GUI 自动化

基于像素驱动浏览器、手机 App、桌面与游戏——无需 DOM、无需选择器。用自然语言描述目标,AI 看屏、决策、执行。

快速开始

安装

GitHub

浏览器自动化

底层为 Playwright——bot.open() 自动启动 Chromium,也可通过 CDP 接管已运行的 Chrome。支持 headless、持久化 profile、远程浏览器池。

Android 免 Appium

adb 直连——无需服务器,设备端零安装。截图、点击、滑动、输入(含中文和 emoji),adb 能看到的设备都能驱动。

iOS 免 Appium

通过 HTTP 直连真机上的 WebDriverAgent。无需 Appium 服务器、无需额外包——只要 iproxy 和一个 WDA 会话。

Windows 窗口与游戏

按标题或 HWND 绑定单个窗口。输入为 DirectInput 扫描码——游戏真正轮询的层级,虚拟键自动化无法触达。可驱动 Unity、Unreal 与原生应用。

挂载现有框架

已在用 Playwright、Selenium、Appium 或 pyautogui?直接传入你的 page/driver 对象,在现有套件中注入 AI 步骤——无需重写。

一套 API 全端通用

bot.ai() 自主完成整个任务;bot.click() / extract() / verify() 提供 AI 定位的确定性步骤。所有平台调用方式一致。

Qirabot 是什么?

Qirabot 是一个基于视觉的 GUI 自动化 Python SDK 与 CLI。它不查询 DOM 或无障碍树,而是直接看屏幕上的像素:多模态 AI 模型读取截图,找到你用自然语言描述的元素,返回坐标由客户端执行操作。因此它能覆盖传统框架无法触及的界面——canvas 渲染的 UI、原生手机 App、桌面应用,以及完整的 3D 游戏。

python

from qirabot import Qirabot

bot = Qirabot()
page = bot.open("https://www.wikipedia.org")

result = bot.ai(page, "搜索 SpaceX 并提取词条的第一句话")
print(result.output)

bot.close()

两种驱动方式:

自主任务 —— bot.ai(page, "完成整个任务"):AI 看屏、决定下一步动作,循环执行直到目标达成。
确定性步骤 —— bot.click(page, "登录按钮")、bot.extract(...)、 bot.verify(...):控制流在你手里,AI 视觉负责定位每个元素。没有 XPath、没有 CSS 选择器,布局变化也不会失效。

每次运行都会生成带逐步截图的 HTML 报告,--record 可录制视频。从快速开始入手,或直接跳到你要自动化的平台: 浏览器 · Android · iOS · Windows 与游戏 · 桌面。