一句人话让 AI 替你点完整个应用Midscene.js 自然语言 UI 自动化保姆级指南【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene作为一个每天跟界面打交道的人我最崩溃的瞬间永远是产品又重构了页面测试脚本里的选择器一夜之间全部失效一改就是大半天。直到我遇见 Midscene.js——一个开源的「自然语言 UI 自动化」神器你只要像跟朋友聊天一样描述想干什么AI 就能替你把网页、手机甚至桌面软件一步步点完。这个跨平台 AI 界面自动化开源工具正在让无数人告别选择器地狱。从一个「不想写选择器」的下午说起传统自动化脚本有个老毛病它依赖页面的结构信息。你辛辛苦苦定位的那个按钮一旦前端改了 class 名、换了层级脚本就「眼瞎」了。更麻烦的是纯图标按钮、canvas 画布、原生 App 和跨域 iframe 里的元素结构根本摸不到而界面到底好不好看、颜色对不对、布局对不对结构信息也永远答不上来。Midscene.js 换了个思路它不看结构只看截图。像人一样「看」屏幕再用 AI 理解你的一句话指令。于是重构不再可怕看不见的元素也能操作还能真正验证用户肉眼看到的效果。这不就是每个测试人梦寐以求的体验吗它凭什么不一样拆开看三层本事第一层只认截图不认结构。只要有屏幕画面它就能干活这也是它能通吃所有平台的根本原因。第二层三句话完成全部操作。整个 SDK 的核心就三个动作aiAct做动作比如点击、输入、aiQuery查数据比如把价格列表读出来、aiAssert做断言比如确认页面是否弹出了成功提示。记住这三个词你就掌握了它的全部灵魂。第三层只要人眼能看到它就能触达。无论是 canvas 里的图形、原生 App 的按钮还是别人网页里的 iframe通通不在话下。十分钟让它在你的电脑上跑起来想先体验不用写一行代码。装好它的 Chrome 扩展在任意网页上打开面板输入「把搜索框里的关键词改成 Midscene.js 并搜索」点运行看它自己动手就行相关的零代码体验指南在apps/site/docs/zh/quick-experience.mdx。想写脚本也就几步npm create midscenelatest npm install export MIDSCENE_MODEL_PROVIDERopenai export MIDSCENE_API_KEY你的密钥然后像这样描述你的操作await agent.aiAct(点击搜索框输入 Midscene.js然后按回车); await agent.aiAssert(页面上应该出现搜索结果);模型配置的细节在apps/site/docs/zh/model-config.mdx五分钟就能调通。从浏览器到手机再到桌面一条 API 走天下Midscene.js 最迷人的地方在于只要设备能截图就都能自动。Web 浏览器、Android、iOS、HarmonyOS、Windows/macOS/Linux 桌面应用甚至任何自定义界面全部走同一套 API不用为每个平台重学一套工具。平台怎么连典型玩法WebPuppeteer / Playwright / 桥接模式网页回归、表单填写AndroidADB 连接真机或模拟器原生 App 自动操作iOSWebDriverAgent手机上自动下单、点赞桌面原生键鼠控制桌面软件自动化想用代码直接接管你正在用的 Chrome打开桥接模式apps/site/docs/zh/bridge-mode.mdx本地 SDK 就能和浏览器建立连接调试起来非常顺手每个平台的上手指南都在apps/site/docs/zh/platforms/目录下跟着走一遍即可。新手最容易踩的三个坑第一模型没配好。它依赖多模态 AI 模型API 密钥、模型提供商、网络连通性缺一不可报错时先按这个顺序排查常见问题都收在apps/site/docs/zh/faq.md。第二设备连不上。Android 要开 USB 调试iOS 要信任电脑并确保 WebDriverAgent 在跑别急着怀疑工具本身。第三指令太模糊。描述越具体AI 越不容易跑偏——「点击右上角蓝色的登录按钮」比「点登录」靠谱得多。把这几条记住能帮你少走两个星期的弯路。现在就去点亮这颗星快速回顾一下它值得你尝试的理由✅ 用自然语言写自动化零基础也能上手✅ 不看结构看截图重构不再摧毁脚本✅ 一套 API 通吃 Web、手机和桌面✅ 完全开源免费社区文档齐全还等什么克隆仓库到本地亲手体验一把git clone https://gitcode.com/GitHub_Trending/mid/midscene顺手点个 Star把这份「动嘴不动手」的快乐分享给同样被选择器折磨过的朋友吧。从今天起让 AI 当你的手指你只管说人话。【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
