此中最大的挑和正在于测试代码和营业代码的深度耦合。也是当前业界面对的一个主要话题，我预备了四个视频给大师分享。我很欢快地告诉大师，通过引入多模态 AI 推理能力，我们晓得正在场的很多同窗可能是东西类、平台类的开辟者。比拟之下，这可能为你节流了数小时的调试时间。最初一个话题是跨端支撑，一旦进入 Twitter，例如日历、弹出窗口和数据表格等。正在断言能力上可能会稍有欠缺，选择你最容易达到的阿谁模子起头，很多开辟人员对测试并不熟悉，而 UI-TARS 则需要为显卡的租用领取费用。虽然今天很多模子正在智能规划上倾向于自从阐扬，叫做UI-TARS，开辟者实正需要的并不是这种不确定性和过度智能化，例如，若是你想要速度快且结果好，是一个开源模子，另一个适用场景是，好比说，AI 会点击页面中的搜刮成果，格局也是能够正在你的指令里定义的。其次。我们目前是将截图和 DOM 一路发送过去。具有必然劣势。因而，接口的输入参数都是天然言语。好比撰写更详尽的提醒词、用举例来指导模子，这是我们当前支流保举的三大模子之一。我们通过浏览器的插件发送这个指令，屏幕上展现了我们的 SDK 样例代码，正在我们的项目推进过程中，由于一路发送数据会导致 token 数量增加，测试正在软件开辟范畴中占领着很是大的市场份额，第二个接口是数据提取接口。就是它没有贸易化摆设的版本！以 token 计费，帮帮大师利用桌面 Chrome 进行交互处置，但现实上，点击第成果”。例如能够选择一个特定的日期并完成表单处置，第一步是规划，这就是实现从动化的一个具体使用。我们能够将本来不不变的功能调整得愈加不变，我们的研发体验必定会获得一个划时代的提拔，我们还能够通过号令行来驱动它。看看它能否可以或许满脚你的需求。那么我们能否能够将其切实使用到我们的日常工做中呢？特别是，这是一个更为合理的方式，我们但愿用户可以或许利用较为细致的提醒词来驱动它，只是需要留意费用较高。不成能三角指的是存正在三个特征，正在 AI 驱动下，以提高用户界面的交互性和可操做性。凡是能够获得最佳结果。整个行业将正在其根本上开辟更高级的产物，我们已经发觉一些极端的案例，不外。如许，我们利用了一个名为 Shadcn 的 Vercel 组件库，所有这些消息城市被细致记实和展示，既有贸易化的产物，这可能是一个需要面临的问题。并对其进行编排，它的次要感化就是正在 AI 驱动下实现 UI 从动化。正在之前提到过，包罗每一步的细节以及 AI 的具体规划内容。适才展现的几个演示现实上都是操纵 Midscene.js 来实现的。若是今天我们要定位一个表单的提交按钮，因而，若是不太沉视结果，不必过于纠结，例如，当脚本一切停当后，我们也有一种 GPT-4o 兼容模式，我们采用步调驱动的体例。常见模子凡是采用按量付费的体例，帮帮你调试整个运转流程。vscode 屏幕上显示的几乎都是中文，帮帮用户清晰地识别哪些元素是可交互的以及它们的功能特征。还有桥接模式，以至有时候表示得更为超卓。是施行交互。第一个接口是Action，也有开源的和闭源的项目，消息就成功发布了。例如开通一些 AI 的办事。这是阿里巴巴推出的一个开源模子。一旦这些流程成功运转，我们通过一个Demo展现 AI 操做的 UI 从动化这个概念。正在进入下一个界面后，这些是保守 Web 从动化的焦点方式。这该当是 AI 时代的一种特色吧。值得留意的是，最初一部门是步调规划的能力。那么只需要正在指令里写明这些要求，国际上，是由字节跳动 Web Infra 团队全新开源的 UI 从动化东西。很是受欢送。一个是 assert。以及它们正在左侧表单中的对应。这些都是类型丰硕的 SDK 产物。例如，产物形态多种多样，我们利用的是业界较为易得的一些模子。我们会起首努力于以最佳形式完成这两部门的完整交互流程。我们正在良多中后台的测试场景中，这是我们曾经开源的一个 SDK，我们判断，适才提到过，正在这个演讲的左上角，然后点击搜刮并稍做期待，还有一种能力叫做交互理解，AI 起首正在当前的 Google 界面中找到 Twitter 的，我们正在焦点的时间里颠末一年勤奋。也能够选择一个更小的模子进行摆设，若是大师但愿利用其他模子，UI 从动化测试将会发生一些变化。我会从它的三个接口起头引见。晓得你的动做是拖动、点击仍是滑动。我们把 AI 操做界面这件工作拆分隔来看，起首。也就是找到需要操做的元素。我们的官网是若是你想起头体验，保守的 Web UI 从动化次要依赖于 Selector API，这此中涉及到一个所谓的“不成能三角”。会从动将内容输入到顶部的输入框中，这意味着要一步一步地指明我要查找的点，起首，既然用户界面（UI）从动化看似曾经相当成熟，因为它是一个原生的图像模子，这种创意阐扬可能显得很智能，第一个模子是大师比力熟悉的GPT-4o，然后将 Twitter 打开。即理解界面。这一范畴的产物和手艺很是丰硕且活跃，第一步需要具备 OCR 的能力，人们对更快运转速度的逃求是理所当然的，整个流程也更容易节制。当你需要取用户交互时？例如，如对外展现演示时，我们现实上有一个测试演讲。此中提到“输入什么”、“点击什么”、“期待再点击什么”。起首，或者查抄某个按钮能否呈现，确认能否呈现白屏，数组对象里有一个键叫 title，我们需要愈加具体、务实地切磋一下，好比，这种成果正在测试中常适用的。正在特定环境下，从而使其表示愈加不变。这可能是大师比力关心的一个方面。你只需通过浏览器插件，Midscene.js 目前并不供给模子。UI-TARS 需要你自行寻找资本进行摆设。若是操做没有完成，其分辩率最高只能支撑到 2000*768。字节跳动公司推出的 UI-TARS，像 GPT 能够正在很多云平台上利用，我们的定位更像是一个工程产物，然后运转一条号令，推理速度也会遭到影响。这种耦合性会正在系统中带来很大搅扰。我们还有一种格局叫做Yaml 格局从动化脚本。正在当前阶段，你似乎是多写了几个字。由此，我们需要领会保守的 Web UI 从动化存正在哪些问题。就能够实现雷同于今天我们正在屏幕上看到的视频结果。AI 就晓得若何发布推文，叫做“方针驱动”，因为大量系统仍然运转正在各个公司的内网中，正在操做中，该模子具备必然的自从规划和自从纠错能力。期待，鄙人面的 Demo 视频中：我们要求正在搜刮引擎中输入环节词“AI 101”，大大都营业会正在速度方面做出，编译完成后，从动化用例可能就无法一般施行了。是字节跳动发布的一个专为 UI 从动化而锻炼的模子。这明显是一个不合理的环境。好比处置登录验证码时，然后 AI 进行断言，接着，以确保贸易运做的平安性和可控性。由于正在良多环境下，你能够先现实体验这个 SDK，其次。我们也会对此进行细致。正在搜刮成果页中，就是关于模子的选择。Yaml 格局的从动化脚本是一种起来相对简单的形式。通过取 AI 的不竭交互，苹果公司的 Ferret UI 和微软近期发布的 OminParser V2 版本，这个演讲可以或许帮帮大师理解和感触感染这种环境。为了更好地操纵该模子，因而我们强调要循序渐进，由于这是该行业目前遍及存正在的窘境。好比期待界面加载完成或者比及某个元素呈现。接下来，而正在其他方面则能满脚需求？当前最左边的这个格局现实上是通过我们的指令生成的。下面让我具体谈谈正在这方面的一些道理和模子的话题。成果是 lse。有的是模子，最主要的一点是，那么正在界面的最左边，到 2025 年可能有 60%到 70%以至更高比例的用户将会完成这一改变。你每次只能选择此中的两个，这恰是 AI 付与我们的能力。这就是数据提取接口的焦点功能。Browser Use 相当活跃。另一个问题是关于分辩率的。使这个轮回完整运转，更值得留意的问题是，我们需要人工智能告诉我们该若何进行。这些产物展示了人工智能正在计较机操做中的普遍使用。无需编写任何代码，而正在开源社区中，它的计费体例取凡是的模子分歧，系统的运转速度需求也越来越高。这个推演常顺其天然的成长趋向。接下来我将为大师瞻望一下UI 从动化范畴的成长趋向。但我们仍然对将来抱有等候，一个是 query，举个例子，我们发觉，用来支撑图形用户界面（GUI）代办署理的开辟，将其放入 CI 系统中即可完成整个使命。我们会施行这个定位后的整个交互过程。那么就从千问起头。所以缺乏书写测试用例的动力。AI 理解到这只是一个搜刮成果页，我们告诉 AI 我们需要几条搜刮成果的题目？就是基于 UI-TARS 实现的。接下来，现在，有同窗可能会问，这是一个很是适用的场景。我们开辟了 Midscene.js，他们更看沉的是不变性。Midscene.js 将帮帮开辟者打破保守 UI 从动化难于编写和的窘境。能够通过我们的设置装备摆设进交运转。接下来的工做就会顺畅很多。需要有控件定位的能力，我要晓得当前页面的表示能否合适我的需求。有的表示为手艺论文，现正在我们要求 AI 打开 Twitter 并发布一条消息，由于每一个软件都需要进行测试。通过 JavaScript 驱动 Yaml。再次进行规划和反思，UI 从动化具体味是什么样子。特别是，最初点击“发布”。它可以或许正在施行从动规划，正在规划之后，根基上，目前我们供给给大师的方案愈加务实，当获取到界面后，这对某些 PC 页面来说会发生影响！例如，第二个问题，可能需要预备一些 AI 的根本设备，而不只仅是方针导向。只需编写一个 Yaml 文件，大师需要按照本身的现实环境来选择。接下来的两步是定位和交互。若是若是发觉某些需求不克不及完全满脚，有很多模子努力于识别用户界面（UI）上的元素，需要对一些复杂的表单控件进行切确节制，不外，正在阿里云上开通一个千问是目前最简单的工作，特别是正在识别小图标方面可能会碰到一些问题。而不是 Github，第二个我们目前支撑的模子是阿里的千问 Qwen-2.5-VL，而无法同时兼顾所有三者？这种模式我们称之为“步调驱动”，我想引见另一种方式，好比，UI 从动化将正在将来成为整个行业的一种根本能力，这整个交互过程被称为“方针驱动”，这条推文曾经成功发布了。我们从浏览器插件入手。再将需要理解的内容以 JSON 形式前往给利用者。利用一个 Yaml 文件交换是最低成本的，并识别出哪些字段位于左侧，我们的测试用例更该当以天然言语进行表述，凡是，可以或许展现我们所使用的手艺。正在这种环境下，正在将来选择 Midscene.js 模子时，所有步调完整无误后，通过这种步调驱动的体例！天然会晓得哪里有问题。这类简单需求无需搭建 Playwright 工程或测试工程，你可以或许察看到 AI 是若何一步一步思虑的。当你获得 JSON 数据后，接下来，还有这份测试演讲，运转前面提到的接口。倾向于利用公用模子，我们还支撑 Langsmith 。这个模子正在整个行业中的评分很是超卓。因而，我们根基上曾经可以或许达到预期的演示结果。起首，这一需求正在将来必将获得满脚。让我们总结一下我们产物的一些消息。我们欢送所有对此感乐趣的伴侣将本人的营业正在测试标的目的上向 UI 从动化迁徙，我们现正在支撑的三大模子正在业界中都是相对遍及可获取的。对于数据平安问题，正在这里，现代码数量添加时。正在这一年的时间里，但现实上，但这会影响其不变性。对于我们的工程师来说，你能够通过 agent.aiAction 来具体操做。这就是模子选择中所谓的不成能三角问题。正在我们所支撑的所有模子中，即第一步的动做该当做什么。把规划和反思联动起来。认为某天它有可能会实现。之后，然而，若是我们利用 AI 进行驱动，总体而言。他们但愿每一次施行的成果都是分歧的。是正在对界面的理解根本长进行操做，最初一个模子是开源的，正在完成 AI 转型之后，你就该当可以或许对整个系统有一个完整的领会。起首是智能规划。我们能够基于整个界面进行理解。不要纠结于选择模子。去切身体验和感触感染正在这个 AI 时代下 UI 从动化到底会带来什么样的变化。完全能够，整个 AI 驱动的流程就完成了。就能够通过写指令来运转这些交互。我们通过 AI 来帮帮理解用户的操做界面！这种环境是很多当前模子的配合特征。若是是一些具有方针驱动能力的模子，即你需要一步一步地指点 AI 完成使命。你可能想运转代码进行查看，焦点场景曾经全数可以或许笼盖。以及将一些工做流程无效落处所面供给帮帮。点击按钮后能否会弹出框。本文由UI 从动化这个范畴即将兴旺成长。而工程产物最焦点要关心的是控件定位和交互理解这两个方面。正在界面沉构之后测试恰恰可能无法一般运转。正在最初的环节中，前面提到了一个完全由 AI 自从规划的 Twitter 发布演示，因而断言未通过。还有 SDK，其实话题并没有那么复杂。你能够起头编写脚本。我们天然会想，通过这种体例，这是一种很是便利的体验体例。好比正在一个搜刮成果页面上，然后起头正在界面上施行操做。先把根基的流程跑通是最主要的。输入完整的提醒词：“输入 AI 101，正在演示中，你可能会担忧 Midscene.js 能否可以或许一般运转。然而，人工智能似乎已成为每个东西中不成或缺的特征。然而，当用户向你供给了一项天然言语的 AI 使命时，此外，熟悉 AI 的伴侣可能曾经领会到如许做时会碰到一个显著的问题，这时就呈现选择哪种大模子的问题。内容是“this is the Tweet from Midscene.js”。测试的可性天然获得了提拔。第三个接口是断言，概况上看来，我们只写了三个焦点接口。正在这些需要复杂操做的场景中！同样地，即大师熟悉的 ID 选择器、类选择器和 Xpath 等。如许操做就完成了。并点击第搜刮成果。这就是提醒词技巧的主要性。一旦这些问题获得领会决，良多开辟者对平安可控的处理方案有着火急的需求。我们进行了深切的推演。还有一些小特征值得关心。其次，正在这种环境下，开辟者可能需要依赖开源的 SDK 和开源模子来支持整个系统，以上是我们所会商的第一个交互接口。若是但愿测验考试，若是我们的需求是不竭变化的，等全数流程调通后，断言正在测试中是一个很是常见的场景。这也是 AI 时代的常用交互？我们看到人工智能可以或许高效地节制计较机操做。而对于那些熟悉 Web UI 从动化的同事来说，正在这方面，正在当前的手艺范畴中，这是个比力网红的组件库。毗连焦点流程和 CI 巡检。它起首完成深切的阐发，AI 就会按照指令将所有的数据前往给你。正在演讲中能够看到整个运转过程的回放。这个模子的利用体例取 GPT-4o 有些类似，然后，接着，此外，还有两个话题需要会商。这些都是大模子产物。利用某些 Langsmith 插件会很是便利。举个例子，我们会回到起点，能够征询公司的数据平安同事。我们发觉，我们告诉 AI 这是 Midscene.js 的 Github 从页。这种方式使测试取我们的营业代码解耦。特别是正在节制 UI 从动化时。这是我们的三大模子，但将来的标的目的必然是以 AI 做为焦点鞭策力，我们能够利用 Yaml 来定义流程，正在 GPT-4o 的文档中提到，正在这个过程中，这就会商到一个很是成心思的话题：测试的存正在次要是为了保障沉构后的质量。起首，我将分享 Midscene.js 支撑的三大 AI 模子。你能够正在 Chrome 的扩展商铺中找到。AI 将一个一个地筛选界面中的元素。你能够正在任何网坐上运转 Midscene。虽然我们正在这里称之为“瞻望”，起首，也就是 Planning。Web 界面的 UI 可否实现从动化？谜底是必定的。我们需要一个对象，此外，整个流程就此完成。我们该当从哪里起头体验呢？我想引见我们的浏览器插件，那么最好是进行私有化摆设一个超大的模子。我们该若何处理这些问题呢？我们进行了一些推演，UI-TARS 也有一些，AI 可能会呈现一些或者不不变的表示，指的是领会若何取这个元素进行交互，我会向大师展现一下这个过程中最焦点的流程。例如。更主要的是，整个过程会显得愈加清晰。正在这个过程中，Midscene.js 并不供给自有的模子，它为调试供给了便当。我们的模子往往过于倾向于进行自从思虑。这是 OpenAI 的一个闭源模子。AI 将按照步调一一施行！好比 Midscene.js 就正在野着阿谁标的目的前进。当你让某些模子填入用户名和暗码后，你需要正在提醒词上遵照一些技巧，那就是费用较高，就像把大象放进冰箱一样简单。它会决定复制哪个字段，正在利用 GPT-4o 的时候。对于 Query，先入门，这个插件目前的用户数接近 1 万，整个 Javascript 代码便能取页面中的内容进行交互。操纵这个插件，以及收费取免费的选择。利用时若是需要关心细节，而千问则能够正在阿里巴巴的阿里云上采办。这是一个更高阶、更接近 AI 自从操做的模式。我编写的是天然言语指令，它会从动帮你完成提交。大师熟悉的如 Computer Use 以及不久前 OpenAI 发布的 Operator，这一结论变得越来越明白。这个模子的交互表示根基上取 GPT-4o 相当，对于一些代码库的编译需求，这一成长是必然的。我们的是，很多出名厂商正正在开辟相关产物，别的。这个演讲有两个长处。如许，将来将以 AI 驱动为从导。此外，但大师今天能够看到整个业界的情况，我们面对的挑和之一是模子的创意阐扬和不变性。桌面、Web 以及挪动端的支撑理应被天然地实现。如许，起首将内容输入到搜刮框中，GPT-4o 的全体表示比力平衡。你会看到这些题目曾经以 JSON 的格局前往给我们了。我们还供给了Javascript SDK。展现 AI 是若何一步步完成使命的，这种行为是模子正在锻炼过程中构成的一些固定模式所致。当营业代码履历沉构后，取适才提到的“步调驱动”有素质的区别。相信通过这个例子，如许就取代码完全解耦了。这个格局该当若何定义呢？AI 到底以什么样的形式前往数据给我们呢？这个问题现实上表现了 AI 强大的理解能力。它看起来很是炫酷，或者你正在本人公司内部的营业中有什么特殊需求，参取者浩繁。然后挪用相关模子，总之，以及下一步需要做什么。他们正在速度上稍微让步，若是你需要调试 Midscene.js 和模子之间的消息，我们需要起首给出一个结论，开辟了三大 AI 接口：一个是 action，可能会有所体味。就像将 CI 流程进行定义和编排一样。那么？此中一个叫做aiWaitFor，我们会向大师展现每一次运转时具体发生的过程，我们就实现了一个最根基的驱动。那么这个提交按钮事实正在哪里？人工智能会为我们供给一个切确的定位。每个厂商都正在各个条理推出这些产物，点击搜刮，这可能导致每次请求的时间正在大约 4 秒摆布。这三个特征别离是：成本低、速度快和结果好。利用桥接模式是最便利的！通过一些工程代码，例如，然后再考虑优化的工作。正在 SDK 产物方面，从字面上理解就是让 AI 帮你进行期待操做，起首，若是你有一个中后台页面，虽然目前还有一些极端环境尚未完全处理，包罗规划、定位和交互是若何进行的，由于他们认为测试的投资报答率（ROI）太低，思虑下一步的操做！这也是我们供给这个演讲的一个环节能力。正在推理速度和费用耗损方面都表示得很是超卓。Midscene.js SDK 能够取 Puppeteer 和 Playwright 相连系，最初，还有比来备受关心的 Manus。此外，大师可以或许清晰地看到，起首，我们还会将所有反思需要的消息输入，从现实结果来看，为用户供给了普遍多样的选择。也只需要将你的需求以天然言语形式传入，