通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

浏览器自动化（预览版）

警告

浏览器自动化工具具有重大的安全风险。 AI 在判断中的错误以及其遇到网页中存在的恶意或令人困惑的指令可能会导致它执行你或其他人未打算执行的命令，这可能会损害你或其他用户的浏览器、电脑及其有权访问的任何帐户的安全性，包括个人、财务或企业系统。 通过使用浏览器自动化工具，你确认你对其使用及其创建的任何代理负有责任，包括对你向其他用户提供的功能，以及通过生成的代理提供的功能。 强烈建议在低特权虚拟机上使用浏览器自动化工具，而无法访问敏感数据或关键资源。

浏览器自动化工具使用户能够通过自然语言提示执行实际浏览器任务。 它由 Microsoft Playwright Workspaces 提供支持，它简化了多轮次对话，以自动执行基于浏览器的工作流，例如搜索、导航、填写表单和预订。

工作原理

当用户将用户查询发送到连接到浏览器自动化工具的代理时，将开始交互。 例如，“显示本周所有可用的瑜伽课程，请访问以下 URL< c0 />URL。” 收到请求后，Azure AI Foundry 代理服务将使用您自己预配的 Playwright 工作区创建一个独立的浏览器会话。 每个会话都会沙盒隔离，以确保隐私和安全性。 浏览器会话模拟实际的用户浏览体验，从而与复杂的 Web UI（例如类计划、筛选器或预订页面）进行交互。 浏览器执行由 Playwright 驱动的动作，例如导航至相关页面，并根据用户的偏好（如时间、位置、讲师）应用筛选器或参数。 通过将模型与 Playwright 结合使用，模型可以通过将 HTML 或 XML 页面分析为 DOM 文档、做出决策和执行单击、键入和导航网站等作来查看浏览器屏幕。 使用此工具时，应谨慎行事。

示例流是：

  1. 用户向模型发送请求，其中包括使用要转到的 URL 调用浏览器自动化工具。

  2. 浏览器自动化工具从模型接收响应。 如果响应包含行动项，则这些项目包含建议的行动，以推动达成指定目标。 例如，一个动作可能是屏幕截图，这样模型就可以使用更新后的屏幕截图来评估当前状态，或者通过点击 X/Y 坐标来指示鼠标应该移动到的位置。

  3. 浏览器自动化工具在沙盒环境中执行该作。

  4. 执行作后，浏览器自动化工具将环境的更新状态捕获为屏幕截图。

  5. 该工具发送具有更新状态的新请求，并重复此循环，直到模型停止请求作或用户决定停止。

    浏览器自动化工具支持多轮次对话，允许用户优化其请求并完成预订。

示例方案：

  • 预订：跨预订门户自动填写表单和确认日程。

  • 产品发现：导航电子商务或查看网站、按条件搜索和提取摘要。

设置

  1. 创建 Playwright 工作区 资源。

    1. 为 Playwright Workspace 资源生成访问令牌。

    2. 在 “工作区详细信息 ”页中访问工作区区域终结点。

    3. 为项目身份授予 Playwright Workspace 资源上的“参与者”角色，或 配置自定义角色。

  2. 使用 Playwright 工作区区域终结点和 Playwright 工作区访问令牌在 Azure AI Foundry 项目中创建无服务器连接。

    1. 转到 Azure AI Foundry 门户 并选择项目。 转到 管理中心 并选择 连接的资源。

    2. 创建新的 无服务器模型 连接，并输入以下信息。

      • 目标 URI：Playwright 工作区区域终结点，例如 wss://{region}.api.playwright.microsoft.com/playwrightworkspaces/{workspaceId}/browsers。 URI 应以 wss:// 开头，而不是以 https:// 开头，如果呈现。

      有关获取此值的详细信息，请参阅 PlayWright 文档

    有关创建连接的详细信息，请参阅 “创建连接”。

  3. 通过使用 Azure Playwright 连接 ID 添加浏览器自动化工具，来配置您的客户端。

透明度说明

使用此工具时查看 透明度说明 。 浏览器自动化工具是一种工具，可以通过自然语言提示执行真实浏览器任务，无需人工干预即可实现自动浏览活动。

使用此工具时，请查看 负责任的 AI 注意事项 。