测试代理

重要

本文中的某些信息与预发行的产品有关,该产品在商业发布之前可能有重大修改。 Microsoft 对此处所提供的信息不作任何明示或默示的保证。

本文介绍如何在 Security Copilot 中测试创建的代理或其工具。

必须将代理发布到用户或工作区范围才能测试代理。 测试阶段是一个迭代和改进循环:配置代理,使用示例输入调用代理,或使用自动优化指令优化,观察其行为或输出,并根据观察到的结果根据需要优化 YAML 清单。

先决条件

插件是用户可在 Security Copilot中启用的相关工具的集合,可通过授予代理访问代理和 LLM 外部资源的权限来扩展代理可以执行的作。

  • 确保已启用 “必需”插件 。 可以从“测试”选项卡“ > 所需的插件”部分启用它们。

  • 如果未启用插件,请选择“ 启用 插件”。 例如,对于“Microsoft威胁情报”插件,请选择“为 Microsoft Threat Intelligence启用插件”。

    用于在 Security Copilot 中启用所需插件的测试选项卡的图像

测试代理的步骤

测试代理的步骤如下:

  1. 将代理发布到用户或工作区范围。

  2. 在顶部导航窗格中,转到“ 测试 ”选项卡。

    用于在 Security Copilot 中测试代理的测试选项卡的图像

  3. “测试代理的工具 ”页上:

    • 从下拉列表中选择代理或工具。

    • 为代理或工具提供输入(如果已配置)。

  4. “指令优化 ”部分中:

    • 如果启用 (可选) ,则自动优化指令优化会根据预期的输出推荐优化的代理指令。 它通过评估循环自动执行更新、测试和优化代理指令的迭代过程。 Autotune 检查代理说明和优化以提高 AI 质量分数,使代理按预期执行。

    • 根据所选工具类型,可以提供 提示 和自然语言 (NL) 预期的输出 说明进行测试。 提供代理的详细输出,就像你期望代理的行为一样。

      Security Copilot中为测试优化启用了自动优化的图像

  5. 选择“ 运行测试 ”以生成测试结果。

    • 代理的输出是测试结果。

    • 如果启用了自动优化指令优化,它将根据预期的输出提供分数和建议指令。

  6. 运行 Autotune 指令优化后(如果已启用):

    • 提供了包含质量分数的 Autotune 指令优化分析。

    • 结果包括建议的说明和当前指令和自动优化指令优化建议指令之间的分数区分以及推理。

    • 可以复制并粘贴其代理中提供的 Autotune 指令优化说明。

    • 向下滚动“测试”面板,查看“自动优化”优化的结果。 导航到“生成”选项卡,将其粘贴到工具配置窗体中的说明中。

      在 Security Copilot 中使用 Autotune 优化的测试结果的图像

  7. 如果要查看代理运行工作流,请选择“ 活动映射 ”。 选择特定节点以查看详细信息。

  8. 在测试后对代理的响应和功能感到满意后,将代理发布到工作区范围。 该代理将发布到活动代理。

    注意

    Autotune 目前在美国和欧盟两个区域可用。 它很快将扩展到其他地区。

版本控制代理

  1. 如果发布具有相同名称的代理,它将替代以前的代理。

  2. 如果使用新名称发布代理,则会创建一个新代理。

删除代理

  1. 可以在提示栏中>导航到“管理Security Copilot中的源”中的源“并删除代理。

  2. 第三方合作伙伴:必须转到安全存储才能删除。

编辑代理

可以选择以下任一选项来编辑自定义代理:

  1. 导航到“ 生成”菜单。

  2. “我的代理”下,查看在用户范围内创作和发布的代理 (“仅你) 或工作区范围”。

  3. 仅为我切换“可见”,以区分在用户范围内发布的代理与发布到工作区中所有人的代理。

  4. 选择或搜索要编辑的代理。

    Security Copilot 中的代理视图的图像

  5. 代理详细信息在代理概述页中填充。

  6. 对代理进行更改后,选择“ 发布 ”。

    注意

    还可以转到顶部导航栏并选择下拉列表来编辑代理。

    Security Copilot中用于编辑代理的路径的图像