Azure DevOps Services |Azure DevOps Server |Azure DevOps Server 2022 |Azure DevOps Server 2020
Visual Studio 2022 |Visual Studio 2019 |Visual Studio 2017 |Visual Studio 2015
将自动化测试与测试用例相关联可以通过提供更好的可跟踪性和与 CI/CD 管道的集成来增强测试过程。 本文将指导你在哪些情况下将自动化测试与测试用例关联是有利的,以及如何有效地进行操作。
先决条件
| 类别 | 要求 |
|---|---|
| 项目访问权限 | 项目成员. |
| 访问级别 | - 若要查看与测试相关的工作项或运行测试用例:至少 基本 访问权限。 具有 利益干系人 访问权限的用户无权访问测试计划。 - 若要使用所有与测试相关的功能,需要 基本 + 测试计划 访问级别或以下任意订阅之一: - 企业 - 测试专业版 - MSDN 平台 |
| 权限 | - 若要添加或修改测试计划、测试套件、测试用例或其他基于测试的工作项类型:编辑此节点中的工作项 权限设置为 允许 在相应的 区域路径下。 - 若要修改测试计划属性,如生成和测试设置:管理测试计划 权限设置为 允许 对应的 区域路径。 - 要创建和删除测试套件,添加和删除测试套件中的测试用例,或更改与测试套件相关的测试配置:在相应的 区域路径下,将 管理测试套件 权限设置为 “允许”。 - 可能需要的项目级权限包括: - 若要查看、创建或删除测试运行:查看测试运行、创建测试运行,以及 删除测试运行 设置为“允许”的权限。 - 若要管理测试配置或测试环境:管理测试配置 和 管理测试环境。 - 要将为基于测试的工作项添加标记:将“创建标记定义”权限设置为“允许”。 - 要将基于测试的工作项移出项目:将“将工作项移出此项目”权限设置为“允许”。 - 若要删除或还原基于测试的工作项:删除和还原工作项, 权限设置为 允许。 - 要永久删除基于测试的工作项:将“永久删除工作项”权限设置为“允许”。 |
有关详细信息,请参阅手动测试访问和权限。
创建测试项目和生成管道
执行以下步骤创建测试项目和生成管道。
- 创建包含你的自动化测试的测试项目。 有关详细信息,请参阅 支持哪些类型的测试。
- 将你的测试项目签入 Azure DevOps。
- 为项目创建生成管道,并确保它包含自动化测试。 有关更多信息,请参阅仍使用 XAML 生成时的差异是什么。
在 Visual Studio 中关联自动化测试
请考虑在以下方案中使用 Visual Studio 将自动测试与测试用例相关联:
手动测试用例自动化:如果您已创建了一个手动测试用例,并认为它适合自动化,但仍希望将其作为测试计划的一部分来运行。 可以通过在 Visual Studio 测试 任务的设置中选择测试计划或测试套件,在 CI/CD 管道中运行这些测试。 还可以从 测试计划 Web 门户运行自动测试。 如果使用 XAML 生成,可以使用 Microsoft测试管理器运行这些自动测试。
启用端到端可跟踪性:如果测试用例链接到要求或用户情景,则可以使用测试执行的结果来确定这些要求的质量。
执行以下步骤,将自动化测试与 Visual Studio 中的测试用例相关联。
在 Visual Studio Enterprise 或 Professional 2017 或更高版本中打开解决方案。
如果不知道测试用例的工作项的标识符,请在 Azure 测试计划中找到该测试用例,或在工作中心查询该工作项。
当知道测试用例的工作项的标识符时:
如果使用的是 Visual Studio 2017 或更高版本,请执行以下步骤关联你的测试。
- 如果未显示测试资源管理器窗口,请从测试 | 窗口菜单中将其打开。
- 如果测试资源管理器中未显示你的测试,请生成解决方案。
- 在测试资源管理器中,选择你要关联的测试方法,然后选择“关联到测试用例”。
- 在打开的对话框中,键入测试用例标识符,选择“添加关联”,然后选择“保存”。
该对话框显示当前与所选测试方法相关联的测试用例列表。 不能将多个测试方法与一个测试用例相关联,但可以将一个测试方法与多个测试用例相关联。
如果在 Azure DevOps 中使用生成和发布服务,而不是 XAML 生成,则可以使用 Visual Studio 测试 任务在生成和发布管道中运行关联的测试。 除非使用的是 XAML 生成,否则你无法使用 Microsoft 测试管理器按需运行测试。
测试用例中的参数不被你与测试用例相关联的任何自动化测试使用。 使用这些参数的测试用例的迭代仅适用于手动测试。
有关详细信息,请参阅下列文章:
将自动化测试关联到 Azure DevOps
在生成管道中关联你的测试
导航到 管道 并选择运行自动测试的管道。
选择执行测试的生成。
在“ 测试 ”选项卡中,查找要链接到手动测试用例的自动测试。
选择测试,然后单击 “关联测试用例”。
找到要关联到自动测试的手动测试用例,然后单击“ 关联”。
将自动化测试与其相应的测试用例相关联后,可以利用 Azure 测试计划任务 将其作为管道的一部分执行。
关于关联自动测试的常见问题解答
请参阅以下常见问题解答 (FAQ)。
问:支持哪些类型的测试?
答:每种测试类型都有以下功能和限制:
| Framework | *Visual Studio 中的关联 | Azure DevOps 中的关联 |
|---|---|---|
| 编码的 UI 测试 | 已支持 | 已支持 |
| Selenium | 已支持 | 已支持 |
| MSTest v1/v2 | 已支持 | 已支持 |
| NUnit | 已支持 | 已支持 |
| xUnit | 已支持 | 已支持 |
| Python (PyTest) | 不支持 | 已支持 |
| Java (Maven 和 Gradle) | 不支持 | 已支持 |
* Visual Studio 15.9 预览版 2 或更高版本支持。
使用 .NET Core 框架的测试在使用 Visual Studio 15.9 Preview 2 或更高版本时可以与测试用例工作项相关联。 运行 .NET Core 测试。 必须在 .runsettings 文件中指定适当的目标框架。
问:是否可以在 Azure DevOps 中使用 GitHub 存储库中的测试进行关联?
答:只要使用 VSTest 任务在 Azure Pipelines 中运行自动测试,或者使用 PublishTestResults 任务报告测试结果,自动化测试就可以通过 Azure DevOps 中的用户体验与测试用例关联。 请记住,在测试可供关联之前,必须至少运行一次。
问:如果我仍在使用 XAML 生成,有什么区别?
答:如果在 Azure Pipelines 中使用 XAML 生成,则可以在使用实验室环境的“生成-部署-测试”工作流中运行关联的测试。 也可以使用 Microsoft 测试管理器和实验室环境运行测试。
问:我可以配置工作项在 Visual Studio 中打开吗?
答:可以。 如果你希望测试工作项在 Visual Studio 中打开,而不是在 Web 浏览器中默认的 Azure Pipelines UI 中打开,请从 Visual Studio 中的“工具 | 选项”菜单更改“工作项 | 常规”设置。