备注
预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前已经可用,以便客户可以抢先体验并提供反馈。
Power Apps Test Engine 提供涵盖整个测试生命周期的全面生成式 AI 功能。 本页概述了生成式 AI 如何增强您的测试体验,从测试创建到执行和验证。
Test Engine 的生成式 AI 功能解决了测试过程的三个关键领域:
| 生成式 AI 能力 | Description |
|---|---|
| 生成式 AI 辅助测试创作 | 使用其他大型语言模型(LLM)或小型语言模型(SLM)快速 GitHub Copilot 创建测试 |
| 模型上下文协议服务器 | 使用 MCP 进行确定性分析和代码生成 |
| 非确定性人工智能测试 | 使用特殊的验证技术测试 AI 驱动的应用程序 |
生成式 AI 辅助测试创作
创建全面的测试计划可能非常耗时,尤其是对于复杂的应用程序。 测试引擎通过以下方式支持生成式 AI 辅助创作:
- GitHub Copilot 集成:根据您的应用程序代码生成测试模板、测试步骤和断言
- 自然语言测试创建:用简单的英语描述测试场景并将其翻译成可执行的测试
- 基于样本的测试生成:引用现有样本以创建上下文相关的测试
这种方法有助于测试作者专注于业务逻辑和验证规则,而不是测试语法和样板代码。
模型上下文协议服务器实现
Power Apps 测试引擎包括一个模型上下文协议(MCP)服务器实现,该实现提供应用程序的确定性分析并生成测试建议。
MCP 服务器:
- 分析应用结构以识别可测试的组件
- 根据控制类型和关系生成测试模式
- 提供上下文代码建议
- 与 MCP 客户端集成,例如 Visual Studio 和 GitHub Copilot
- 使用计划设计器 组织 测试工作并确定其优先级
- 合并解决方案定义元素和数据模式以进行全面测试
- 使用解决方案中的元数据生成上下文相关的测试
当您将确定性分析与生成式 AI 功能相结合时,与单独使用纯生成式方法相比,这种方法可以为您提供更可靠、更准确的测试生成。
测试非确定性 AI 功能
在测试使用 AI 功能(如组件或生成式预训练转换器(GPT)模型) AI Builder 的应用程序时,需要特别考虑处理非确定性输出。
测试引擎提供:
-
功能
Preview.AIExecutePrompt:使用受控输入执行 AI 提示并验证输出 - 基于容差的验证:验证 AI 输出是否在可接受的阈值内满足预期
- 结构化响应验证:解析和验证复杂的 AI 生成内容
- 基于计划的验证:使用计划设计器定义根据预期标准验证 AI 输出
这些功能确保您即使在使用固有可变的 AI 系统时也可以创建可靠、可重复的测试。
选择正确的生成式 AI 方法
为了获得最佳结果,请考虑以下准则:
| 如果你想... | 考虑使用... |
|---|---|
| 快速生成新应用程序的测试 | 生成式 AI 辅助创作 GitHub Copilot |
| 对可测试组件进行精确、确定的分析 | 模型上下文协议服务器 |
| 将确定性分析与生成功能相结合 | 具有兼容 LLM 客户端的 MCP |
| 使用可变输出测试 AI 驱动的应用程序 | 非确定性 AI 测试 Preview.AIExecutePrompt |
| 根据业务需求构建测试工作 | 具有 MCP 服务器集成的平面设计器 |
| 使用解决方案元数据和数据架构生成测试 | 具有解决方案定义扫描功能的 MCP 服务器 |
相关文章
AI 辅助测试创作 GitHub Copilot
将模型上下文协议服务器与测试引擎结合使用
测试非确定性 AI 组件
浏览测试引擎示例目录
试用测试引擎 power-fx-functions
使用计划设计器