你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
生成式人工智能操作，即 GenAIOps（有时称为 LLMOps），描述了在生产中管理大型语言模型 (LLM) 的操作做法和策略。 本文提供有关如何根据组织的当前成熟度提升 GenAIOps 方面的能力的指导。
使用以下说明查找你的 GenAIOps 成熟度模型排名级别。 这些级别提供对组织的一般理解和实际应用级别。 这些指南提供了一些有用的链接来扩展你的 GenAIOps 知识库。
提示
使用 GenAIOps 成熟度模型评估来确定组织当前的 GenAIOps 成熟度级别。 调查问卷可帮助你了解组织的当前功能，并确定改进方面。
1 级 - 初始
提示
GenAIOps 成熟度模型评估得分：初始 (0-9)。
说明：你的组织处于 GenAIOps 成熟度的初始基础阶段。 你正在探索 LLM 的功能，但尚未开发结构化做法或系统方法。
首先熟悉不同的 LLM API 及其功能。 接下来，开始试验结构化提示设计和基本提示设计。 回顾 Microsoft学习 文章作为起点。 了解所学知识后，了解如何引入 LLM 应用程序性能评估的基本指标。
1 级提升的建议参考
- Azure AI Foundry 模型目录
- 浏览 Azure AI Foundry 门户模型目录
- 提示工程简介
- 提示工程技术
- 系统消息框架
- Azure AI Foundry 门户中的提示流
- 使用 Azure AI Foundry 评估 GenAI 应用程序
- 使用 Azure AI Foundry 的 GenAI 评估和监视指标
若要更好地了解 GenAIOps，请考虑Microsoft学习课程和研讨会：
2 级 - 了解
提示
GenAIOps 成熟度模型评估得分：正在成熟 (10-14)。
说明： 组织已开始对 LLM 操作进行系统化，重点关注结构化开发和试验。 但是，还有实现更复杂的集成和优化的空间。
若要改进功能和技能，请了解如何开发更复杂的提示并将其有效地集成到应用程序中。 实现 LLM 应用程序部署的系统方法，可能探索 CI/CD 集成。 开始采用更高级的评估指标，例如基础性、相关性和相似性。 专注于 LLM 使用中的内容安全和道德注意事项。
有关级别 2 提升的建议参考
- 采取 分步研讨会提升 GenAIOps 实践
- Azure AI Foundry 门户中的提示流
- 如何使用提示流进行生成
- 将 Flow 部署为用于 Real-Time 推理的托管联机终结点
- 将 Prompt Flow 与 GenAIOps 集成
- 使用 Azure AI Foundry 进行 GenAI 评估
- GenAI 评估和监视指标
- Azure 内容安全
- 负责任的 AI 工具和做法
3 级- 掌握
提示
GenAIOps 成熟度模型评估得分：正在成熟 (15-19)。
说明： 组织正在使用主动监视和结构化部署策略管理高级 LLM 工作流。 你即将实现卓越运营。
若要扩展知识库，请专注于 LLM 应用程序中的持续改进和创新。 使用预测分析和全面的内容安全措施增强监视策略。 了解如何根据特定要求优化和微调 LLM 应用程序。 通过高级版本控制和回滚功能加强资产管理策略。
有关级别 3 提升的建议参考
4 级 - 优化
提示
GenAIOps 成熟度模型评估得分：已优化 (20-28)。
说明：你的组织在 GenAIOps 方面表现出卓越的运营能力。 你拥有一种复杂的 LLM 应用程序开发、部署和监视方法。
随着 LLM 的发展，通过不断更新最新的 LLM 进步来保持前沿位置。 持续评估 LLM 策略与不断发展的业务目标的一致性。 在团队中培养创新和持续学习的文化。 与更广泛的社区分享你的知识和最佳做法，在领域建立思想领导。