分析对话代理有效性

通过 Copilot Studio 中的分析页面，可以综合了解您的智能体在分析会话中的整体效率。

在审查和提升代理有效性时，需要关注六个核心领域：

• 主题：主题通过将用户问题聚类化为 AI 建议的类别，帮助创建者获得分析见解。
• 对话结果：了解会话的最终结果有助于开始确定代理成功的位置以及需要改进的位置。
• 代理：了解会话的最终结果有助于开始确定代理成功的位置以及需要改进的位置。
• 生成的答案率和质量：了解代理何时难以为用户问题提供答案，以及它如何使用知识源来帮助你找到提高代理的答案率和质量的方法。
• 工具使用：了解工具的使用频率及其成功频率可帮助你了解这些工具是否对用户有用且成功。
• 满意度：查看用户反馈有助于识别新的用户方案和问题，并根据用户要求的内容直接做出改进。

可以查看过去 90 天内发生的事件的分析。

对话结果

“ 对话结果 ”部分显示一个图表，用于跟踪代理和用户之间的 每个会话 的结果类型。

若要下载聊天结果数据（图形中可视化的数据），请选择菜单图标 ，然后选择“ 下载 CSV”。

要打开一个侧边面板，查看会话结果的饼图细目，以及导致每个结果的首要主题，请选择图表上的查看详情。

会话属于以下两种状态之一：

• 未参与：当用户与您的智能体交互或智能体向用户发送主动消息时，会话将启动。 会话以未参与状态开始。
• 参与：出现以下情况之一时，会话将变为参与：
  • 触发非系统主题
  • 会话已升级
  • 回退主题被触发
  • 会话推进话题被触发

会话进入参与状态后，将保持参与状态。 参与的会话具有以下结果之一：

• 升级：当触发升级主题或运行转移到智能体节点时，会话结束并被视为已升级（当前分析会话结束，无论会话是否转移到实时智能体）。

• 已解决已确认：在触发对话结束主题时，会话被视为已确定，用户确认交互是否成功。

• 隐式解析：当会话被视为在无需用户确认下完成时，该会话被视为隐式解析。 导致隐式解决状态的原因取决于智能体是使用经典还是生成式业务流程：

  • 经典业务流程：在触发对话结束主题时，会话被视为隐式解决，用户允许会话超时而不提供确认。
  • 生成式业务流程：当会话因非活动状态持续 30 分钟后结束并且没有剩余的活动计划时，会话被视为隐式解决。 活动计划是正在等待用户输入的计划。

• 已放弃：当参与的会话在 30 分钟后超时且未达到已解决或已升级状态时，会话将结束，被视为已放弃。

您还可以通过工具代码编辑器，使用参数 conversationOutcome 设置工具的结果。 例如，conversationOutcome: ResolvedConfirmed 表示确认成功或 conversationOutcome: ResolvedImplied 表示暗示成功。

有关如何衡量和提高参与度的建议和最佳实践，请参阅指导文档衡量助手参与度。

生成的答案率和质量（预览版）

借助生成性答案，代理可以使用 AI 通过知识源和提供的说明生成用户查询的答案。 但是，代理可能无法回答所有用户查询。 生成的答案率和质量部分跟踪、组织和分析未回答的查询和答案质量，以指导你提高代理的答案性能。

答案率显示所选时间段内已回答和未回答的问题数，以及随时间变化的百分比。

答案质量 使用 AI 衡量答案的质量。 Copilot Studio 查看一组回答的问题示例，并分析不同的质量，包括响应的完整性、相关性和基础性。 如果答案符合设定的标准，Copilot Studio 会将答案标记为 “质量良好 ”。 Copilot Studio 将不符合该标准的答案标记为 “质量差 ”。 对于 差 答案，Copilot Studio 会分配质量分级的原因，并显示分配给每个类别的答案百分比。

选择“ 查看详细信息 ”以打开一个侧面板，其中包含问题解答率、知识源使用情况和所选时间段内的错误率。 您可以使用这些图表来确定哪些知识源可以很好地帮助用户，以及哪些知识源可以针对用户进行改进。

• 未回答的问题 显示了代理未回答用户查询的原因。
• 知识源使用显示使用智能体可访问的每个知识源的会话百分比。
• 所有来源 显示使用每个知识源的问题百分比。
• 错误 显示导致每个知识源类型的知识相关错误的查询百分比（例如 SharePoint）。

见解(预览版)

Analytics 使用 AI 提供有关代理如何成功回答用户查询的自定义见解。 Copilot Studio 分析未答复的查询，按主题将它们分组，然后生成关于可通过采取措施提升每个组性能的上下文见解。 Copilot Studio 每天使用此见解类型生成群集，使用过去七天内所有未完成的用户查询。 可以查看前五个见解。

1. 在“答案率和质量”部分中选择“见解”。

2. 使用<箭头和>箭头在分析之间切换。

3. 选择引文以查看有关见解的更多详细信息。

还可以选择获取对话信息来下载出现这些未回答用户查询的对话 ID 的 CSV 列表。

工具使用

“工具使用”部分显示一个图表和指标，用于跟踪工具随时间推移启动的频率，以及代理成功使用这些工具的频率。 它还显示了代理使用每个工具的频率趋势指标，以及成功使用的被调用工具的百分比。

该图表显示 分析 页面顶部定义的日期期间中使用的前五个工具。

若要打开侧面板，其中包含指定时间段内使用的所有工具的列表以及趋势指示器，请选择图表上的 “查看详细信息 ”。

满意度

“满意度”部分显示从对代理响应和会话调查结果的反应中收集的用户反馈。 满意度分为两个小部分：反应部分，显示针对特定智能体响应的好评、差评反馈，和调查结果部分，显示整个会话的客户满意度 (CSAT) 分数。

反馈数据存储在 Dataverse 中的对话脚本表中。 有关支持此功能的渠道列表，请参阅功能详细信息。

反应

反应部分显示从对会话智能体响应和调查结果的反应收集的用户反馈。 图表计算用户对智能体收到的每个响应选择好评（正）或差评（负）按钮的次数。

用户提供反应后，他们可以留下评论。 若要查看批注，请选择“ 查看详细信息”。 选择全部、好评或差评筛选评论。

用户反馈默认为打开。 如果需要，您可以关闭此功能。 您还可以为用户添加或编辑关于如何使用其反馈的免责声明：

1. 打开智能体，然后进入设置，找到用户反馈部分。

2. 将让用户在使用此智能体时提供反馈设置为开或 关。

3. 添加或编辑免责声明，让用户了解其反馈的使用情况。 您还可以提供隐私信息和提示。

调查结果

调查结果部分显示的图表和指标可追踪会话的平均客户满意度（CSAT）得分，客户在会话结束时会响应调查问卷的请求。

选择查看详细信息可以查看报告配置的时间段内满意度分数的趋势。