通过

Real-Time Intelligence 中的异常情况检测（预览版）

本文介绍如何在 Real-Time Intelligence 中设置异常情况检测，以自动识别 Eventhouse 表中的异常模式和离群值。 系统提供推荐的模型，并允许您设置带有自动化动作的持续监控。

关键功能包括：

  • 模型建议：建议数据的最佳算法和参数。
  • 交互式异常探索：可视化检测到的异常情况并调整模型敏感度。
  • 持续监视：使用自动通知设置实时异常情况检测。
  • 使用新数据重新分析：在新数据到达时更新模型以提高准确性。

重要

此功能目前为预览版。

先决条件

  • 具有已启用 Microsoft Fabric 的容量的工作区
  • 工作区中管理员、参与者或成员的角色
  • 您工作区中的 Eventhouse 拥有一个 KQL 数据库
  • 在同一 Eventhouse 上启用的 Python 插件
    • 若要启用插件，请导航到 Eventhouse。
    • 在上部工具栏中，选择 “插件 ”，然后启用 Python 语言扩展。
    • 选择 Python 3.11.7 DL 插件，然后选择“ 完成”。 在 Eventhouse 中启用 Python 插件的屏幕截图。

注释

确保 Eventhouse 表包含足够的历史数据，以提高模型建议和异常检测准确性。 例如，每天有一个数据点的数据集需要几个月的数据，而每秒具有一个数据点的数据集可能只需要几天。

如何设置异常情况检测

从 Eventhouse 表启动异常检测

可以通过两种方式启动异常情况检测：

  1. 从 实时中心:

    1. 在左侧导航窗格中选择 实时枢纽 。

      左侧导航窗格中实时中心按钮的屏幕截图。

    2. 找到要分析异常情况的表，并执行以下步骤之 一 ：

      1. 选择 “、” （三点） 以打开表的功能区菜单，然后选择 异常情况检测。

        实时中心的屏幕截图，其中选择了用于异常检测的表格。

      2. 选择该表以打开详细信息页。 在上工具栏中，选择 “异常情况检测”。

        详细信息页中“检测异常”选项的屏幕截图。

    3. 在 “异常情况检测 ”页上，对于 “保存”，选择下拉列表，然后选择“ 创建检测器”。

      Real-Time 枢纽中异常检测器页面的屏幕截图。

    4. 在“ 创建异常检测器 ”页上，选择 Fabric 工作区，输入异常检测器 的名称 ，然后选择“ 创建”。

      Real-Time 中心的“创建异常检测器”页的屏幕截图。

      现在，请继续转到 “配置分析输入列”部分，但跳过配置 源，因为源已在 Real-Time Hub 中选择。 首先配置监视值部分。

  2. 从“创建”按钮：

    1. 在 Fabric 主页中，选择省略号（...）图标，然后选择 “创建 ”选项。

      左侧导航窗格中“创建”按钮的屏幕截图。

    2. 在“创建”窗格中，选择“Real-Time 智能”部分下的“异常情况检测”。

      “创建”窗格的屏幕截图，其中选择了“异常情况检测”。

配置用于分析的输入列

指定要分析的列以及如何对数据进行分组。

  1. 在 “异常情况检测 配置”窗格中，选择要分析的 数据源 。 如果使用 实时集线器，请跳过源选择，并继续配置 监控的值 部分。

    “异常情况检测配置”窗格的屏幕截图，其中突出显示了“数据源”选项。

  2. 在 “选择源 ”窗格中，选择要分析的 Eventhouse 和表，然后选择“ 添加”。

    “选择源”窗格的屏幕截图，其中选择了 Eventhouse 和一个表。

  3. 在配置窗格中，添加 值以监视 包含要监视异常的数字数据的列。

    用于监视配置设置的值的屏幕截图。

    注释

    确保所选列包含数值，因为异常情况检测仅支持数值数据。

  4. 选择 “分组依据 ”列以指定应如何对数据进行分区进行分析。 此列通常表示设备、位置或其他逻辑分组等实体。

    按配置设置分组的屏幕截图。

  5. 选择表示记录每个数据点的时间的 时间戳 列。 此列对于时序异常情况检测至关重要，可确保对一段时间内的趋势进行准确的分析。

    时间戳配置设置的屏幕截图。

  6. 选择 “运行分析 ”以开始自动模型评估。

等待分析完成

系统分析数据以查找最佳异常情况检测模型。

重要

分析通常需要长达 4 分钟，具体取决于数据大小，最多可以运行 30 分钟。 可以离开页面，待分析完成后再回来查看。

在分析期间，系统：

  • 对表数据进行采样，以实现高效处理
  • 测试多个异常情况检测算法
  • 评估不同的参数配置
  • 标识特定数据模式的最有效的模型

分析完成后，可以查看结果并浏览检测到的异常。

  1. 通过选择收到的通知或导航回表并选择 “查看异常结果”来打开异常情况检测结果。

  2. 结果页提供以下见解：

    • 对数据的 可视化，其中异常被清晰地突出显示。
    • 推荐算法的列表，按数据的有效性进行排名。
    • 用于调整检测阈值的敏感度设置。
    • 所选时间范围内 检测到的异常 的详细表。

  3. 使用模型选择器比较不同推荐算法的性能，并选择最符合需求的算法。

  4. 调整 敏感度 设置以优化异常情况检测结果：

    • 选项包括低、中和高置信度。
    • 试验这些设置，以在检测更多异常和减少误报之间取得平衡。

  5. 与视觉对象和表交互，深入了解检测到的异常情况并了解数据中的模式。

  6. 保存 异常检测器以保留配置，并在以后重新访问它。

  7. 将检测到的异常发布到 Real-Time 中心，以便持续监视传入数据。 还可以配置下游操作，例如将警报发送到 Activator。

通过查看和微调结果，可以确保异常情况检测设置针对特定用例进行优化。

使用新数据重新分析异常情况检测模型

随着新数据可用，使异常情况检测模型保持最新。

按照步骤使用新数据重新分析模型：

  1. 导航到异常情况检测项。
  2. 在 “编辑” 面板中，根据需要修改以前填写的任何字段。
  3. 选择“运行分析”。 这会根据更新的输入触发新的分析。

警告

重新分析将更新现有监视规则使用的模型，这可能会影响下游作。

限制和注意事项

请注意以下当前限制：

  • 数据要求：足够的历史数据可改进模型建议和准确性
  • 每个异常检测器只能支持单个模型配置。

在异常检测器中运行多个操作

与异常检测器交互时，Eventhouse 在后台运行 Python 查询以支持实时分析。 这些操作包括：

  • 运行异常检测或其他类型分析。
  • 在推荐的模型之间进行切换。
  • 更改正在查看的时间窗口或 ID。
  • 通过设置警报持续监视传入数据是否存在异常。

Eventhouse 每个 Eventhouse 最多支持 8 个并发查询。 如果超出此限制，系统将重试查询，但其他查询不会排队，并且可能会以无提示方式失败。 用于提高清晰度的错误消息正在开发中。

为了避免问题：

  • 允许每个查询在启动新查询之前完成。
  • 如果性能似乎缓慢或无响应，请减少并发查询数。

有关详细信息，请参阅 Python 插件。

启用 Python 插件的等待时间

启动数据分析时，异常检测器会自动在 Eventhouse 上启用 Python 插件。 启用插件最多可能需要一小时。 启用后，分析将自动开始。

有关详细信息，请参阅 Real-Time Intelligence 中的“启用 Python 插件”。

后续步骤

配置异常情况检测后，请浏览相关功能：

相关内容