结合了 CI/CD 和 Git 集成的数据流 Gen2

数据流 Gen2 支持持续集成/持续部署(CI/CD)和 Git 集成。 可以在连接到 Fabric 工作区的 Git 存储库中创建、编辑和管理数据流。 使用部署管道自动化地在不同工作区间迁移数据流。 本文介绍如何在 Fabric 数据工厂中使用这些功能。

Features

使用 CI/CD 和 Git 集成的数据流 Gen2 提供了一系列功能来简化工作流。 以下是您可以使用这些功能执行的操作:

  • 将 Git 与数据流 Gen2 集成。
  • 使用部署管道在工作区之间自动执行数据流部署。
  • 使用 Fabric 工具刷新和编辑数据流 Gen2 设置。
  • 直接在工作区文件夹中创建数据流 Gen2。
  • 使用公共 API(预览版)通过 CI/CD 和 Git 集成管理数据流 Gen2。

先决条件

在开始之前,请确保:

使用 CI/CD 和 Git 集成创建数据流 Gen2

使用 CI/CD 和 Git 集成创建数据流 Gen2 可以有效地在连接的 Git 存储库中管理数据流。 请按照以下步骤开始操作:

  1. 在 Fabric 工作区中,选择“ 创建新项”,然后选择 “数据流 Gen2”。

    “新建项”窗口的屏幕截图,其中突出显示了“数据流 Gen2”项。

  2. 为数据流命名,启用 Git 集成,然后选择“ 创建”。

    “新建 Dataflow Gen2”窗口的屏幕截图,其中显示已为数据流命名并突出显示和选中了 Git 集成。

    数据流将在创作画布中打开,你可以在其中开始创建数据流。

  3. 完成后,选择“ 保存并运行”。

  4. 发布后,数据流会显示“未提交”状态。

    保存后的数据流 Gen2 的屏幕截图,其中显示状态为未提交。

  5. 若要将数据流提交到 Git,请选择右上角的源代码管理图标。

    “源代码管理”按钮的屏幕截图。

  6. 选择要提交的更改,然后选择 “提交”。

    “源代码管理”窗口的屏幕截图,其中显示选中了数据流并突出显示了“提交”按钮。

数据流 Gen2 已准备就绪,并已集成 CI/CD 和 Git。 有关最佳做法,请参阅 方案 2 - 使用另一个工作区教程进行开发

刷新数据流 Gen2

刷新 Dataflow Gen2 可确保您的数据保持最新。 可以 手动刷新设置计划 来自动执行该过程。

立即刷新

  1. 在 Fabric 工作区中,选择数据流旁边的省略号。

  2. 选择“ 立即刷新”。

    更多选项下拉菜单的屏幕截图,其中突出显示了“立即刷新”选项。

计划一次刷新

  1. 在 Fabric 工作区中,选择数据流旁边的省略号。

  2. 选择“计划”

    “更多选项”下拉菜单的屏幕截图,其中突出显示了“计划”选项。

  3. 在计划页上,设置刷新频率、开始时间和结束时间。 应用更改。

    数据流设置屏幕的屏幕截图,其中显示选中了“计划”选项卡并突出显示了“刷新”按钮。

  4. 若要立即刷新,请选择“ 刷新”。

查看刷新历史记录和设置

了解刷新历史记录和管理设置有助于监视和控制数据流 Gen2。 下面介绍了如何访问这些选项。

若要查看刷新历史记录,请选择下拉菜单中的“最近运行”选项卡,或转到监视中心并选择数据流。

通过选择数据流旁边的省略号并选择 “设置”来访问数据流设置。

保存取代发布

使用 CI/CD 和 Git 集成的情况下,在 Dataflow Gen2 中的保存操作会自动发布更改,从而简化工作流。

保存数据流 Gen2 会自动发布更改。 如果要放弃更改,请在关闭编辑器时选择 “放弃更改 ”。

验证

保存时,系统会检查数据流是否有效。 否则,工作区视图中会显示错误。 验证运行“零行”评估,该评估检查查询模式而不返回任何行。 如果在 10 分钟内无法确定查询的架构,则评估会失败。 如果验证失败,系统将上次保存的版本用于刷新。

及时发布

实时发布可确保你的更改在需要时可用。 本部分介绍系统如何在刷新和其他操作期间处理发布。

数据流 Gen2 使用自动的“实时”发布模型。 保存数据流时,更改将立即可用于下一次刷新或执行。 从 Git 同步更改或使用部署管道会在工作区中保存更新的数据流。 下一次刷新将尝试发布最新保存的版本。 如果发布失败,则错误将显示在刷新历史记录中。

在某些情况下,后端会在刷新期间自动重新发布数据流,以确保与更新兼容。

API 还可以在不发布或手动触发发布的情况下刷新数据流。

限制和已知问题

虽然具有 CI/CD 和 Git 集成的数据流 Gen2 功能强大,但需要注意一些限制和已知问题。 以下是你需要了解的内容。

  • 使用 CI/CD 和 Git 支持删除最后一个数据流 Gen2 时,暂存项将在工作区中可见,并可以安全地由用户删除。
  • 工作区视图不显示以下内容:正在进行的刷新指示、上次刷新、下一次刷新和刷新失败指示。
  • 当数据流无法刷新时,我们不支持自动发送失败通知。 一种解决办法是利用管道的编排功能。
  • 创建分支并切换到另一个工作区时,Dataflow Gen2 刷新可能会失败,并显示一条消息,指出无法找到暂存的湖屋。 发生这种情况时,请在工作区中新建支持 CI/CD 和 Git 的 Dataflow Gen2,以触发暂存湖屋的创建。 之后,工作区中的所有其他数据流都应重新开始运行。
  • 将 GIT 中的更改同步到工作区或使用部署管道时,需要打开新的或更新的数据流,并使用编辑器手动保存更改。 这会在后台触发发布操作,从而允许在刷新数据流期间使用更改。 还可以使用 按需数据流发布作业 API 接口调用 来自动执行发布操作。
  • 用于数据流的 Power Automate 连接器不适用于具有 CI/CD 和 Git 支持的新数据流 Gen2。