数据流 Gen2 支持持续集成/持续部署(CI/CD)和 Git 集成。 可以在连接到 Fabric 工作区的 Git 存储库中创建、编辑和管理数据流。 使用部署管道自动化地在不同工作区间迁移数据流。 本文介绍如何在 Fabric 数据工厂中使用这些功能。
Features
使用 CI/CD 和 Git 集成的数据流 Gen2 提供了一系列功能来简化工作流。 以下是您可以使用这些功能执行的操作:
- 将 Git 与数据流 Gen2 集成。
- 使用部署管道在工作区之间自动执行数据流部署。
- 使用 Fabric 工具刷新和编辑数据流 Gen2 设置。
- 直接在工作区文件夹中创建数据流 Gen2。
- 使用公共 API(预览版)通过 CI/CD 和 Git 集成管理数据流 Gen2。
先决条件
在开始之前,请确保:
- 拥有含有效订阅的 Microsoft Fabric 租户帐户。 免费创建帐户。
- 使用启用了 Microsoft Fabric 的工作区。
- 为工作区启用 Git 集成。 了解如何启用 Git 集成。
使用 CI/CD 和 Git 集成创建数据流 Gen2
使用 CI/CD 和 Git 集成创建数据流 Gen2 可以有效地在连接的 Git 存储库中管理数据流。 请按照以下步骤开始操作:
在 Fabric 工作区中,选择“ 创建新项”,然后选择 “数据流 Gen2”。
为数据流命名,启用 Git 集成,然后选择“ 创建”。
数据流将在创作画布中打开,你可以在其中开始创建数据流。
完成后,选择“ 保存并运行”。
发布后,数据流会显示“未提交”状态。
若要将数据流提交到 Git,请选择右上角的源代码管理图标。
选择要提交的更改,然后选择 “提交”。
数据流 Gen2 已准备就绪,并已集成 CI/CD 和 Git。 有关最佳做法,请参阅 方案 2 - 使用另一个工作区教程进行开发 。
刷新数据流 Gen2
刷新 Dataflow Gen2 可确保您的数据保持最新。 可以 手动刷新 或 设置计划 来自动执行该过程。
立即刷新
在 Fabric 工作区中,选择数据流旁边的省略号。
选择“ 立即刷新”。
计划一次刷新
在 Fabric 工作区中,选择数据流旁边的省略号。
选择“计划”。
在计划页上,设置刷新频率、开始时间和结束时间。 应用更改。
若要立即刷新,请选择“ 刷新”。
查看刷新历史记录和设置
了解刷新历史记录和管理设置有助于监视和控制数据流 Gen2。 下面介绍了如何访问这些选项。
若要查看刷新历史记录,请选择下拉菜单中的“最近运行”选项卡,或转到监视中心并选择数据流。
通过选择数据流旁边的省略号并选择 “设置”来访问数据流设置。
保存取代发布
使用 CI/CD 和 Git 集成的情况下,在 Dataflow Gen2 中的保存操作会自动发布更改,从而简化工作流。
保存数据流 Gen2 会自动发布更改。 如果要放弃更改,请在关闭编辑器时选择 “放弃更改 ”。
验证
保存时,系统会检查数据流是否有效。 否则,工作区视图中会显示错误。 验证运行“零行”评估,该评估检查查询模式而不返回任何行。 如果在 10 分钟内无法确定查询的架构,则评估会失败。 如果验证失败,系统将上次保存的版本用于刷新。
及时发布
实时发布可确保你的更改在需要时可用。 本部分介绍系统如何在刷新和其他操作期间处理发布。
数据流 Gen2 使用自动的“实时”发布模型。 保存数据流时,更改将立即可用于下一次刷新或执行。 从 Git 同步更改或使用部署管道会在工作区中保存更新的数据流。 下一次刷新将尝试发布最新保存的版本。 如果发布失败,则错误将显示在刷新历史记录中。
在某些情况下,后端会在刷新期间自动重新发布数据流,以确保与更新兼容。
API 还可以在不发布或手动触发发布的情况下刷新数据流。
限制和已知问题
虽然具有 CI/CD 和 Git 集成的数据流 Gen2 功能强大,但需要注意一些限制和已知问题。 以下是你需要了解的内容。
- 使用 CI/CD 和 Git 支持删除最后一个数据流 Gen2 时,暂存项将在工作区中可见,并可以安全地由用户删除。
- 工作区视图不显示以下内容:正在进行的刷新指示、上次刷新、下一次刷新和刷新失败指示。
- 当数据流无法刷新时,我们不支持自动发送失败通知。 一种解决办法是利用管道的编排功能。
- 创建分支并切换到另一个工作区时,Dataflow Gen2 刷新可能会失败,并显示一条消息,指出无法找到暂存的湖屋。 发生这种情况时,请在工作区中新建支持 CI/CD 和 Git 的 Dataflow Gen2,以触发暂存湖屋的创建。 之后,工作区中的所有其他数据流都应重新开始运行。
- 将 GIT 中的更改同步到工作区或使用部署管道时,需要打开新的或更新的数据流,并使用编辑器手动保存更改。 这会在后台触发发布操作,从而允许在刷新数据流期间使用更改。 还可以使用 按需数据流发布作业 API 接口调用 来自动执行发布操作。
- 用于数据流的 Power Automate 连接器不适用于具有 CI/CD 和 Git 支持的新数据流 Gen2。