当管道启动并执行活动时,将发生管道运行事件。
可以通过三种方式启动管道运行:
按需运行:在管道编辑器中选择 “运行 ”以触发即时运行。 在管道启动之前,您需要保存所有更改。
计划运行:根据时间和频率设置自动运行。 创建计划时,可以指定开始和结束日期、频率和时区。
基于事件的运行:当发生特定事件时,使用事件触发器启动管道,例如到达数据湖的新文件或数据库中的更改。
按需管道运行
若要手动触发管道运行,请选择“开始”选项卡顶部横幅中的“运行”。
还可以在“开始”选项卡的顶部横幅中选择“计划”,然后选择“立即运行”以触发立即运行。
在触发管道运行之前,系统会提示保存更改。 选择“保存并运行”以继续。
保存更改后,管道将运行。 可以在画布底部的“输出”选项卡中查看运行的进度。
一个运行中某个活动完成后,活动的一角将显示一个绿色复选标记。
执行整个管道并且输出状态更新为“成功”后,就表示管道运行成功!
计划管道运行
计划管道运行时,可以为每个管道设置多个特定的计划,以便在需要数据时准备好并可用。
选择“ 计划”,在“ 开始 ”选项卡的顶部横幅中找到,然后选择“ 添加计划 ”以查看选项。 默认情况下,管道未按计划设置。
在“计划配置”页上,可以指定计划频率、开始和结束日期和时间以及时区。
提示
计划管道时,必须同时设置开始日期和结束日期。 没有用于开放式日程表的选项。 若要保持流水线长期运行,请将结束日期设置为遥远的将来(例如 2099/01/01 12:00 AM)。 可以随时更新或停止计划。
配置后,选择“ 保存 ”以设置计划。
保存第一个计划后,可以通过再次选择 “添加计划 ”来为单个管道添加最多 20 个计划。 每个计划可以具有不同的频率和开始和结束时间。
管理计划任务的运行
可以通过选择“开始”选项卡顶部横幅中的“计划”来管理计划的运行。在此处,可以使用切换开关编辑现有计划,或者启用或禁用计划。
若要删除计划,请选择要删除的计划旁边的 “编辑” 图标(铅笔)。 在“编辑计划”窗格中,选择窗格底部的 “删除计划 ”。
基于事件的管道运行
事件触发器可以在特定事件发生时启动管道,例如当文件到达存储时或被删除时。 您可以通过文件事件、作业事件和工作区事件来触发管道。 如果您从 Azure Data Factory 迁移,您会发现存储事件是相似的。
触发器使用 Fabric 平台功能,包括事件流和数据激活器警报。 可以从管道画布或直接在数据激活器体验中创建触发器。
设置存储事件触发器
在管道画布顶部的“主页”功能区上选择“触发器”按钮。
“ 设置警报 ”面板随即打开。 在这里,可以使用数据激活器警报服务为触发器定义源事件。
选择要侦听的事件类型。 为 OneLake 文件事件、Azure Blob 事件等选择
OneLake事件。
选择 “源 ”,然后选择 事件 以选择要监视的存储事件。
选择 Azure 订阅和 Blob 存储帐户。
在 Fabric 工作区中创建一个新的事件流对象。 在 “流详细信息”下选择正确的工作区。
选择“下一步”。
选择事件类型。 你将看到文件创建和文件删除以外的许多事件选项。
通过使用 “主题” 字段指定文件夹名称、文件名、文件类型和容器,筛选事件以匹配特定的文件和文件夹。
注释
文件名和文件夹名称是 “主题” 字段的一部分。
事件具有此顶级数据:
资产 类型 Description Example 源 字符串 事件源的完整资源路径。 此字段不可写入。 事件网格提供此值。 /subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account 主题 字符串 事件主题的发布者定义路径。 /blobServices/default/containers/my-file-system/blobs/new-file.txt 类型 字符串 此事件源的已注册事件类型之一。 Microsoft.Storage.BlobCreated time 字符串 根据提供程序的 UTC 时间生成事件的时间。 2017-06-26T18:41:00.9584103Z id 字符串 事件的唯一标识符。 00000000-0000-0000-0000-000000000000 数据 对象 Blob 存储事件数据。 {{数据对象}} specversion 字符串 CloudEvents 架构规范版本。 1.0 在触发器配置面板中,选择一个工作区以存储触发器项、管道名称、管道操作,并将触发器命名为 Reflex 项。
选择 “创建” 以创建触发器。 触发器在管道上处于活动状态,并响应定义的存储事件。
查看和管理触发器
若要查看触发器,请转到工作区列表,并在 Fabric 浏览器中按名称查找 Reflex 对象。
对象类型为 Reflex。 选择触发器以打开 Reflex 对象进行查看和编辑。
若要查看属于管道的触发器,请在管道菜单中使用触发器>视图。
在表达式中使用触发器文件和文件夹名称
可以使用内置触发器参数从管道中的存储事件使用文件名和文件夹路径。 数据工厂在收到存储事件时设置这些参数。
在管道中的表达式生成器上选择触发器参数选项卡,数据工厂会自动分析文件名和文件夹名称,从而将它们动态添加到管道表达式。
这些内置参数来自文件事件的 “主题 ”和 “主题” 字段,并且会自动为管道逻辑创建。
@pipeline()?.TriggerEvent?.FileName
请注意pipeline()对象引用后的?。 这将处理管道表达式语言中的 NULL 值。 在测试使用触发器参数的管道时,需要使用此语法,因为在手动测试期间,未设置文件和文件夹名称参数,并返回 NULL 值。 从文件事件触发管道时,你将看到在这些字段中填写的文件名和文件夹名称。