DataPipeline 定义

本文详细介绍了数据管道项的定义结构。

定义部件

定义部件路径 类型 必选 Description
pipeline-content.json ContentDetails (JSON) 描述有效负载的数据管道内容
.platform PlatformDetails (JSON) 描述项的常见详细信息

ContentDetails

描述有效负载的内容

Name 类型 Description
属性 DataPipelineProperties DataPipeline 属性。 请参阅 DataPipelineProperties 内容的说明

DataPipelineProperties 内容的说明

描述用于构造 DataPipelineProperties 的字段

Name 类型 必选 Description
activities DataPipelineActivity[] 活动列表。
描述 String 数据管道的说明

DataPipelineActivity 内容的说明

Name 类型 必选 Description
姓名 String 活动的名称
类型 DataPipelineActivityType 活动的类型
状态 ActivityState 活动的状态。 默认设置为<
onInactiveMarkAs OnInactiveMarkAs 当状态设置为“非活动”时活动的状态结果。 如果未设置状态,则默认为 Succeeded 状态。
dependsOn DependencyActivity[] 活动所依赖的活动或条件的数组。 请参阅 DependencyActivity 内容的说明
type属性 活动属性 活动的类型特定属性。 结构因活动类型而异。 有关详细信息,请参阅 活动属性
政策 ActivityPolicy 活动的执行策略。 有关支持此属性的类型,请参阅 管道活动列表
外部引用 外部参考 有关支持此属性的类型,请参阅 管道活动列表

ActivityState 值

Name 类型 Description
活跃 String 默认活动状态。
无效 String 将活动标记为非活动状态,并跳过其执行。

OnInactiveMarkAs 值

Name 类型 Description
成功 String 默认值。
已失败 String 始终将非活动标记为失败。
Skipped String 跳过非活动活动。

DependencyActivity 内容的说明

Name 类型 必选 Description
活动 String 活动的名称
dependencyConditions 条件 依赖项条件列表。

条件内容的说明

Name 类型
成功 String
已失败 String
Skipped String
完成 String

活动策略

活动的执行策略。

Name 类型 必选 Description
timeout 字符串(或带有 resultType 字符串的表达式) 指定活动运行的超时。 默认超时为 7 天。
重试 integer (或 expressionType 整数的表达式) 最大普通重试尝试次数。 默认为 0。 最小值:0。
retryIntervalInSeconds 整数 每次重试尝试(以秒为单位)之间的间隔。 默认值为 30 秒。最小值:30,最大值:86400。
secureInput 布尔 设置为 true 时,活动输入被视为安全,不会记录到监视中。
secureOutput 布尔 设置为 true 时,活动输出被视为安全,不会记录到监视中。

外部引用

外部对连接的引用。

Name 类型 必选 Description
连接 字符串 (Guid) 引用的连接的连接 ID。

DataPipelineActivityTypes

Name Description
Copy 将数据从源复制到目标的复制活动
AzureHDInsight 在 Azure HDInsight 群集上运行各种程序(Hive、Pig、MapReduce、流式处理、Spark)
SparkJobDefinition 执行 Spark 作业定义
InvokeCopyJob 调用复制作业活动
ExecuteSSISPackage 执行 SQL Server Integration Services (SSIS) 包
SqlServerStoredProcedure 在 SQL Server 中执行存储过程
InvokePipeline 调用另一个管道(已弃用,使用 ExecutePipeline)
ExecutePipeline 将另一个管道作为嵌套活动执行
删除 从数据源中删除数据
KustoQueryLanguage 在 Azure 数据资源管理器上执行 KQL 查询
查找 从数据源中检索数据,以便在后续活动中使用
WebActivity 向外部 Web 服务发出 HTTP 请求
GetMetadata 从数据源检索元数据信息
IfCondition 基于条件表达式执行活动
Switch 根据 switch 表达式执行不同的活动
ForEach 循环访问集合并为每个项执行活动
AzureMLExecutePipeline 执行 Azure 机器学习作(批处理执行、更新资源、执行管道)
DataLakeAnalyticsScope 在 Azure Data Lake Analytics 上运行作用域脚本
Wait 暂停指定持续时间的管道执行
Fail 显式失败管道并显示指定的错误消息
直到 重复活动,直到满足条件
滤波器 根据提供的条件筛选数组
TridentNotebook 执行 Trident 笔记本
DatabricksNotebook 执行 Databricks作(笔记本、Spark JAR、Spark Python)
SetVariable 设置现有变量的值
AppendVariable 将值追加到现有数组变量
AzureFunction 执行 Azure 函数
自定义 Azure Batch - 使用用户定义的命令执行自定义活动
WebHook 调用 Webhook 并等待回调
RefreshDataFlow 刷新数据流
脚本 执行自定义脚本(PowerShell、Python 等)
Office365Email 使用 Office 365 发送电子邮件
电子邮件 发送电子邮件通知
MicrosoftTeams 向 Microsoft Teams 发送消息
Teams 向 Teams 发送消息
PBISemanticModelRefresh 刷新 Power BI 语义模型

活动属性

typeProperties每个活动中的字段包含特定于类型的配置,这些配置因活动类型而异。 本部分介绍每个活动类型所需的属性。

Wait 活动属性

使用 type: "Wait".. 的活动的属性

Name 类型 必选 Description
type属性 WaitActivityTypeProperties 等待活动的属性。
政策 ActivityPolicy 活动的执行策略。

Wait 活动类型属性

Name 类型 必选 Description
waitTimeInSeconds 整数 继续执行下一个活动之前要等待的秒数

复制活动属性

使用 type: "Copy".. 的活动的属性

Name 类型 必选 Description
type属性 CopyActivityTypeProperties 复制活动的属性
政策 ActivityPolicy 活动的执行策略。

复制活动类型属性

Name 类型 必选 Description
CopySource 复制作的源设置
接收器 CopySink 复制作的接收器设置
目标 CopySink 复制活动目标
转换器 物体 复制活动翻译器。 如果未指定,则使用表格翻译
enableStaging 布尔 指定是否通过临时暂存复制数据。 默认值为 false
stagingSettings StagingSettings 指定 EnableStaging 为 true 时的临时暂存设置
脚本线 字符串数组[] 数据流脚本行,在复制作为数据流运行时使用
访客 String ADMS 遥测中使用的“调用方”的名称
linkedIntegrationRuntime 物体 对已装载数据工厂中链接集成运行时的引用
parallelCopies 整数 在源或接收器上打开的最大并发会话数,以避免重载数据存储。 最小值:0
dataIntegrationUnits 整数 可用于执行此数据移动的数据集成单元的最大数量。 最小值:0
throughputOptimizationUnits 整数 可用于执行此数据移动的最大吞吐量优化单位数。 最小值:0
启用跳过不兼容行 布尔 是否跳过不兼容行。 默认值为 false
重定向不兼容的行设置 物体 当 EnableSkipIncompatibleRow 为 true 时重定向不兼容行设置
logStorageSettings 物体 启用会话日志时,客户需要提供的日志存储设置
logSettings 物体 启用日志时,客户需要提供的日志设置
preserveRules 字符串数组[] 保留规则。
保护区 字符串数组[] 保留规则。
resumeId String 用于启用复制可恢复性的 resumeId
validateDataConsistency 布尔 是否启用数据一致性验证
skipErrorFile 物体 指定数据一致性的容错

CopySource

Name 类型 必选 Description
类型 String 复制源类型
sourceRetryCount 整数 源重试计数。
sourceRetryWait String 源重试等待。
maxConcurrentConnections 整数 源数据存储的最大并发连接计数。
disableMetricsCollection 布尔 如果为 true,则禁用数据存储指标集合。 默认值为 false。
datasetSettings DatasetSettings 删除活动数据集设置
checkpointProperties 物体 检查点属性
genericChangeDataProperties 物体 通用变更数据捕获属性

CopySink

Name 类型 必选 Description
类型 String 复制接收器类型。
writeBatchSize (写入批量大小) 整数 写入批大小,最小值:0。
writeBatchTimeout String 写入批处理超时。
sinkRetryCount 整数 接收器重试计数。
sinkRetryWait String 接收器重试等待。
maxConcurrentConnections 整数 接收器数据存储的最大并发连接计数。
disableMetricsCollection 布尔 如果为 true,则禁用数据存储指标集合。 默认值为 false。
datasetSettings DatasetSettings 数据集设置

CopyTranslator

Name 类型 必选 Description
类型 String 翻译器类型(例如,“TabularTranslator”)
typeConversion 布尔 是否为复制活动启用高级类型转换属性。
typeConversionSettings TypeConversionSettings 类型转换设置。
columnMappings String 列映射。
schemaMapping String 在表格数据和分层数据之间映射的架构映射。
mappings String 具有逻辑类型的列映射。
columnFlatteningSettings 物体 列平展设置。

TypeConversionSettings

Name 类型 必选 Description
allowDataTruncation 布尔 是否允许在转换数据时截断数据。
treatBooleanAsNumber 布尔 是否将布尔值视为数字。
dateTimeFormat String DateTime 值的格式。
dateTimeOffsetFormat String DateTimeOffset 值的格式。
timeSpanFormat String TimeSpan 值的格式。
区域性 String 用于将数据从/转换为字符串的区域性。

StagingSettings

Name 类型 必选 Description
enableCompression 布尔 指定是否通过临时暂存复制数据时使用压缩。
路径 String 暂存数据的路径
外部引用 ExternalReferences 外部对连接的引用。

DatasetSettings

Name 类型 必选 Description
类型 String 数据集的类型
描述 String 数据集说明
结构 物体 定义数据集结构的列。 类型:array(或包含 resultType 数组的表达式),itemType:DatasetDataElement
架构 物体 定义数据集的物理类型架构的列。 类型:数组(或带有 resultType 数组的表达式),itemType:DatasetSchemaDataElement
copyJobProperties 物体 CopyJob 系统管道数据集中的其他属性
connectionProperties 物体 connectionProperties 设置选项。 类型:键值对(值应为字符串类型)(或 expression with resultType 对象)
外部引用 ExternalReferences 外部对连接的引用
linkedServiceName 物体 链接服务参考
linkedService 物体 关联服务
connectionSettings 物体 连接设置
parameters 物体 数据集的参数
注释 Array 可用于描述数据集的标记列表
文件夹 物体 此数据集所在的文件夹。 如果未指定,数据集将显示在根级别

查找活动属性

使用 type: "Lookup".. 的活动的属性

Name 类型 必选 Description
type属性 LookupActivityTypeProperties 查找活动的属性

查找活动类型属性

Name 类型 必选 Description
CopySource 查找作的源设置
datasetSettings DatasetSettings 查找的数据集引用
firstRowOnly 布尔 是否仅返回第一行(默认值:true)

Web 活动属性

使用 type: "WebActivity".. 的活动的属性

Name 类型 必选 Description
type属性 WebActivityTypeProperties 查找活动的属性
外部引用 ExternalReferences 对所使用的连接的引用。

Web 活动类型属性

Name 类型 必选 Description
relativeUrl String 要调用的 URL
方法 String HTTP 方法(GET、POST、PUT、DELETE)
标题 String HTTP 标头
身体 String 请求正文(对于 POST/PUT 请求)
disableCertValidation 布尔 设置为 true 时,将禁用证书验证。
httpRequestTimeout String 请求超时。 格式采用时间跨度(hh:mm:ss)
turnOffAsync 布尔 设置为 true 时,停止在响应标头中给定的 http 位置上调用 HTTP GET。

If Condition 活动属性

使用 type: "IfCondition".. 的活动的属性

Name 类型 必选 Description
type属性 IfConditionActivityTypeProperties if 条件活动的属性

如果条件活动类型属性

Name 类型 必选 Description
表达式 表达式 要计算的布尔表达式
ifTrueActivities DataPipelineActivity[] 如果条件为 true,则要执行的活动
ifFalseActivities DataPipelineActivity[] 如果条件为 false,则执行的活动

Expression

Name 类型 必选 Description
类型 String 表达式类型(例如,“Expression”)
value String 表达式值

ForEach 活动属性

使用 type: "ForEach".. 的活动的属性

Name 类型 必选 Description
type属性 ForEachActivityTypeProperties foreach 活动的属性

ForEach 活动类型属性

Name 类型 必选 Description
items 表达式 返回要循环访问的数组的表达式
activities DataPipelineActivity[] 要为每个项执行的活动
isSequential 布尔 是否按顺序执行迭代(默认值:false)
batchCount 整数 并发迭代数(when isSequential 为 false)

执行管道活动属性

使用 type: "ExecutePipeline".. 的活动的属性

Name 类型 必选 Description
type属性 ExecutePipelineActivityTypeProperties 执行管道活动的属性
政策 ActivityPolicy 活动策略。

执行管道活动类型属性

Name 类型 必选 Description
管道 PipelineReference 对要执行的管道的引用
parameters 对象 要传递给子管道的参数
waitOnCompletion 布尔 是否等待子管道完成(默认值:true)
PipelineReference
Name 类型 必选 Description
referenceName String 引用的管道的名称
类型 String 引用类型(通常为“PipelineReference”)

失败活动属性

使用 type: "Fail".. 的活动的属性

Name 类型 必选 Description
type属性 FailActivityTypeProperties 失败活动的属性

失败活动类型属性

Name 类型 必选 Description
消息 String Fail 活动中出现的错误消息。 它可以是运行时计算为非空/空字符串的动态内容。
错误代码 String 对 Fail 活动的错误类型进行分类的错误代码。 它可以是运行时计算为非空/空字符串的动态内容。

筛选活动属性

使用 type: "Filter".. 的活动的属性

Name 类型 必选 Description
type属性 FilterActivityTypeProperties 筛选器活动的属性

筛选活动类型属性

Name 类型 必选 Description
items 表达式 应对其应用筛选器的输入数组。
条件 表达式 要用于筛选输入的条件。

直到活动属性

使用 type: "Until".. 的活动的属性

Name 类型 必选 Description
type属性 UntilActivityTypeProperties until 活动的属性

直到活动类型属性

Name 类型 必选 Description
表达式 表达式 计算结果为布尔值的表达式。 循环将继续,直到此表达式的计算结果为 true。
activities DataPipelineActivity[] 要执行的活动列表。
timeout 字符串(或带有 resultType 字符串的表达式) 指定活动运行的超时。 如果未指定任何值,则采用 TimeSpan.FromDays(7)的值(默认值为 1 周)。

切换活动属性

使用 type: "Switch".. 的活动的属性

Name 类型 必选 Description
type属性 SwitchActivityTypeProperties 切换活动的属性

切换活动类型属性

Name 类型 必选 Description
表达式 计算结果为字符串或整数的表达式。 这用于确定将在执行的情况下的活动块。
案例 SwitchCase[] 对应于“on”属性的预期值的事例列表。 这是一个可选属性,如果未提供,活动将执行 defaultActivities 中提供的活动。
defaultActivities DataPipelineActivity[] 如果未满足事例条件,则要执行的活动列表。 这是一个可选属性,如果未提供,活动将退出而不执行任何操作。

SwitchCase

Name 类型 必选 Description
value String 用于事例选择的表达式结果的预期值。
activities DataPipelineActivity[] 要针对匹配事例执行的活动列表。

GetMetadata 活动属性

使用 type: "GetMetadata".. 的活动的属性

Name 类型 必选 Description
type属性 GetMetadataActivityTypeProperties getmetadata 活动的属性

GetMetadata 活动类型属性

Name 类型 必选 Description
datasetSettings 物体 GetMetadata 活动数据集设置。
fieldList 字符串数组[] 要从数据集中获取的元数据字段。 类型:字符串(或带有 resultType 字符串的表达式)。
storeSettings 物体 GetMetadata 活动存储设置。
formatSettings 物体 GetMetadata 活动格式设置。

SetVariable 活动属性

使用 type: "SetVariable".. 的活动的属性

Name 类型 必选 Description
type属性 SetVariableActivityTypeProperties setvariable 活动的属性
政策 SecureInputOutputPolicy 设置变量活动的执行策略。

SetVariable 活动类型属性

Name 类型 必选 Description
variableName String 需要设置其值的变量的名称。
value 物体 要设置的值。 可以是静态值或表达式。
setSystemVariable 布尔 如果设置为 true,则设置管道运行返回值。

SecureInputOutputPolicy

Name 类型 必选 Description
secureInput 布尔 设置为 true 时,活动输入被视为安全,不会记录到监视中。
secureOutput 物体 设置为 true 时,活动输出被视为安全,不会记录到监视中。

AppendVariable 活动属性

使用 type: "AppendVariable".. 的活动的属性

Name 类型 必选 Description
type属性 AppendVariableActivityTypeProperties 可追加活动的属性

AppendVariable 活动类型属性

Name 类型 必选 Description
variableName String 需要追加其值的变量的名称。
value 物体 要追加的值。 可以是静态值或表达式。

删除活动属性

使用 type: "Delete".. 的活动的属性

Name 类型 必选 Description
type属性 DeleteActivityTypeProperties 删除活动的属性

删除活动类型属性

Name 类型 必选 Description
datasetSettings 物体 删除活动数据集设置。
recursive 布尔 如果为 true,则以递归方式删除当前文件夹路径下的文件或子文件夹。 默认值为 false。
maxConcurrentConnections 整数 同时连接数据源的最大并发连接数。 最小值:1。
enableLogging 布尔 是否记录删除活动执行的详细日志。 默认值为 false。
logStorageSettings 物体 当 enableLogging 为 true 时,客户需要提供的日志存储设置。
storeSettings 物体 删除活动存储设置。

AzureHDInsight 活动属性

使用 type: "AzureHDInsight".. 的活动的属性

Name 类型 必选 Description
type属性 AzureHDInsightActivityTypeProperties AzureHDInsight 活动的属性
政策 ActivityPolicy 活动的执行策略。
外部引用 ExternalReferences 外部对连接的引用。

AzureHDInsight 活动类型属性

Name 类型 必选 Description
hdiActivityType String 指定五种 HDInsight 活动类型之一的子类型(Hive、Pig、MapReduce、流式处理、Spark)。
arguments 字符串数组[] 用户指定的 HDInsight 活动参数。
getDebugInfo String 调试信息选项。 有效值:“None”、“Always”、“Failure”
scriptSettings HDInsightScriptSettings HDInsight 脚本设置
defines 物体 允许用户指定作业请求的定义。 类型:键值对(或 expression with resultType 对象)
变量 Object[] 变量命名空间下的用户指定参数。 类型:字符串数组(或 resultType 数组的表达式)
queryTimeout 整数 查询超时值(以分钟为单位)。 当 HDInsight 群集使用 ESP(企业安全性套餐)时有效

HDInsightScriptSettings

Name 类型 必选 Description
scriptPath 物体 脚本路径。 类型:字符串(或带有 resultType 字符串的表达式)
外部引用 物体 外部对连接的引用

SparkJobDefinition 活动属性

使用 type: "SparkJobDefinition".. 的活动的属性

Name 类型 必选 Description
type属性 SparkJobDefinitionActivityTypeProperties SparkJobDefinition 活动的属性
政策 ActivityPolicy 活动的执行策略。

SparkJobDefinition 活动类型属性

Name 类型 必选 Description
sparkJobDefinitionId String Spark 作业定义 ID。
workspaceId String 工作区 ID。
executableFile String 主定义文件。
mainClass String 如果为 executableFile 设置了 jar 文件,则为主类名称。
additionalLibraryUris String 引用文件的 ADLS gen2 路径。
commandLineArguments 命令行参数 String 命令行参数。
defaultLakehouse FabricArtifact 应为默认 Lakehouse 上下文的 Lakehouse 引用
additionalLakehouses String 其他 Lakehouse 参考列表。
environmentId String 应用于自定义执行的环境项目,环境应来自与 SJD 项目相同的工作区。

FabricArtifact

Name 类型 必选 Description
workspaceId 物体 工作区 ID。类型:字符串(或带有 resultType 字符串的表达式)
artifactId 物体 项目 ID。类型:字符串(或带有 resultType 字符串的表达式)

脚本活动属性

使用 type: "Script".. 的活动的属性

Name 类型 必选 Description
type属性 ScriptActivityTypeProperties 脚本活动的属性
政策 ActivityPolicy 活动的执行策略。

脚本活动类型属性

Name 类型 必选 Description
数据库 物体 将对其执行脚本的数据库
脚本 物体 脚本块数组
logSettings 物体 脚本活动的日志设置
scriptBlockExecutionTimeout String ScriptBlock 执行超时
connectionVersion String 连接版本

WebHook 活动属性

使用 type: "WebHook".. 的活动的属性

Name 类型 必选 Description
type属性 WebHookActivityTypeProperties WebHook 活动的属性
政策 ActivityPolicy 活动的执行策略。
外部引用 ExternalReferences 外部对连接的引用。

WebHook 活动类型属性

Name 类型 必选 Description
方法 String 终结点的 Rest API 方法
relativeUrl String 终结点的相对 URL
timeout String Webhook 应调用回的超时。 如果没有指定值,则默认为 10 分钟
标题 String 将发送到请求的用户指定的标头
身体 String 终结点的请求正文
reportStatusOnCallBack 布尔 CallBack 报告状态
disableCertValidation 布尔 设置为 true 时,它会忽略服务器端的任何 TLS/SSL 错误。 默认值:false

AzureFunction 活动属性

使用 type: "AzureFunction".. 的活动的属性

Name 类型 必选 Description
type属性 AzureFunctionActivityTypeProperties AzureFunction 活动的属性
政策 ActivityPolicy 活动的执行策略。
外部引用 ExternalReferences 对 Azure 函数连接的引用。

AzureFunction 活动类型属性

Name 类型 必选 Description
方法 物体 终结点的 Rest API 方法
functionName String Azure 函数活动将调用的函数的名称
标题 String 将发送到请求的用户指定的标头
身体 String 终结点的请求正文
functionSetId 字符串 (Guid) 函数集 ID
workspaceId 字符串 (Guid) 工作区 ID
operationType String 活动的作类型
parameters String Azure 函数活动的参数

自定义活动属性

使用 type: "Custom".. 的活动的属性

Name 类型 必选 Description
type属性 CustomActivityTypeProperties 自定义活动的属性
暂存 CustomActivityStagingProperties 自定义活动暂存属性
外部引用 ExternalReferences 外部对连接的引用

自定义活动类型属性

Name 类型 必选 Description
指令 String 自定义活动的命令
外部引用 ExternalReferences 外部对连接的引用
文件夹路径 String 资源文件的文件夹路径
extendedProperties 物体 用户定义的属性包。 对可以使用的键或值没有限制。 用户指定的自定义活动完全负责使用和解释定义的内容
retentionTimeInDays Double 为自定义活动提交的文件的保留时间
autoUserSpecification String 用户的提升级别和范围,默认值为非admin 任务

自定义活动暂存属性

Name 类型 必选 Description
外部引用 ExternalReferences 外部对连接的引用

InvokeCopyJob 活动属性

使用 type: "InvokeCopyJob".. 的活动的属性

Name 类型 必选 Description
type属性 InvokeCopyJobActivityTypeProperties 调用复制作业活动的属性

InvokeCopyJob 活动类型属性

Name 类型 必选 Description
copyJobId 字符串 (Guid) 复制作业 ID
workspaceId 字符串 (Guid) 工作区 ID

ExecuteSSISPackage 活动属性

使用 type: "ExecuteSSISPackage".. 的活动的属性

Name 类型 必选 Description
type属性 ExecuteSSISPackageActivityTypeProperties 执行 SSIS 包活动的属性

ExecuteSSISPackage 活动类型属性

Name 类型 必选 Description
packageLocation SSISPackageLocation 要执行的 SSIS 包的位置
packageName String SSIS 包的名称
运行时 IntegrationRuntimeReference 用于包执行的集成运行时
parameters ParameterSpecification 要传递给 SSIS 包的参数
projectParameters ParameterSpecification SSIS 包的项目级参数
packageParameters ParameterSpecification SSIS 包的包级参数
projectConnectionManagers ConnectionManagerSpecification SSIS 包的项目连接管理器
packageConnectionManagers ConnectionManagerSpecification SSIS 包的包连接管理器
propertyOverrides PropertyOverrideSpecification SSIS 包的属性替代
logLocation SSISLogLocation 存储执行日志的位置

SqlServerStoredProcedure 活动属性

使用 type: "SqlServerStoredProcedure".. 的活动的属性

Name 类型 必选 Description
type属性 SqlServerStoredProcedureActivityTypeProperties SQL Server 存储过程活动的属性
外部引用 ExternalReferences 对连接的引用。
linkedService 物体 关联服务
connectionSettings 物体 连接设置

SqlServerStoredProcedure 活动类型属性

Name 类型 必选 Description
数据库 String SQL Server 的数据库名称
storedProcedureName String 存储过程名称
storedProcedureParameters 物体 存储过程参数的值和类型设置

InvokePipeline 活动属性

使用 type: "InvokePipeline".. 的活动的属性

Name 类型 必选 Description
type属性 InvokePipelineActivityTypeProperties 调用管道活动的属性
外部引用 ExternalReferences 对连接的引用。
政策 ActivityPolicy 活动策略。

InvokePipeline 活动类型属性

Name 类型 必选 Description
parameters 物体 管道参数
waitOnCompletion 布尔 定义活动执行是否会等待依赖管道执行完成。 默认值为 false
workspaceId String 工作区 ID
管道 ID String 管道 ID
operationType String 操作类型

KustoQueryLanguage 活动属性

使用 type: "KustoQueryLanguage".. 的活动的属性

Name 类型 必选 Description
type属性 KustoQueryLanguageActivityTypeProperties Kusto 查询语言活动的属性
外部引用 ExternalReferences 对连接的引用。
linkedService 物体 关联服务
connectionSettings 物体 连接设置

KustoQueryLanguage 活动类型属性

Name 类型 必选 Description
指令 String 根据 KQL 脚本活动命令语法,控制命令
commandTimeout String 控制命令超时
数据库 String 要查询的数据库名称

AzureML 活动属性

使用 type: "AzureMLExecutePipeline".. 的活动的属性

Name 类型 必选 Description
type属性 AzureMLActivityTypeProperties Azure ML 活动的属性
外部引用 ExternalReferences 对 Azure ML 连接的引用。
政策 ActivityPolicy 活动的执行策略。

AzureML 活动类型属性

Name 类型 必选 Description
mlExecutionType String 管道或批处理终结点。
mlPipelineId String 已发布的 Azure ML 管道的 ID。
mlPipelineEndpointId String 已发布的 Azure ML 管道终结点的 ID。
版本 String 已发布的 Azure ML 管道终结点的版本。
experimentName String Azure ML 试验的名称
mlPipelineParameters ParameterSpecification 要传递给 Azure ML 管道的参数
dataPathAssignments DataPathAssignment Azure ML 管道的数据路径分配
mlBatchEndpointName String 已发布的 Azure ML 批处理终结点的名称。
mlBatchDeploymentName String 所选终结点的已发布 Azure ML 批处理部署的名称。
jobSettings 物体 要传递给已发布的 Azure ML 批处理终结点的键、值对。
jobInputs 物体 用于作业输入参数的字典。
jobOutputs 物体 用于作业输出参数的字典。
mlParentRunId String 父 Azure ML 服务管道运行 ID。
continueOnStepFailure 布尔 如果步骤失败,是否继续执行 PipelineRun 中的其他步骤。

DataLakeAnalyticsScope 活动属性

使用 type: "DataLakeAnalyticsScope".. 的活动的属性

Name 类型 必选 Description
type属性 DataLakeAnalyticsScopeActivityTypeProperties Data Lake Analytics 作用域活动的属性
外部引用 ExternalReferences 对连接的引用。

DataLakeAnalyticsScope 活动类型属性

Name 类型 必选 Description
scriptFileName String 具有范围脚本的区分大小写的文件名
scriptFolderPath String 包含范围脚本的文件夹的区分大小写的路径
外部引用 ExternalReferences 对连接的引用
linkedService 物体 编写链接服务的脚本
connectionSettings 物体 连接设置
degreeOfParallelism 整数 用于运行作业的最大节点数。 默认值为 1。 最小值:1
priority 整数 确定应选择已排队的所有作业中的哪些作业以先运行。 编号越低,优先级越高。 默认值为 1000。 最小值:1
parameters 物体 范围作业请求的参数
runtimeVersion String 要使用的作用域引擎的运行时版本
作业名称 String Azure Data Lake Analytics 范围作业名称
jobOwner String 要添加到作用域作业的自定义标记以指示作业所有者别名
degreeOfParallelismPercent 整数 用于运行作业的节点的最大百分比。 请注意,此属性和 degreeofParallelism 属性互斥
nebulaArguments String 在作业提交过程中传入的其他作用域参数
notifier 物体 作业到达终端状态时要通知的电子邮件地址列表
scopeScriptInclusionSet String 由分号分隔的脚本资源文件扩展名列表。 只有这些文件作为范围作业资源上传到 ADLA
tags 物体 作用域作业的自定义标记

TridentNotebook 活动属性

使用 type: "TridentNotebook".. 的活动的属性

Name 类型 必选 Description
type属性 TridentNotebookActivityTypeProperties Trident 笔记本活动的属性
外部引用 ExternalReferences 对连接的引用。

TridentNotebook 活动类型属性

Name 类型 必选 Description
notebookId String 笔记本 ID
workspaceId String 工作区 ID
parameters 物体 要用于此作业的每个运行的参数。 如果笔记本采用未指定的参数,将使用笔记本中的默认值
sessionTag String Spark 会话标记

DatabricksNotebook 活动属性

使用 type: "DatabricksNotebook".. 的活动的属性

Name 类型 必选 Description
type属性 DatabricksNotebookActivityTypeProperties Databricks 笔记本活动的属性
外部引用 ExternalReferences 对 Databricks 连接的引用。

DatabricksNotebook 活动类型属性

Name 类型 必选 Description
notebookPath String 要执行的 Databricks 笔记本的路径
baseParameters ParameterSpecification 要传递给 Databricks 笔记本的基本参数
libraries DatabricksLibrarySpecification[] 用于执行笔记本的库
existingClusterId String 要使用的现有 Databricks 群集的 ID
newClusterSettings DatabricksNewClusterSettings 用于创建新 Databricks 群集的设置
pythonWheelTask DatabricksPythonWheelTask Databricks 的 Python 滚轮任务配置
sparkJarTask DatabricksSparkJarTask Databricks 的 Spark JAR 任务配置
sparkPythonTask DatabricksSparkPythonTask Databricks 的 Spark Python 任务配置

RefreshDataFlow 活动属性

使用 type: "RefreshDataFlow".. 的活动的属性

Name 类型 必选 Description
type属性 RefreshDataFlowActivityTypeProperties 刷新数据流活动的属性
外部引用 ExternalReferences 对连接的引用。
政策 ActivityPolicy 活动策略。

RefreshDataFlow 活动类型属性

Name 类型 必选 Description
dataflowId String 数据流 ID
workspaceId String 工作区 ID
notifyOption String 有关邮件设置的通知
dataflowType String 数据流的类型(系统属性)
parameters 物体 要用于此作业的每个运行的参数。 如果数据流采用未指定的参数,将使用数据流中的默认值

Office365Email 活动属性

使用 type: "Office365Email".. 的活动的属性

Name 类型 必选 Description
type属性 Office365EmailActivityTypeProperties Office 365 电子邮件活动的属性
外部引用 ExternalReferences 对 Office 365 连接的引用。

Office365Email 活动类型属性

Name 类型 必选 Description
身体 String 邮件的内容
String 分隔的收件人列表;
主题 String 邮件的主题
发件人 String 发件人电子邮件 ID
抄送 String 抄送中的收件人列表,用 ; 分隔;
bcc String 密件抄送中收件人列表,用 ;
敏感性 String 邮件的敏感度
重要性 String 邮件的重要性
replyTo String 要接收邮件答复的电子邮件 ID
operationType String 操作类型

电子邮件活动属性

使用 type: "Email".. 的活动的属性

Name 类型 必选 Description
type属性 EmailActivityTypeProperties 电子邮件活动的属性
外部引用 ExternalReferences 对电子邮件连接的引用。

电子邮件活动类型属性

Name 类型 必选 Description
输入 LogicAppsActivityInput 逻辑应用活动输入
身体 String 邮件的内容
String 分隔的收件人列表;
主题 String 邮件的主题
发件人 String 发件人电子邮件 ID
抄送 String 抄送中的收件人列表,用 ; 分隔;
bcc String 密件抄送中收件人列表,用 ;
敏感性 String 邮件的敏感度
重要性 String 邮件的重要性
replyTo String 要接收邮件答复的电子邮件 ID
operationType String 操作类型

MicrosoftTeams 活动属性

使用 type: "MicrosoftTeams".. 的活动的属性

Name 类型 必选 Description
type属性 MicrosoftTeamsActivityTypeProperties Microsoft Teams 活动的属性
外部引用 ExternalReferences 对连接的引用。

MicrosoftTeams 活动类型属性

Name 类型 必选 Description
内容 String 消息的内容
teamId String 组 ID 或工作区 ID
频道ID String 模型数据集 ID
chatId String 刷新类型
operationType String 操作类型
主题 String 频道文章的主题

Teams 活动属性

使用 type: "Teams".. 的活动的属性

Name 类型 必选 Description
type属性 TeamsActivityTypeProperties Teams 活动的属性
外部引用 ExternalReferences 对连接的引用。

Teams 活动类型属性

Name 类型 必选 Description
输入 LogicAppsActivityInput 逻辑应用活动输入
内容 String 消息的内容
teamId String 组 ID 或工作区 ID
频道ID String 模型数据集 ID
chatId String 刷新类型
operationType String 操作类型

PBISemanticModelRefresh 活动属性

使用 type: "PBISemanticModelRefresh".. 的活动的属性

Name 类型 必选 Description
type属性 PBISemanticModelRefreshActivityTypeProperties Power BI 语义模型刷新活动的属性
外部引用 ExternalReferences 对 Power BI 连接的引用。

PBISemanticModelRefresh 活动类型属性

Name 类型 必选 Description
方法 String HTTP 方法
groupId String 组 ID 或工作区 ID
workspaceId String 工作区 ID
datasetId String 模型数据集 ID
类型 String 刷新类型
commitMode String 刷新提交模式
maxParallelism 最大并行度 整数 最大并行度
retryCount 整数 刷新重试计数
对象 Array 表分区对象列表
waitOnCompletion 布尔 定义活动执行是否会等待依赖管道执行完成。 默认值为 false
输入 LogicAppsActivityInput 逻辑应用活动输入
operationType String 操作类型

LogicAppsActivityInput

Name 类型 必选 Description
身体 String 正文包含所有用户提供的参数
方法 String 逻辑应用活动作的方法
路径 String 标识逻辑应用活动作的 swagger 路径
标题 String 逻辑应用活动作的标头
queries String 逻辑应用活动作的查询

ContentDetails 示例

{
    "properties": { 
        "description": "Data pipeline with multiple activity types demonstrating different typeProperties", 
        "activities": [
          {
            "name": "Notebook1",
            "type": "TridentNotebook",
            "dependsOn": [],
            "policy": {
              "timeout": "0.12:00:00",
              "retry": 0,
              "retryIntervalInSeconds": 30,
              "secureOutput": false,
              "secureInput": false
            },
            "typeProperties": {
              "notebookId": "f47ac10b-58cc-4372-a567-0e02b2c3d479",
              "workspaceId": "b81f1d9f-33c7-462d-b818-2e4906a123f3"
            }
          },
          {
            "name": "Get Metadata1",
            "type": "GetMetadata",
            "dependsOn": [],
            "policy": {
              "timeout": "0.12:00:00",
              "retry": 0,
              "retryIntervalInSeconds": 30,
              "secureOutput": false,
              "secureInput": false
            },
            "typeProperties": {
              "fieldList": [
                "columnCount"
              ],
              "datasetSettings": {
                "annotations": [],
                "linkedService": {
                  "name": "LakehouseGitArtifactW1",
                  "properties": {
                    "annotations": [],
                    "type": "Lakehouse",
                    "typeProperties": {
                      "workspaceId": "b81f1d9f-33c7-462d-b818-2e4906a123f3",
                      "artifactId": "c69ca3a7-fc70-4b4f-aad7-ce711b7a57d0",
                      "rootFolder": "Tables"
                    }
                  }
                },
                "type": "LakehouseTable",
                "schema": [],
                "typeProperties": {
                  "table": "Lh1"
                }
              }
            }
          },
          {
            "name": "Lookup1",
            "type": "Lookup",
            "dependsOn": [],
            "policy": {
              "timeout": "0.12:00:00",
              "retry": 0,
              "retryIntervalInSeconds": 30,
              "secureOutput": false,
              "secureInput": false
            },
            "typeProperties": {
              "source": {
                "type": "LakehouseTableSource"
              },
              "datasetSettings": {
                "annotations": [],
                "linkedService": {
                  "name": "LakehouseGitArtifactW1",
                  "properties": {
                    "annotations": [],
                    "type": "Lakehouse",
                    "typeProperties": {
                      "workspaceId": "b81f1d9f-33c7-462d-b818-2e4906a123f3",
                      "artifactId": "c69ca3a7-fc70-4b4f-aad7-ce711b7a57d0",
                      "rootFolder": "Tables"
                    }
                  }
                },
                "type": "LakehouseTable",
                "schema": [],
                "typeProperties": {
                  "table": "lh2"
                }
              }
            }
          },
          {
            "name": "PBISemanticModelRefresh1",
            "type": "PBISemanticModelRefresh",
            "dependsOn": [],
            "userProperties": [],
            "typeProperties": {
              "method": "POST",
              "groupId": "b81f1d9f-33c7-462d-b818-2e4906a123f3",
              "datasetId": "67cd5565-49a2-401d-907f-744cc68b16c8",
              "type": "Full",
              "commitMode": "transactional",
              "maxParallelism": 2,
              "retryCount": 1,
              "waitOnCompletion": true,
              "operationType": "RefreshDataset"
            },
            "externalReferences": {
              "connection": "276c4d2d-855a-4c20-adbe-23622ad82704"
            },
            "policy": {
              "timeout": "7.00:00:00",
              "retry": 0,
              "retryIntervalInSeconds": 30,
              "secureInput": false,
              "secureOutput": false
            }
          }
        ]
    } 
}