本文详细介绍了数据管道项的定义结构。
定义部件
| 定义部件路径 |
类型 |
必选 |
Description |
pipeline-content.json |
ContentDetails (JSON) |
是 |
描述有效负载的数据管道内容 |
.platform |
PlatformDetails (JSON) |
假 |
描述项的常见详细信息 |
ContentDetails
描述有效负载的内容
DataPipelineProperties 内容的说明
描述用于构造 DataPipelineProperties 的字段
DataPipelineActivity 内容的说明
ActivityState 值
| Name |
类型 |
Description |
| 活跃 |
String |
默认活动状态。 |
| 无效 |
String |
将活动标记为非活动状态,并跳过其执行。 |
OnInactiveMarkAs 值
| Name |
类型 |
Description |
| 成功 |
String |
默认值。 |
| 已失败 |
String |
始终将非活动标记为失败。 |
| Skipped |
String |
跳过非活动活动。 |
DependencyActivity 内容的说明
| Name |
类型 |
必选 |
Description |
| 活动 |
String |
是 |
活动的名称 |
| dependencyConditions |
条件 |
是 |
依赖项条件列表。 |
条件内容的说明
| Name |
类型 |
| 成功 |
String |
| 已失败 |
String |
| Skipped |
String |
| 完成 |
String |
活动策略
活动的执行策略。
| Name |
类型 |
必选 |
Description |
| timeout |
字符串(或带有 resultType 字符串的表达式) |
假 |
指定活动运行的超时。 默认超时为 7 天。 |
| 重试 |
integer (或 expressionType 整数的表达式) |
假 |
最大普通重试尝试次数。 默认为 0。 最小值:0。 |
| retryIntervalInSeconds |
整数 |
假 |
每次重试尝试(以秒为单位)之间的间隔。 默认值为 30 秒。最小值:30,最大值:86400。 |
| secureInput |
布尔 |
假 |
设置为 true 时,活动输入被视为安全,不会记录到监视中。 |
| secureOutput |
布尔 |
假 |
设置为 true 时,活动输出被视为安全,不会记录到监视中。 |
外部引用
外部对连接的引用。
| Name |
类型 |
必选 |
Description |
| 连接 |
字符串 (Guid) |
是 |
引用的连接的连接 ID。 |
DataPipelineActivityTypes
活动属性
typeProperties每个活动中的字段包含特定于类型的配置,这些配置因活动类型而异。 本部分介绍每个活动类型所需的属性。
Wait 活动属性
使用 type: "Wait".. 的活动的属性
Wait 活动类型属性
| Name |
类型 |
必选 |
Description |
| waitTimeInSeconds |
整数 |
是 |
继续执行下一个活动之前要等待的秒数 |
复制活动属性
使用 type: "Copy".. 的活动的属性
复制活动类型属性
| Name |
类型 |
必选 |
Description |
| 源 |
CopySource |
是 |
复制作的源设置 |
| 接收器 |
CopySink |
假 |
复制作的接收器设置 |
| 目标 |
CopySink |
假 |
复制活动目标 |
| 转换器 |
物体 |
假 |
复制活动翻译器。 如果未指定,则使用表格翻译 |
| enableStaging |
布尔 |
假 |
指定是否通过临时暂存复制数据。 默认值为 false |
| stagingSettings |
StagingSettings |
假 |
指定 EnableStaging 为 true 时的临时暂存设置 |
| 脚本线 |
字符串数组[] |
假 |
数据流脚本行,在复制作为数据流运行时使用 |
| 访客 |
String |
假 |
ADMS 遥测中使用的“调用方”的名称 |
| linkedIntegrationRuntime |
物体 |
假 |
对已装载数据工厂中链接集成运行时的引用 |
| parallelCopies |
整数 |
假 |
在源或接收器上打开的最大并发会话数,以避免重载数据存储。 最小值:0 |
| dataIntegrationUnits |
整数 |
假 |
可用于执行此数据移动的数据集成单元的最大数量。 最小值:0 |
| throughputOptimizationUnits |
整数 |
假 |
可用于执行此数据移动的最大吞吐量优化单位数。 最小值:0 |
| 启用跳过不兼容行 |
布尔 |
假 |
是否跳过不兼容行。 默认值为 false |
| 重定向不兼容的行设置 |
物体 |
假 |
当 EnableSkipIncompatibleRow 为 true 时重定向不兼容行设置 |
| logStorageSettings |
物体 |
假 |
启用会话日志时,客户需要提供的日志存储设置 |
| logSettings |
物体 |
假 |
启用日志时,客户需要提供的日志设置 |
| preserveRules |
字符串数组[] |
假 |
保留规则。 |
| 保护区 |
字符串数组[] |
假 |
保留规则。 |
| resumeId |
String |
假 |
用于启用复制可恢复性的 resumeId |
| validateDataConsistency |
布尔 |
假 |
是否启用数据一致性验证 |
| skipErrorFile |
物体 |
假 |
指定数据一致性的容错 |
CopySource
| Name |
类型 |
必选 |
Description |
| 类型 |
String |
是 |
复制源类型 |
| sourceRetryCount |
整数 |
假 |
源重试计数。 |
| sourceRetryWait |
String |
假 |
源重试等待。 |
| maxConcurrentConnections |
整数 |
假 |
源数据存储的最大并发连接计数。 |
| disableMetricsCollection |
布尔 |
假 |
如果为 true,则禁用数据存储指标集合。 默认值为 false。 |
| datasetSettings |
DatasetSettings |
假 |
删除活动数据集设置 |
| checkpointProperties |
物体 |
假 |
检查点属性 |
| genericChangeDataProperties |
物体 |
假 |
通用变更数据捕获属性 |
CopySink
| Name |
类型 |
必选 |
Description |
| 类型 |
String |
是 |
复制接收器类型。 |
| writeBatchSize (写入批量大小) |
整数 |
假 |
写入批大小,最小值:0。 |
| writeBatchTimeout |
String |
假 |
写入批处理超时。 |
| sinkRetryCount |
整数 |
假 |
接收器重试计数。 |
| sinkRetryWait |
String |
假 |
接收器重试等待。 |
| maxConcurrentConnections |
整数 |
假 |
接收器数据存储的最大并发连接计数。 |
| disableMetricsCollection |
布尔 |
假 |
如果为 true,则禁用数据存储指标集合。 默认值为 false。 |
| datasetSettings |
DatasetSettings |
假 |
数据集设置 |
CopyTranslator
| Name |
类型 |
必选 |
Description |
| 类型 |
String |
是 |
翻译器类型(例如,“TabularTranslator”) |
| typeConversion |
布尔 |
假 |
是否为复制活动启用高级类型转换属性。 |
| typeConversionSettings |
TypeConversionSettings |
假 |
类型转换设置。 |
| columnMappings |
String |
假 |
列映射。 |
| schemaMapping |
String |
假 |
在表格数据和分层数据之间映射的架构映射。 |
| mappings |
String |
假 |
具有逻辑类型的列映射。 |
| columnFlatteningSettings |
物体 |
假 |
列平展设置。 |
TypeConversionSettings
| Name |
类型 |
必选 |
Description |
| allowDataTruncation |
布尔 |
假 |
是否允许在转换数据时截断数据。 |
| treatBooleanAsNumber |
布尔 |
假 |
是否将布尔值视为数字。 |
| dateTimeFormat |
String |
假 |
DateTime 值的格式。 |
| dateTimeOffsetFormat |
String |
假 |
DateTimeOffset 值的格式。 |
| timeSpanFormat |
String |
假 |
TimeSpan 值的格式。 |
| 区域性 |
String |
假 |
用于将数据从/转换为字符串的区域性。 |
StagingSettings
| Name |
类型 |
必选 |
Description |
| enableCompression |
布尔 |
假 |
指定是否通过临时暂存复制数据时使用压缩。 |
| 路径 |
String |
假 |
暂存数据的路径 |
| 外部引用 |
ExternalReferences |
是 |
外部对连接的引用。 |
DatasetSettings
| Name |
类型 |
必选 |
Description |
| 类型 |
String |
是 |
数据集的类型 |
| 描述 |
String |
假 |
数据集说明 |
| 结构 |
物体 |
假 |
定义数据集结构的列。 类型:array(或包含 resultType 数组的表达式),itemType:DatasetDataElement |
| 架构 |
物体 |
假 |
定义数据集的物理类型架构的列。 类型:数组(或带有 resultType 数组的表达式),itemType:DatasetSchemaDataElement |
| copyJobProperties |
物体 |
假 |
CopyJob 系统管道数据集中的其他属性 |
| connectionProperties |
物体 |
假 |
connectionProperties 设置选项。 类型:键值对(值应为字符串类型)(或 expression with resultType 对象) |
| 外部引用 |
ExternalReferences |
假 |
外部对连接的引用 |
| linkedServiceName |
物体 |
假 |
链接服务参考 |
| linkedService |
物体 |
假 |
关联服务 |
| connectionSettings |
物体 |
假 |
连接设置 |
| parameters |
物体 |
假 |
数据集的参数 |
| 注释 |
Array |
假 |
可用于描述数据集的标记列表 |
| 文件夹 |
物体 |
假 |
此数据集所在的文件夹。 如果未指定,数据集将显示在根级别 |
查找活动属性
使用 type: "Lookup".. 的活动的属性
查找活动类型属性
| Name |
类型 |
必选 |
Description |
| 源 |
CopySource |
是 |
查找作的源设置 |
| datasetSettings |
DatasetSettings |
是 |
查找的数据集引用 |
| firstRowOnly |
布尔 |
假 |
是否仅返回第一行(默认值:true) |
Web 活动属性
使用 type: "WebActivity".. 的活动的属性
Web 活动类型属性
| Name |
类型 |
必选 |
Description |
| relativeUrl |
String |
是 |
要调用的 URL |
| 方法 |
String |
是 |
HTTP 方法(GET、POST、PUT、DELETE) |
| 标题 |
String |
假 |
HTTP 标头 |
| 身体 |
String |
假 |
请求正文(对于 POST/PUT 请求) |
| disableCertValidation |
布尔 |
假 |
设置为 true 时,将禁用证书验证。 |
| httpRequestTimeout |
String |
假 |
请求超时。 格式采用时间跨度(hh:mm:ss) |
| turnOffAsync |
布尔 |
假 |
设置为 true 时,停止在响应标头中给定的 http 位置上调用 HTTP GET。 |
If Condition 活动属性
使用 type: "IfCondition".. 的活动的属性
如果条件活动类型属性
Expression
| Name |
类型 |
必选 |
Description |
| 类型 |
String |
是 |
表达式类型(例如,“Expression”) |
| value |
String |
是 |
表达式值 |
ForEach 活动属性
使用 type: "ForEach".. 的活动的属性
ForEach 活动类型属性
| Name |
类型 |
必选 |
Description |
| items |
表达式 |
是 |
返回要循环访问的数组的表达式 |
| activities |
DataPipelineActivity[] |
是 |
要为每个项执行的活动 |
| isSequential |
布尔 |
假 |
是否按顺序执行迭代(默认值:false) |
| batchCount |
整数 |
假 |
并发迭代数(when isSequential 为 false) |
执行管道活动属性
使用 type: "ExecutePipeline".. 的活动的属性
执行管道活动类型属性
| Name |
类型 |
必选 |
Description |
| 管道 |
PipelineReference |
是 |
对要执行的管道的引用 |
| parameters |
对象 |
假 |
要传递给子管道的参数 |
| waitOnCompletion |
布尔 |
假 |
是否等待子管道完成(默认值:true) |
PipelineReference
| Name |
类型 |
必选 |
Description |
| referenceName |
String |
是 |
引用的管道的名称 |
| 类型 |
String |
是 |
引用类型(通常为“PipelineReference”) |
失败活动属性
使用 type: "Fail".. 的活动的属性
失败活动类型属性
| Name |
类型 |
必选 |
Description |
| 消息 |
String |
是 |
Fail 活动中出现的错误消息。 它可以是运行时计算为非空/空字符串的动态内容。 |
| 错误代码 |
String |
是 |
对 Fail 活动的错误类型进行分类的错误代码。 它可以是运行时计算为非空/空字符串的动态内容。 |
筛选活动属性
使用 type: "Filter".. 的活动的属性
筛选活动类型属性
| Name |
类型 |
必选 |
Description |
| items |
表达式 |
是 |
应对其应用筛选器的输入数组。 |
| 条件 |
表达式 |
是 |
要用于筛选输入的条件。 |
直到活动属性
使用 type: "Until".. 的活动的属性
直到活动类型属性
| Name |
类型 |
必选 |
Description |
| 表达式 |
表达式 |
是 |
计算结果为布尔值的表达式。 循环将继续,直到此表达式的计算结果为 true。 |
| activities |
DataPipelineActivity[] |
是 |
要执行的活动列表。 |
| timeout |
字符串(或带有 resultType 字符串的表达式) |
假 |
指定活动运行的超时。 如果未指定任何值,则采用 TimeSpan.FromDays(7)的值(默认值为 1 周)。 |
切换活动属性
使用 type: "Switch".. 的活动的属性
切换活动类型属性
| Name |
类型 |
必选 |
Description |
| 上 |
表达式 |
是 |
计算结果为字符串或整数的表达式。 这用于确定将在执行的情况下的活动块。 |
| 案例 |
SwitchCase[] |
假 |
对应于“on”属性的预期值的事例列表。 这是一个可选属性,如果未提供,活动将执行 defaultActivities 中提供的活动。 |
| defaultActivities |
DataPipelineActivity[] |
假 |
如果未满足事例条件,则要执行的活动列表。 这是一个可选属性,如果未提供,活动将退出而不执行任何操作。 |
SwitchCase
| Name |
类型 |
必选 |
Description |
| value |
String |
是 |
用于事例选择的表达式结果的预期值。 |
| activities |
DataPipelineActivity[] |
是 |
要针对匹配事例执行的活动列表。 |
使用 type: "GetMetadata".. 的活动的属性
| Name |
类型 |
必选 |
Description |
| datasetSettings |
物体 |
是 |
GetMetadata 活动数据集设置。 |
| fieldList |
字符串数组[] |
假 |
要从数据集中获取的元数据字段。 类型:字符串(或带有 resultType 字符串的表达式)。 |
| storeSettings |
物体 |
假 |
GetMetadata 活动存储设置。 |
| formatSettings |
物体 |
假 |
GetMetadata 活动格式设置。 |
SetVariable 活动属性
使用 type: "SetVariable".. 的活动的属性
SetVariable 活动类型属性
| Name |
类型 |
必选 |
Description |
| variableName |
String |
是 |
需要设置其值的变量的名称。 |
| value |
物体 |
是 |
要设置的值。 可以是静态值或表达式。 |
| setSystemVariable |
布尔 |
假 |
如果设置为 true,则设置管道运行返回值。 |
| Name |
类型 |
必选 |
Description |
| secureInput |
布尔 |
假 |
设置为 true 时,活动输入被视为安全,不会记录到监视中。 |
| secureOutput |
物体 |
假 |
设置为 true 时,活动输出被视为安全,不会记录到监视中。 |
AppendVariable 活动属性
使用 type: "AppendVariable".. 的活动的属性
AppendVariable 活动类型属性
| Name |
类型 |
必选 |
Description |
| variableName |
String |
是 |
需要追加其值的变量的名称。 |
| value |
物体 |
是 |
要追加的值。 可以是静态值或表达式。 |
删除活动属性
使用 type: "Delete".. 的活动的属性
删除活动类型属性
| Name |
类型 |
必选 |
Description |
| datasetSettings |
物体 |
是 |
删除活动数据集设置。 |
| recursive |
布尔 |
假 |
如果为 true,则以递归方式删除当前文件夹路径下的文件或子文件夹。 默认值为 false。 |
| maxConcurrentConnections |
整数 |
假 |
同时连接数据源的最大并发连接数。 最小值:1。 |
| enableLogging |
布尔 |
假 |
是否记录删除活动执行的详细日志。 默认值为 false。 |
| logStorageSettings |
物体 |
假 |
当 enableLogging 为 true 时,客户需要提供的日志存储设置。 |
| storeSettings |
物体 |
假 |
删除活动存储设置。 |
AzureHDInsight 活动属性
使用 type: "AzureHDInsight".. 的活动的属性
AzureHDInsight 活动类型属性
| Name |
类型 |
必选 |
Description |
| hdiActivityType |
String |
是 |
指定五种 HDInsight 活动类型之一的子类型(Hive、Pig、MapReduce、流式处理、Spark)。 |
| arguments |
字符串数组[] |
假 |
用户指定的 HDInsight 活动参数。 |
| getDebugInfo |
String |
假 |
调试信息选项。 有效值:“None”、“Always”、“Failure” |
| scriptSettings |
HDInsightScriptSettings |
假 |
HDInsight 脚本设置 |
| defines |
物体 |
假 |
允许用户指定作业请求的定义。 类型:键值对(或 expression with resultType 对象) |
| 变量 |
Object[] |
假 |
变量命名空间下的用户指定参数。 类型:字符串数组(或 resultType 数组的表达式) |
| queryTimeout |
整数 |
假 |
查询超时值(以分钟为单位)。 当 HDInsight 群集使用 ESP(企业安全性套餐)时有效 |
HDInsightScriptSettings
| Name |
类型 |
必选 |
Description |
| scriptPath |
物体 |
假 |
脚本路径。 类型:字符串(或带有 resultType 字符串的表达式) |
| 外部引用 |
物体 |
是 |
外部对连接的引用 |
SparkJobDefinition 活动属性
使用 type: "SparkJobDefinition".. 的活动的属性
SparkJobDefinition 活动类型属性
| Name |
类型 |
必选 |
Description |
| sparkJobDefinitionId |
String |
是 |
Spark 作业定义 ID。 |
| workspaceId |
String |
是 |
工作区 ID。 |
| executableFile |
String |
假 |
主定义文件。 |
| mainClass |
String |
假 |
如果为 executableFile 设置了 jar 文件,则为主类名称。 |
| additionalLibraryUris |
String |
假 |
引用文件的 ADLS gen2 路径。 |
| commandLineArguments 命令行参数 |
String |
假 |
命令行参数。 |
| defaultLakehouse |
FabricArtifact |
假 |
应为默认 Lakehouse 上下文的 Lakehouse 引用 |
| additionalLakehouses |
String |
假 |
其他 Lakehouse 参考列表。 |
| environmentId |
String |
假 |
应用于自定义执行的环境项目,环境应来自与 SJD 项目相同的工作区。 |
FabricArtifact
| Name |
类型 |
必选 |
Description |
| workspaceId |
物体 |
是 |
工作区 ID。类型:字符串(或带有 resultType 字符串的表达式) |
| artifactId |
物体 |
是 |
项目 ID。类型:字符串(或带有 resultType 字符串的表达式) |
脚本活动属性
使用 type: "Script".. 的活动的属性
脚本活动类型属性
| Name |
类型 |
必选 |
Description |
| 数据库 |
物体 |
是 |
将对其执行脚本的数据库 |
| 脚本 |
物体 |
是 |
脚本块数组 |
| logSettings |
物体 |
假 |
脚本活动的日志设置 |
| scriptBlockExecutionTimeout |
String |
假 |
ScriptBlock 执行超时 |
| connectionVersion |
String |
假 |
连接版本 |
WebHook 活动属性
使用 type: "WebHook".. 的活动的属性
WebHook 活动类型属性
| Name |
类型 |
必选 |
Description |
| 方法 |
String |
是 |
终结点的 Rest API 方法 |
| relativeUrl |
String |
是 |
终结点的相对 URL |
| timeout |
String |
假 |
Webhook 应调用回的超时。 如果没有指定值,则默认为 10 分钟 |
| 标题 |
String |
假 |
将发送到请求的用户指定的标头 |
| 身体 |
String |
假 |
终结点的请求正文 |
| reportStatusOnCallBack |
布尔 |
假 |
CallBack 报告状态 |
| disableCertValidation |
布尔 |
假 |
设置为 true 时,它会忽略服务器端的任何 TLS/SSL 错误。 默认值:false |
AzureFunction 活动属性
使用 type: "AzureFunction".. 的活动的属性
AzureFunction 活动类型属性
| Name |
类型 |
必选 |
Description |
| 方法 |
物体 |
是 |
终结点的 Rest API 方法 |
| functionName |
String |
是 |
Azure 函数活动将调用的函数的名称 |
| 标题 |
String |
假 |
将发送到请求的用户指定的标头 |
| 身体 |
String |
假 |
终结点的请求正文 |
| functionSetId |
字符串 (Guid) |
假 |
函数集 ID |
| workspaceId |
字符串 (Guid) |
假 |
工作区 ID |
| operationType |
String |
假 |
活动的作类型 |
| parameters |
String |
假 |
Azure 函数活动的参数 |
自定义活动属性
使用 type: "Custom".. 的活动的属性
自定义活动类型属性
| Name |
类型 |
必选 |
Description |
| 指令 |
String |
是 |
自定义活动的命令 |
| 外部引用 |
ExternalReferences |
是 |
外部对连接的引用 |
| 文件夹路径 |
String |
假 |
资源文件的文件夹路径 |
| extendedProperties |
物体 |
假 |
用户定义的属性包。 对可以使用的键或值没有限制。 用户指定的自定义活动完全负责使用和解释定义的内容 |
| retentionTimeInDays |
Double |
假 |
为自定义活动提交的文件的保留时间 |
| autoUserSpecification |
String |
假 |
用户的提升级别和范围,默认值为非admin 任务 |
自定义活动暂存属性
InvokeCopyJob 活动属性
使用 type: "InvokeCopyJob".. 的活动的属性
InvokeCopyJob 活动类型属性
| Name |
类型 |
必选 |
Description |
| copyJobId |
字符串 (Guid) |
是 |
复制作业 ID |
| workspaceId |
字符串 (Guid) |
是 |
工作区 ID |
ExecuteSSISPackage 活动属性
使用 type: "ExecuteSSISPackage".. 的活动的属性
ExecuteSSISPackage 活动类型属性
| Name |
类型 |
必选 |
Description |
| packageLocation |
SSISPackageLocation |
是 |
要执行的 SSIS 包的位置 |
| packageName |
String |
是 |
SSIS 包的名称 |
| 运行时 |
IntegrationRuntimeReference |
假 |
用于包执行的集成运行时 |
| parameters |
ParameterSpecification |
假 |
要传递给 SSIS 包的参数 |
| projectParameters |
ParameterSpecification |
假 |
SSIS 包的项目级参数 |
| packageParameters |
ParameterSpecification |
假 |
SSIS 包的包级参数 |
| projectConnectionManagers |
ConnectionManagerSpecification |
假 |
SSIS 包的项目连接管理器 |
| packageConnectionManagers |
ConnectionManagerSpecification |
假 |
SSIS 包的包连接管理器 |
| propertyOverrides |
PropertyOverrideSpecification |
假 |
SSIS 包的属性替代 |
| logLocation |
SSISLogLocation |
假 |
存储执行日志的位置 |
SqlServerStoredProcedure 活动属性
使用 type: "SqlServerStoredProcedure".. 的活动的属性
SqlServerStoredProcedure 活动类型属性
| Name |
类型 |
必选 |
Description |
| 数据库 |
String |
假 |
SQL Server 的数据库名称 |
| storedProcedureName |
String |
是 |
存储过程名称 |
| storedProcedureParameters |
物体 |
假 |
存储过程参数的值和类型设置 |
InvokePipeline 活动属性
使用 type: "InvokePipeline".. 的活动的属性
InvokePipeline 活动类型属性
| Name |
类型 |
必选 |
Description |
| parameters |
物体 |
假 |
管道参数 |
| waitOnCompletion |
布尔 |
假 |
定义活动执行是否会等待依赖管道执行完成。 默认值为 false |
| workspaceId |
String |
假 |
工作区 ID |
| 管道 ID |
String |
假 |
管道 ID |
| operationType |
String |
假 |
操作类型 |
KustoQueryLanguage 活动属性
使用 type: "KustoQueryLanguage".. 的活动的属性
KustoQueryLanguage 活动类型属性
| Name |
类型 |
必选 |
Description |
| 指令 |
String |
是 |
根据 KQL 脚本活动命令语法,控制命令 |
| commandTimeout |
String |
假 |
控制命令超时 |
| 数据库 |
String |
假 |
要查询的数据库名称 |
AzureML 活动属性
使用 type: "AzureMLExecutePipeline".. 的活动的属性
AzureML 活动类型属性
| Name |
类型 |
必选 |
Description |
| mlExecutionType |
String |
假 |
管道或批处理终结点。 |
| mlPipelineId |
String |
假 |
已发布的 Azure ML 管道的 ID。 |
| mlPipelineEndpointId |
String |
假 |
已发布的 Azure ML 管道终结点的 ID。 |
| 版本 |
String |
假 |
已发布的 Azure ML 管道终结点的版本。 |
| experimentName |
String |
假 |
Azure ML 试验的名称 |
| mlPipelineParameters |
ParameterSpecification |
假 |
要传递给 Azure ML 管道的参数 |
| dataPathAssignments |
DataPathAssignment |
假 |
Azure ML 管道的数据路径分配 |
| mlBatchEndpointName |
String |
假 |
已发布的 Azure ML 批处理终结点的名称。 |
| mlBatchDeploymentName |
String |
假 |
所选终结点的已发布 Azure ML 批处理部署的名称。 |
| jobSettings |
物体 |
假 |
要传递给已发布的 Azure ML 批处理终结点的键、值对。 |
| jobInputs |
物体 |
假 |
用于作业输入参数的字典。 |
| jobOutputs |
物体 |
假 |
用于作业输出参数的字典。 |
| mlParentRunId |
String |
假 |
父 Azure ML 服务管道运行 ID。 |
| continueOnStepFailure |
布尔 |
假 |
如果步骤失败,是否继续执行 PipelineRun 中的其他步骤。 |
DataLakeAnalyticsScope 活动属性
使用 type: "DataLakeAnalyticsScope".. 的活动的属性
DataLakeAnalyticsScope 活动类型属性
| Name |
类型 |
必选 |
Description |
| scriptFileName |
String |
假 |
具有范围脚本的区分大小写的文件名 |
| scriptFolderPath |
String |
假 |
包含范围脚本的文件夹的区分大小写的路径 |
| 外部引用 |
ExternalReferences |
假 |
对连接的引用 |
| linkedService |
物体 |
假 |
编写链接服务的脚本 |
| connectionSettings |
物体 |
假 |
连接设置 |
| degreeOfParallelism |
整数 |
假 |
用于运行作业的最大节点数。 默认值为 1。 最小值:1 |
| priority |
整数 |
假 |
确定应选择已排队的所有作业中的哪些作业以先运行。 编号越低,优先级越高。 默认值为 1000。 最小值:1 |
| parameters |
物体 |
假 |
范围作业请求的参数 |
| runtimeVersion |
String |
假 |
要使用的作用域引擎的运行时版本 |
| 作业名称 |
String |
假 |
Azure Data Lake Analytics 范围作业名称 |
| jobOwner |
String |
假 |
要添加到作用域作业的自定义标记以指示作业所有者别名 |
| degreeOfParallelismPercent |
整数 |
假 |
用于运行作业的节点的最大百分比。 请注意,此属性和 degreeofParallelism 属性互斥 |
| nebulaArguments |
String |
假 |
在作业提交过程中传入的其他作用域参数 |
| notifier |
物体 |
假 |
作业到达终端状态时要通知的电子邮件地址列表 |
| scopeScriptInclusionSet |
String |
假 |
由分号分隔的脚本资源文件扩展名列表。 只有这些文件作为范围作业资源上传到 ADLA |
| tags |
物体 |
假 |
作用域作业的自定义标记 |
TridentNotebook 活动属性
使用 type: "TridentNotebook".. 的活动的属性
TridentNotebook 活动类型属性
| Name |
类型 |
必选 |
Description |
| notebookId |
String |
是 |
笔记本 ID |
| workspaceId |
String |
是 |
工作区 ID |
| parameters |
物体 |
假 |
要用于此作业的每个运行的参数。 如果笔记本采用未指定的参数,将使用笔记本中的默认值 |
| sessionTag |
String |
假 |
Spark 会话标记 |
DatabricksNotebook 活动属性
使用 type: "DatabricksNotebook".. 的活动的属性
DatabricksNotebook 活动类型属性
| Name |
类型 |
必选 |
Description |
| notebookPath |
String |
是 |
要执行的 Databricks 笔记本的路径 |
| baseParameters |
ParameterSpecification |
假 |
要传递给 Databricks 笔记本的基本参数 |
| libraries |
DatabricksLibrarySpecification[] |
假 |
用于执行笔记本的库 |
| existingClusterId |
String |
假 |
要使用的现有 Databricks 群集的 ID |
| newClusterSettings |
DatabricksNewClusterSettings |
假 |
用于创建新 Databricks 群集的设置 |
| pythonWheelTask |
DatabricksPythonWheelTask |
假 |
Databricks 的 Python 滚轮任务配置 |
| sparkJarTask |
DatabricksSparkJarTask |
假 |
Databricks 的 Spark JAR 任务配置 |
| sparkPythonTask |
DatabricksSparkPythonTask |
假 |
Databricks 的 Spark Python 任务配置 |
RefreshDataFlow 活动属性
使用 type: "RefreshDataFlow".. 的活动的属性
RefreshDataFlow 活动类型属性
| Name |
类型 |
必选 |
Description |
| dataflowId |
String |
是 |
数据流 ID |
| workspaceId |
String |
是 |
工作区 ID |
| notifyOption |
String |
假 |
有关邮件设置的通知 |
| dataflowType |
String |
假 |
数据流的类型(系统属性) |
| parameters |
物体 |
假 |
要用于此作业的每个运行的参数。 如果数据流采用未指定的参数,将使用数据流中的默认值 |
Office365Email 活动属性
使用 type: "Office365Email".. 的活动的属性
Office365Email 活动类型属性
| Name |
类型 |
必选 |
Description |
| 身体 |
String |
假 |
邮件的内容 |
| 到 |
String |
假 |
分隔的收件人列表; |
| 主题 |
String |
假 |
邮件的主题 |
| 发件人 |
String |
假 |
发件人电子邮件 ID |
| 抄送 |
String |
假 |
抄送中的收件人列表,用 ; 分隔; |
| bcc |
String |
假 |
密件抄送中收件人列表,用 ; |
| 敏感性 |
String |
假 |
邮件的敏感度 |
| 重要性 |
String |
假 |
邮件的重要性 |
| replyTo |
String |
假 |
要接收邮件答复的电子邮件 ID |
| operationType |
String |
假 |
操作类型 |
电子邮件活动属性
使用 type: "Email".. 的活动的属性
电子邮件活动类型属性
| Name |
类型 |
必选 |
Description |
| 输入 |
LogicAppsActivityInput |
假 |
逻辑应用活动输入 |
| 身体 |
String |
假 |
邮件的内容 |
| 到 |
String |
假 |
分隔的收件人列表; |
| 主题 |
String |
假 |
邮件的主题 |
| 发件人 |
String |
假 |
发件人电子邮件 ID |
| 抄送 |
String |
假 |
抄送中的收件人列表,用 ; 分隔; |
| bcc |
String |
假 |
密件抄送中收件人列表,用 ; |
| 敏感性 |
String |
假 |
邮件的敏感度 |
| 重要性 |
String |
假 |
邮件的重要性 |
| replyTo |
String |
假 |
要接收邮件答复的电子邮件 ID |
| operationType |
String |
假 |
操作类型 |
MicrosoftTeams 活动属性
使用 type: "MicrosoftTeams".. 的活动的属性
MicrosoftTeams 活动类型属性
| Name |
类型 |
必选 |
Description |
| 内容 |
String |
假 |
消息的内容 |
| teamId |
String |
假 |
组 ID 或工作区 ID |
| 频道ID |
String |
假 |
模型数据集 ID |
| chatId |
String |
假 |
刷新类型 |
| operationType |
String |
假 |
操作类型 |
| 主题 |
String |
假 |
频道文章的主题 |
Teams 活动属性
使用 type: "Teams".. 的活动的属性
Teams 活动类型属性
| Name |
类型 |
必选 |
Description |
| 输入 |
LogicAppsActivityInput |
假 |
逻辑应用活动输入 |
| 内容 |
String |
假 |
消息的内容 |
| teamId |
String |
假 |
组 ID 或工作区 ID |
| 频道ID |
String |
假 |
模型数据集 ID |
| chatId |
String |
假 |
刷新类型 |
| operationType |
String |
假 |
操作类型 |
PBISemanticModelRefresh 活动属性
使用 type: "PBISemanticModelRefresh".. 的活动的属性
PBISemanticModelRefresh 活动类型属性
| Name |
类型 |
必选 |
Description |
| 方法 |
String |
假 |
HTTP 方法 |
| groupId |
String |
假 |
组 ID 或工作区 ID |
| workspaceId |
String |
假 |
工作区 ID |
| datasetId |
String |
假 |
模型数据集 ID |
| 类型 |
String |
假 |
刷新类型 |
| commitMode |
String |
假 |
刷新提交模式 |
| maxParallelism 最大并行度 |
整数 |
假 |
最大并行度 |
| retryCount |
整数 |
假 |
刷新重试计数 |
| 对象 |
Array |
假 |
表分区对象列表 |
| waitOnCompletion |
布尔 |
假 |
定义活动执行是否会等待依赖管道执行完成。 默认值为 false |
| 输入 |
LogicAppsActivityInput |
假 |
逻辑应用活动输入 |
| operationType |
String |
假 |
操作类型 |
| Name |
类型 |
必选 |
Description |
| 身体 |
String |
是 |
正文包含所有用户提供的参数 |
| 方法 |
String |
是 |
逻辑应用活动作的方法 |
| 路径 |
String |
是 |
标识逻辑应用活动作的 swagger 路径 |
| 标题 |
String |
假 |
逻辑应用活动作的标头 |
| queries |
String |
假 |
逻辑应用活动作的查询 |
ContentDetails 示例
{
"properties": {
"description": "Data pipeline with multiple activity types demonstrating different typeProperties",
"activities": [
{
"name": "Notebook1",
"type": "TridentNotebook",
"dependsOn": [],
"policy": {
"timeout": "0.12:00:00",
"retry": 0,
"retryIntervalInSeconds": 30,
"secureOutput": false,
"secureInput": false
},
"typeProperties": {
"notebookId": "f47ac10b-58cc-4372-a567-0e02b2c3d479",
"workspaceId": "b81f1d9f-33c7-462d-b818-2e4906a123f3"
}
},
{
"name": "Get Metadata1",
"type": "GetMetadata",
"dependsOn": [],
"policy": {
"timeout": "0.12:00:00",
"retry": 0,
"retryIntervalInSeconds": 30,
"secureOutput": false,
"secureInput": false
},
"typeProperties": {
"fieldList": [
"columnCount"
],
"datasetSettings": {
"annotations": [],
"linkedService": {
"name": "LakehouseGitArtifactW1",
"properties": {
"annotations": [],
"type": "Lakehouse",
"typeProperties": {
"workspaceId": "b81f1d9f-33c7-462d-b818-2e4906a123f3",
"artifactId": "c69ca3a7-fc70-4b4f-aad7-ce711b7a57d0",
"rootFolder": "Tables"
}
}
},
"type": "LakehouseTable",
"schema": [],
"typeProperties": {
"table": "Lh1"
}
}
}
},
{
"name": "Lookup1",
"type": "Lookup",
"dependsOn": [],
"policy": {
"timeout": "0.12:00:00",
"retry": 0,
"retryIntervalInSeconds": 30,
"secureOutput": false,
"secureInput": false
},
"typeProperties": {
"source": {
"type": "LakehouseTableSource"
},
"datasetSettings": {
"annotations": [],
"linkedService": {
"name": "LakehouseGitArtifactW1",
"properties": {
"annotations": [],
"type": "Lakehouse",
"typeProperties": {
"workspaceId": "b81f1d9f-33c7-462d-b818-2e4906a123f3",
"artifactId": "c69ca3a7-fc70-4b4f-aad7-ce711b7a57d0",
"rootFolder": "Tables"
}
}
},
"type": "LakehouseTable",
"schema": [],
"typeProperties": {
"table": "lh2"
}
}
}
},
{
"name": "PBISemanticModelRefresh1",
"type": "PBISemanticModelRefresh",
"dependsOn": [],
"userProperties": [],
"typeProperties": {
"method": "POST",
"groupId": "b81f1d9f-33c7-462d-b818-2e4906a123f3",
"datasetId": "67cd5565-49a2-401d-907f-744cc68b16c8",
"type": "Full",
"commitMode": "transactional",
"maxParallelism": 2,
"retryCount": 1,
"waitOnCompletion": true,
"operationType": "RefreshDataset"
},
"externalReferences": {
"connection": "276c4d2d-855a-4c20-adbe-23622ad82704"
},
"policy": {
"timeout": "7.00:00:00",
"retry": 0,
"retryIntervalInSeconds": 30,
"secureInput": false,
"secureOutput": false
}
}
]
}
}