通过

数据流定义

本文详细介绍数据流项的定义结构。

定义部件

定义部件路径 类型 必选 说明
queryMetadata.json 元数据 ContentDetails （JSON） 是 介绍与数据流中的查询选项相关的元数据
mashup.pq Mashup ContentDetails （PQ） 是 描述有效负载的混合内容。 它包含数据流中执行的所有步骤的序列

元数据 ContentDetails

描述有效负载的内容

名字 类型 必选 说明
formatVersion 字符串 是 数据流项格式的版本。 唯一允许的值是 202502
姓名 字符串 是 混搭的名称
computeEngineSettings ComputeEngineSettings 假 计算引擎设置
queryGroups QueryGroup[] 假 查询组
documentLocale 字符串 假 文档的区域设置;需要 BCP-47 语言代码
gatewayObjectId 字符串 假 网关对象 ID
queriesMetadata QueriesMetadata 假 查询元数据
连接 连接[] 假 用户连接
fastCombine 布尔值 假 指示是否使用快速组合。 True - 使用快速组合。 False （默认值） - 不使用快速组合
allowNativeQueries 布尔值 假 指示是否允许本机查询。 True （默认值） - 允许本机查询。 False - 不允许本机查询
skipAutomaticTypeAndHeaderDetection 布尔值 假 指示是否跳过自动类型和标头检测。 True - 跳过检测。 False （默认值） - 不跳过检测
参数 布尔值 假 指示是否使用参数模式。 True - 使用参数模式。 False （默认值） - 不使用参数模式

ComputeEngineSettings 内容

名字 类型 必选 说明
allowFastCopy 布尔值 假 指示是否启用了快速复制。 True （默认值） - 允许快速复制。 False - 不允许快速复制
maxConcurrency 整数 假 执行数据流时要使用的并发计算的最大数目

QueryGroups 内容

名字 类型 必选 说明
id 字符串 假 查询组的 ID
姓名 字符串 假 查询组的名称
描述 字符串 假 查询组的说明
parentId 字符串 假 查询组的父 ID
订单 整数 假 查询组的顺序

QueriesMetadata 内容

名字 类型 必选 说明
queryId 字符串 是 查询 ID
queryName 字符串 是 查询的名称
queryGroupId 字符串 假 查询组 ID
IsHidden 布尔值 假 指示查询是否隐藏。 True - 查询已隐藏。 False （默认值） - 查询未隐藏
loadEnabled 布尔值 假 指示是否启用负载。 True （默认值） - 已启用负载。 False - 未启用加载

连接内容

名字 类型 必选 说明
路径 字符串 假 连接路径
类 字符串 假 连接类型
connectionId 字符串 假 连接 ID

元数据 ContentDetails 示例

{
  "formatVersion": "202502",
  "computeEngineSettings": {
    "allowFastCopy": true,
    "maxConcurrency": 1
  },
  "name": "SampleDataflowGen",
  "queryGroups": [
    
  ],
  "documentLocale": "en-US",
  "gatewayObjectId": null,
  "queriesMetadata": {
    "publicholidays": {
      "queryId": "a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1",
      "queryName": "publicholidays",
      "queryGroupId": null,
      "isHidden": false,
      "loadEnabled": true
    }
  },
  "connections": [
    {
      "path": "Lakehouse",
      "kind": "Lakehouse",
      "connectionId": "{\"ClusterId\":\"b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2\",\"DatasourceId\":\"c2c2c2c2-dddd-eeee-ffff-a3a3a3a3a3a3\"}"
    }
  ],
  "fastCombine": false,
  "allowNativeQueries": true,
  "skipAutomaticTypeAndHeaderDetection": false
}

Mashup ContentDetails 示例

[StagingDefinition = [Kind = "FastCopy"]]
section Section1;
shared publicholidays = 
let  Source = Lakehouse.Contents([]),  
#"Navigation 1" = Source{[workspaceId = "d3d3d3d3-eeee-ffff-aaaa-b4b4b4b4b4b4"]}[Data],  
#"Navigation 2" = #"Navigation 1"{[lakehouseId = "e4e4e4e4-ffff-aaaa-bbbb-c5c5c5c5c5c5"]}[Data],  
#"Navigation 3" = #"Navigation 2"{[Id = "publicholidays", ItemKind = "Table"]}[Data],  
#"Changed column type" = Table.TransformColumnTypes(#"Navigation 3", {{"normalizeHolidayName", type text}}),  
#"Lowercased text" = Table.TransformColumns(#"Changed column type", {{"countryRegionCode", each Text.Lower(_), type nullable text}}),  
#"Uppercased text" = Table.TransformColumns(#"Lowercased text", {{"normalizeHolidayName", each Text.Upper(_), type nullable text}}),  
#"Calculated text length" = Table.TransformColumns(#"Uppercased text", {{"countryOrRegion", each Text.Length(_), type nullable Int64.Type}})in  #"Calculated text length";