使用 Azure 数据工厂或 Synapse Analytics 向/从 Azure 数据资源管理器复制数据

适用于： Azure 数据工厂 Azure Synapse Analytics

本文介绍如何使用 Azure 数据工厂和 Synapse Analytics 管道中的复制活动向/从 Azure 数据资源管理器复制数据。 本文是在总体概述复制活动的复制活动概述一文的基础之上编写的。

支持的功能

以下功能支持此 Azure 数据资源管理器连接器：

① Azure 集成运行时 ② 自承载集成运行时

可以将数据从任何受支持的源数据存储复制到 Azure 数据资源管理器。 可以将数据从 Azure 数据资源管理器复制到任何受支持的接收器数据存储。 有关复制活动支持作为源或接收器的数据存储的列表，请参阅支持的数据存储表。

使用 Azure 数据资源管理器连接器，可执行以下操作：

• 通过将 Microsoft Entra 应用程序令牌身份验证与服务主体配合使用来复制数据。
• 作为源时，请使用 KQL (Kusto) 查询来检索数据。
• 作为接收器时，请将数据追加到目标表。

入门

若要使用管道执行复制活动，可以使用以下工具或 SDK 之一：

• 复制数据工具
• Azure 门户
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 模板

使用 UI 创建指向 Azure 数据资源管理器的链接服务

使用以下步骤在 Azure 门户 UI 中创建指向 Azure 数据资源管理器的链接服务。

1. 浏览到 Azure 数据工厂或 Synapse 工作区中的“管理”选项卡并选择“链接服务”，然后单击“新建”：

   • Azure 数据工厂
   • Azure Synapse

   

2. 搜索资源管理器并选择 Azure 数据资源管理器 (Kusto) 连接器。

   

3. 配置服务详细信息，测试连接，然后创建新的链接服务。

   

连接器配置详细信息

对于特定于 Azure 数据资源管理器连接器的实体，以下部分提供了有关用于定义这些实体的属性的详细信息。

链接服务属性

Azure 数据资源管理器连接器支持以下身份验证类型。 有关详细信息，请参阅相应的部分：

• 服务主体身份验证
• 系统分配的托管标识身份验证
• 用户分配的托管标识身份验证

服务主体身份验证

若要使用服务主体身份验证，请按照以下步骤获取服务主体并授予权限：

1. 将应用程序注册到 Microsoft 标识平台。 快速入门：通过 Microsoft 标识平台注册应用程序。 记下以下值，这些值用于定义链接服务：

   • 应用程序 ID
   • 应用程序密钥
   • 租户 ID

2. 在 Azure 数据资源管理器中向服务主体授予正确的权限。 有关角色和权限以及管理权限的详细信息，请参阅管理 Azure 数据资源管理器数据库权限。 一般情况下，必须：

   • 作为源，至少向数据库授予“数据库查看者”角色
   • 作为接收器，至少向数据库授予“数据库用户”角色

Azure 数据资源管理器链接服务支持以下属性：

示例：使用服务主体密钥身份验证

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

系统分配的托管标识身份验证

若要详细了解 Azure 资源托管标识，请参阅 Azure 资源托管标识。

若要使用系统分配的托管标识身份验证，请按照以下步骤授予权限：

1. 通过复制与工厂或 Synapse 工作区一起生成的“托管标识对象 ID”值，检索托管标识信息。

2. 在 Azure 数据资源管理器中向托管标识授予正确的权限。 有关角色和权限以及管理权限的详细信息，请参阅管理 Azure 数据资源管理器数据库权限。 一般情况下，必须：

   • 作为源，向数据库授予数据库查看者角色。
   • 作为接收器，向数据库授予数据库引入者和数据库查看者角色。

Azure 数据资源管理器链接服务支持以下属性：

示例：使用系统分配的托管标识身份验证

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

用户分配的托管标识身份验证

若要详细了解 Azure 资源托管标识，请参阅 Azure 资源托管标识

若要使用用户分配的托管标识身份验证，请执行以下步骤：

1. 创建一个或多个用户分配的托管标识，并在 Azure 数据资源管理器中授予权限。 有关角色和权限以及管理权限的详细信息，请参阅管理 Azure 数据资源管理器数据库权限。 一般情况下，必须：

   • 作为源，至少向数据库授予“数据库查看者”角色
   • 作为接收器：至少向数据库授予“数据库引入者”角色

2. 为数据工厂或 Synapse 工作区分配一个或多个用户分配的托管标识，并为每个用户分配的托管标识创建凭据。

Azure 数据资源管理器链接服务支持以下属性：

示例：使用用户分配的托管标识身份验证

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

数据集属性

有关可用于定义数据集的各个部分和属性的完整列表，请参阅数据集。 本部分列出了 Azure 数据资源管理器数据集支持的属性。

若要将数据复制到 Azure 数据资源管理器，请将数据集的 type 属性设置为 AzureDataExplorerTable。

支持以下属性：

数据集属性示例：

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

复制活动属性

有关可用于定义活动的各个部分和属性的完整列表，请参阅管道和活动。 本部分提供了 Azure 数据资源管理器源和接收器支持的属性列表。

Azure 数据资源管理器作为源

若要从 Azure 数据资源管理器复制数据，请将复制活动源中的 type 属性设置为 AzureDataExplorerSource。 复制活动源部分支持以下属性：

示例：

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Azure 数据资源管理器作为接收器

若要将数据复制到 Azure 数据资源管理器，请将复制活动接收器中的 type 属性设置为 AzureDataExplorerSink。 复制活动接收器部分中支持以下属性：

示例：

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

映射数据流属性

在映射数据流中转换数据时，可以在 Azure 数据资源管理器中读取表以及将数据写入表。 有关详细信息，请参阅映射数据流中的源转换和接收器转换。 你可以选择使用 Azure 数据资源管理器数据集或内联数据集作为源和接收器类型。

源转换

下表列出了 Azure 数据资源管理器源支持的属性。 可以在“源选项”选项卡中编辑这些属性。

Azure 数据资源管理器源脚本示例

使用 Azure 数据资源管理器数据集作为源类型时，关联的数据流脚本为：

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

如果使用内联数据集，则关联的数据流脚本为：

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

接收器转换

下表列出了 Azure 数据资源管理器接收器支持的属性。 可以在“设置”选项卡中编辑这些属性。使用内联数据集时，你会看到其他设置，这与“数据集属性”部分所描述的属性相同。

Azure 数据资源管理器接收器脚本示例

使用 Azure 数据资源管理器数据集作为接收器类型时，关联的数据流脚本为：

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

如果使用内联数据集，则关联的数据流脚本为：

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

“查找”活动属性

有关属性的详细信息，请参阅查找活动。

相关内容

• 有关复制活动支持作为源和接收器的数据存储的列表，请参阅支持的数据存储。

• 详细了解如何将数据从 Azure 数据工厂和 Synapse Analytics 复制到 Azure 数据资源管理器。