使用 Azure 数据工厂或 Azure Synapse Analytics 从/向 Salesforce V2 复制数据

适用于： Azure 数据工厂 Azure Synapse Analytics

本文概述如何使用 Azure 数据工厂和 Azure Synapse 管道中的复制活动从/向 Salesforce 复制数据。 本文基于总体概述复制活动的复制活动概述一文。

支持的功能

此 Salesforce 连接器支持以下功能：

① Azure 集成运行时 ② 自承载集成运行时

如需可以用作源或接收器的数据存储的列表，请参阅支持的数据存储表。

具体而言，Salesforce 连接器支持：

• Salesforce 开发人员版、专业版、企业版或不受限制版。
• 从自定义域复制数据或将数据复制到自定义域（可以在生产环境和沙箱环境中配置自定义域）。

可以通过链接服务中的 apiVersion 属性显式设置用于读取/写入数据的 API 版本。 将数据复制到 Salesforce 时，连接器使用 BULK API 2.0。

Prerequisites

• 在 Salesforce 中，必须启用 API 权限。

• 需要参考此官方文档或这篇文章建议中的分步指南在 Salesforce 门户中配置已连接的应用。

  Important

  • 执行用户必须具有“仅限 API”权限。
  • 可以通过会话策略而非刷新令牌来更改访问令牌过期时间。

Salesforce Bulk API 2.0 限制

我们使用 Salesforce Bulk API 2.0 来查询和引入数据。 在 Bulk API 2.0 中，会自动为你创建批处理。 在任意滚动的 24 小时周期内，最多可以提交 15,000 个批处理。 如果批处理超出限制，则会失败。

在 Bulk API 2.0 中，只有引入作业使用批处理。 查询作业不使用它。 有关详细信息，请参阅如何在 Bulk API 2.0 中处理请求 - 开发人员指南。

有关详细信息，请参阅 Salesforce 开发人员限制中的“常规限制”部分。

开始

若要使用管道执行复制活动，可以使用以下工具或 SDK 之一：

• 复制数据工具
• Azure 门户
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 模板

使用 UI 创建到 Salesforce 的链接服务

使用以下步骤在 Azure 门户 UI 中创建一个到 Salesforce 的链接服务。

1. 浏览到 Azure 数据工厂或 Synapse 工作区中的“管理”选项卡并选择“链接服务”，然后单击“新建”：

   • Azure 数据工厂
   • Azure Synapse

   

2. 搜索“Salesforce”并选择 Salesforce 连接器。

   

3. 配置服务详细信息，测试连接，然后创建新的链接服务。

   

连接器配置详细信息

对于特定于 Salesforce 连接器的实体，以下部分提供了有关用于定义这些实体的属性的详细信息。

链接服务属性

Salesforce 链接服务支持以下属性。

示例：存储凭据

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "SalesforceV2",
        "typeProperties": {
            "environmentUrl": "<environment URL>",
            "authenticationType": "OAuth2ClientCredentials",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value": "<client secret>"
            },
            "apiVersion": "<API Version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

示例：在 Key Vault 中存储凭据

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "SalesforceV2",
        "typeProperties": {
            "environmentUrl": "<environment URL>",
            "authenticationType": "OAuth2ClientCredentials",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of client secret in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "apiVersion": "<API Version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

示例：将凭据存储在密钥保管库中，以及 environmentUrl 和 clientId

将凭据存储在密钥保管库中，以及存储 environmentUrl 和 clientId 后，你将无法再使用 UI 编辑设置。 必须选中“以 JSON 格式指定动态内容”复选框，并且必须手动进行此配置。 此方案的优点是可以从 Key Vault 派生所有配置设置，而无需在此处进行任何的参数化。

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "SalesforceV2",
        "typeProperties": {
            "environmentUrl": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of environment URL in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "authenticationType": "OAuth2ClientCredentials",
            "clientId": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of client ID in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "clientSecret": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of client secret in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "apiVersion": "<API Version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供 Salesforce 数据集支持的属性列表。

要从/向 Salesforce 复制数据，请将数据集的 type 属性设置为 SalesforceV2Object。 支持以下属性。

Example:

{
    "name": "SalesforceDataset",
    "properties": {
        "type": "SalesforceV2Object",
        "typeProperties": {
            "objectApiName": "MyTable__c"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Salesforce linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供 Salesforce 源和接收器支持的属性列表。

将 Salesforce 用作源类型

要从 Salesforce 复制数据，请将复制活动中的源类型设置为 SalesforceV2Source。 复制活动的 source 节支持以下属性。

Example:

"activities":[
    {
        "name": "CopyFromSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Salesforce input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SalesforceV2Source",
                "query": "SELECT Col_Currency__c, Col_Date__c, Col_Email__c FROM AllDataType__c",
                "includeDeletedObjects": false,
                "partitionOption": "AutoDetect"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

将 Salesforce 用作接收器类型

要向 Salesforce 复制数据，请将复制活动中的接收器类型设置为 SalesforceV2Sink。 复制活动 sink 节支持以下属性。

示例：复制活动中的 Salesforce 接收器

"activities":[
    {
        "name": "CopyToSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Salesforce output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SalesforceV2Sink",
                "writeBehavior": "Upsert",
                "externalIdFieldName": "CustomerId__c",
                "writeBatchSize": 10000,
                "ignoreNullValues": true
            }
        }
    }
]

Salesforce 的数据类型映射

当你从 Salesforce 复制数据时，以下映射用于在内部从 Salesforce 数据类型映射到服务临时数据类型。 若要了解复制活动如何将源架构和数据类型映射到接收器，请参阅架构和数据类型映射。

“查找”活动属性

若要详细了解这些属性，请查看“查找”活动。

Salesforce 连接器生命周期和升级

下表显示了不同版本的 Salesforce 连接器的发布阶段和更改日志：

将 Salesforce 连接器从 V1 升级到 V2

下面是帮助你升级 Salesforce 连接器的步骤：

1. 通过参考先决条件，在 Salesforce 门户中配置连接的应用。

2. 新建 Salesforce 链接服务，并引用链接服务属性以对其进行配置。 还需要手动更新依赖于旧链接服务的现有数据集，编辑每个数据集以改用新的链接服务。

3. 如果你在复制活动源或引用 V1 链接服务的查找活动中使用 SQL 查询，则需要将它们转换为 SOQL 查询。 从 Salesforce 作为源类型和 Salesforce 对象查询语言 (SOQL) 详细了解 SOQL 查询。

4. 在复制活动源中支持 partitionOption。 有关详细配置，请参阅将 Salesforce 用作源类型。

5. readBehavior 被替换为 includeDeletedObjects 在复制活动源或查找活动中。 有关详细配置，请参阅将 Salesforce 用作源类型。

相关内容

有关复制活动支持作为源和接收器的数据存储的列表，请参阅支持的数据存储。