使用 Azure 数据工厂或 Synapse Analytics 从 Cassandra 复制数据

适用于： Azure 数据工厂 Azure Synapse Analytics

本文概述如何使用 Azure 数据工厂或 Synapse Analytics 管道中的复制活动从 Cassandra 数据库复制数据。 它是基于概述复制活动总体的复制活动概述一文。

支持的功能

此 Cassandra 连接器支持以下功能：

① Azure 集成运行时 ② 自承载集成运行时

如需可以用作源/接收器的数据存储的列表，请参阅支持的数据存储表。

具体而言，此 Cassandra 连接器支持：

• Cassandra 版本 3.x.x 和 4.x.x（针对版本 2.0）。
• Cassandra 版本 2.x 和 3.x（针对版本 1.0）。
• 使用基本或匿名身份验证复制数据。

Prerequisites

如果数据存储位于本地网络、Azure 虚拟网络或 Amazon Virtual Private Cloud 内部，则需要配置自承载集成运行时才能连接到该数据存储。

如果数据存储是托管的云数据服务，则可以使用 Azure Integration Runtime。 如果访问范围限制为防火墙规则中允许的 IP，你可以选择将 Azure Integration Runtime IP 添加到允许列表。

此外，还可以使用 Azure 数据工厂中的托管虚拟网络集成运行时功能访问本地网络，而无需安装和配置自承载集成运行时。

要详细了解网络安全机制和数据工厂支持的选项，请参阅数据访问策略。

集成运行时提供内置 Cassandra 驱动程序，因此从/向 Cassandra 复制数据时，无需手动安装任何驱动程序。

入门

若要使用管道执行复制活动，可以使用以下工具或 SDK 之一：

• 复制数据工具
• Azure 门户
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 模板

使用 UI 创建一个到 Cassandra 的链接服务

使用以下步骤在 Azure 门户 UI 中创建一个到 Cassandra 的链接服务。

1. 浏览到 Azure 数据工厂或 Synapse 工作区中的“管理”选项卡并选择“链接服务”，然后单击“新建”：

   • Azure 数据工厂
   • Azure Synapse

   

2. 搜索 Cassandra 并选择 Cassandra 连接器。

   

3. 配置服务详细信息，测试连接，然后创建新的链接服务。

   

连接器配置详细信息

对于特定于 Cassandra 连接器的数据工厂实体，以下部分提供有关用于定义这些实体的属性的详细信息。

链接服务属性

Cassandra 链接的服务支持以下属性：

示例：版本 2.0

{
    "name": "CassandraLinkedService",
    "properties": {
        "type": "Cassandra",
        "version": "2.0", 
        "typeProperties": {
            "host": "<host>",
            "authenticationType": "Basic",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

示例：版本 1.0

{
    "name": "CassandraLinkedService",
    "properties": {
        "type": "Cassandra",
        "typeProperties": {
            "host": "<host>",
            "authenticationType": "Basic",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供 Cassandra 数据集支持的属性列表。

要从 Cassandra 复制数据，请将数据集的 type 属性设置为“CassandraTable”。 支持以下属性：

示例：

{
    "name": "CassandraDataset",
    "properties": {
        "type": "CassandraTable",
        "typeProperties": {
            "keySpace": "<keyspace name>",
            "tableName": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Cassandra linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供 Cassandra 源支持的属性列表。

以 Cassandra 作为源

如果使用版本 2.0 从 Cassandra 复制数据，请将复制活动中的源类型设置为 CassandraSource。 复制活动源部分支持以下属性：

示例：

"activities":[
    {
        "name": "CopyFromCassandra",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Cassandra input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "CassandraSource",
                "query": "select id, firstname, lastname from mykeyspace.mytable",
                "consistencyLevel": "one"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

如果使用版本 1.0 从 Cassandra 复制数据，请将复制活动中的源类型设置为 CassandraSource。 复制活动源部分支持以下属性：

Cassandra 的数据类型映射

从 Cassandra 复制数据时，以下映射用于从 Cassandra 数据类型映射到在服务内部使用的临时数据类型。 若要了解复制活动如何将源架构和数据类型映射到接收器，请参阅架构和数据类型映射。

使用版本 2.0 时处理集合

使用版本 2.0 从 Cassandra 数据库复制数据时，不会创建集合类型的虚拟表。 可以将源表以 JSON 格式以原始类型复制到接收器。

示例

例如，下面的“ExampleTable”是一个 Cassandra 数据库表，其中包含名为“pk_int”的整数主键列、文本列命名值、列表列、映射列和名为“StringSet”的集列。

可以直接从源表读取数据，列值以 JSON 格式保留其原始类型，如下表所示：

使用版本 1.0 时，通过虚拟表与集合协作

服务使用内置的 ODBC 驱动程序连接到 Cassandra 数据库，并从中复制数据。 对于包括映射、集和列表在内的集合类型，该驱动程序会将数据重新规范化到相应的虚拟表中。 具体而言，如果表中包含任何集合列，则该驱动程序会生成以下虚拟表：

• 基表，其中包含与实际表相同的数据（集合列除外）。 基表使用与其所表示的实际表相同的名称。
• 对于每个集合列都会生成一个虚拟表，这会扩展嵌套数据。 使用实际表名称、分隔符“vt”和列名称命名表示集合的虚拟表。

虚拟表引用实际表中的数据，以使驱动程序能访问非规范化的数据。 有关详细信息，请参阅示例部分。 通过查询和联接虚拟表，可访问 Cassandra 集合的内容。

示例

例如，下面的“ExampleTable”是一个 Cassandra 数据库表，其中包含名为“pk_int”的整数主键列、文本列命名值、列表列、映射列和名为“StringSet”的集列。

该驱动程序会生成多个虚拟表来表示此单个表。 虚拟表中的外键列会引用实际表中的主键列，并指示该虚拟表行对应哪一个实际表行。

第一个虚拟表是名为“ExampleTable”的基表，如下表所示：

除了会在此表中被省略但在其他虚拟表中展开的集合外，该基表包含与原始数据库表相同的数据。

下表中显示的虚拟表会重新规范化列表、映射和 StringSet 列中的数据。 名称以“_index”或“_key”结尾的列指示数据在原始列表或映射中的位置。 名称以“_value”结尾的列包含从集合中展开的数据。

表 "ExampleTable_vt_List"：

表 "ExampleTable_vt_Map"：

表 "ExampleTable_vt_StringSet"：

“查找”活动属性

若要详细了解这些属性，请查看“查找”活动。

升级 Cassandra 连接器

下面是帮助你升级 Cassandra 连接器的步骤：

1. 在 “编辑链接服务 ”页中，选择版本 2.0 并通过引用 链接服务属性配置链接服务。

2. 在版本 2.0 中， query 复制活动源仅支持 CQL 查询，不支持 SQL-92 查询。 有关详细信息，请参阅 Cassandra 作为数据源。

3. 版本 2.0 的数据类型映射不同于版本 1.0 的数据类型映射。 若要了解最新的数据类型映射，请参阅 Cassandra 的数据类型映射。

Cassandra 版本 2.0 和版本 1.0 之间的差异

Cassandra 连接器版本 2.0 提供新功能，并与版本 1.0 的大多数功能兼容。 下表显示了版本 2.0 和版本 1.0 之间的功能差异。

相关内容

有关复制活动支持作为源和接收器的数据存储的列表，请参阅支持的数据存储。