Gegevens kopiëren en transformeren in Azure Database for PostgreSQL met behulp van Azure Data Factory of Synapse Analytics

Van toepassing op: Azure Data Factory Azure Synapse Analytics

In dit artikel wordt beschreven hoe u kopieeractiviteit gebruikt in Azure Data Factory- en Synapse Analytics-pijplijnen om gegevens van en naar Azure Database for PostgreSQL te kopiëren. En hoe u gegevensstroom gebruikt om gegevens te transformeren in Azure Database for PostgreSQL. Lees de inleidende artikelen voor Azure Data Factory en Synapse Analytics voor meer informatie.

Deze connector is gespecialiseerd voor de Azure Database for PostgreSQL-service. Als u gegevens wilt kopiëren uit een algemene PostgreSQL-database die zich on-premises of in de cloud bevindt, gebruikt u de PostgreSQL-connector.

Ondersteunde mogelijkheden

Deze Azure Database for PostgreSQL-connector wordt ondersteund voor de volgende mogelijkheden:

(1) Azure-integratieruntime (2) Zelfgehoste integratieruntime

De drie activiteiten werken op Azure Database for PostgreSQL Single Server, Flexible Server en Azure Cosmos DB for PostgreSQL.

Aan de slag

Als u de kopieeractiviteit wilt uitvoeren met een pijplijn, kunt u een van de volgende hulpprogramma's of SDK's gebruiken:

• Hulpprogramma Gegevens kopiëren
• Azure-portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager-sjabloon

Een gekoppelde service maken voor Azure Database for PostgreSQL met behulp van de gebruikersinterface

Gebruik de volgende stappen om een gekoppelde service te maken voor Azure Database for PostgreSQL in de gebruikersinterface van Azure Portal.

1. Blader naar het tabblad Beheren in uw Azure Data Factory- of Synapse-werkruimte en selecteer Gekoppelde services en selecteer vervolgens Nieuw:

   • Azure Data Factory
   • Azure Synapse

   

2. Zoek naar PostgreSQL en selecteer de Azure-database voor PostgreSQL-connector.

   

3. Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.

   

Details van de configuratie van de connector

De volgende secties bevatten details over eigenschappen die worden gebruikt voor het definiëren van Data Factory-entiteiten die specifiek zijn voor Azure Database for PostgreSQL-connector.

Eigenschappen van gekoppelde service

De Azure Database for PostgreSQL-connector versie 2.0 ondersteunt TRANSPORT Layer Security (TLS) 1.3 en meerdere SSL-modi (Secured Socket Layer). Raadpleeg deze sectie om de versie van uw Azure SQL Database-connector te upgraden vanaf versie 1.0. Raadpleeg de desbetreffende secties voor de details van de eigendom.

• Versie 2.0
• versie 1.0

Versie 2.0

De volgende eigenschappen worden ondersteund voor de gekoppelde Azure Database for PostgreSQL-service wanneer u versie 2.0 toepast:

Basisverificatie

Voorbeeld:

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": "5432",
            "database": "<database name>",
            "sslMode": 2,
            "username": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        }
    }
}

Voorbeeld:

Wachtwoord opslaan in Azure Key Vault

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": "5432",
            "database": "<database name>",
            "sslMode": 2,
            "username": "<user name>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Door het systeem toegewezen beheerde identiteitverificatie

Een data factory of Synapse-werkruimte kan worden gekoppeld aan een door het systeem toegewezen beheerde identiteit die de service vertegenwoordigt bij het verifiëren van andere resources in Azure. U kunt deze beheerde identiteit gebruiken voor Azure Database for PostgreSQL-verificatie. De aangewezen factory of Synapse-werkruimte kan met behulp van deze identiteit gegevens openen en kopiëren van of naar uw database.

Volg de stappen om door het systeem toegewezen beheerde identiteit te gebruiken:

1. Een data factory of Synapse-werkruimte kan worden gekoppeld aan een door het systeem toegewezen beheerde identiteit. Meer informatie. Een door het systeem toegewezen beheerde identiteit genereren

2. De Azure-gegevens voor PostgreSQL met door het systeem toegewezen beheerde identiteit aan.

   

3. In uw Azure Database voor PostgreSQL-resource binnen Beveiliging

   1. Selecteer verificatie-

   2. Selecteer alleen Microsoft Entra-verificatie of PostgreSQL en Microsoft Entra-verificatie als authenticatiemethode.

   3. Selecteer + Microsoft Entra-beheerders toevoegen

   4. De door het systeem toegewezen beheerde identiteit voor de Azure Data Factory-resource toevoegen als een van de Microsoft Entra-beheerders

      

4. Configureer een gekoppelde Azure-database voor PostgreSQL-service.

Voorbeeld:

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "authenticationType": "SystemAssignedManagedIdentity"
        }
    }
}

Door de gebruiker toegewezen beheerde identiteitverificatie

Een data factory of Synapse-werkruimte kan worden gekoppeld aan een door de gebruiker toegewezen beheerde identiteit die de service vertegenwoordigt bij het verifiëren van andere resources in Azure. U kunt deze beheerde identiteit gebruiken voor Azure Database for PostgreSQL-verificatie. De aangewezen factory of Synapse-werkruimte kan met behulp van deze identiteit gegevens openen en kopiëren van of naar uw database.

Als u door de gebruiker toegewezen beheerde identiteitverificatie wilt gebruiken, geeft u naast de algemene eigenschappen die in de vorige sectie worden beschreven, de volgende eigenschappen op:

U moet ook de stappen volgen:

1. Zorg ervoor dat u een resource voor door de gebruiker toegewezen beheerde identiteit maakt in Azure Portal. Voor meer informatie gaat u naar Door de gebruiker toegewezen beheerde identiteiten beheren

2. De door de gebruiker toegewezen beheerde identiteit toewijzen aan uw Azure-database voor PostgreSQL-resource

   1. In uw Azure-database voor PostgreSQL-serverbron onder Beveiliging

   2. Selecteer verificatie-

   3. Controleer of de verificatiemethode alleen Microsoft Entra-verificatie is of PostgreSQL- en Microsoft Entra-verificatie

   4. Selecteer de optie + Microsoft Entra-beheerders toevoegen en kies uw door de gebruiker toegewezen beheerde identiteit

      

3. De door de gebruiker toegewezen beheerde identiteit toewijzen aan uw Azure Data Factory-resource

   1. Selecteer Instellingen en vervolgens Beheerde identiteiten

   2. Op het tabblad Door de gebruiker toegewezen. Selecteer de + Toevoegen link en kies uw door de gebruiker beheerde identiteit

      

4. Configureer een gekoppelde Azure-database voor PostgreSQL-service.

Voorbeeld:

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "authenticationType": "UserAssignedManagedIdentity",
            "credential": {
                "referenceName": "<your credential>",
                "type": "CredentialReference"
            }
        }
    }
}

Authenticatie van service-principal

Voorbeeld:

Service-principal-sleutel

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "username": "<service principal name>",
            "authenticationType": "<authentication type>",
            "tenant": "<tenant>",
            "servicePrincipalId": "<service principal ID>",
            "azureCloudType": "<azure cloud type>",
            "servicePrincipalCredentialType": "<service principal type>",
            "servicePrincipalKey": "<service principal key>"
        }
    }
}

Voorbeeld:

Serviceprincipalcertificaat

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "username": "<service principal name>",
            "authenticationType": "<authentication type>",
            "tenant": "<tenant>",
            "servicePrincipalId": "<service principal ID>",
            "azureCloudType": "<azure cloud type>",
            "servicePrincipalCredentialType": "<service principal type>",
            "servicePrincipalEmbeddedCert": "<service principal certificate>",
            "servicePrincipalEmbeddedCertPassword": "<service principal embedded certificate password>"
        }
    }
}

Versie 1.0

De volgende eigenschappen worden ondersteund voor de gekoppelde Azure Database for PostgreSQL-service wanneer u versie 1.0 toepast:

Een typische verbindingsreeks is host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;password=<password>. Hier volgen meer eigenschappen die u per geval kunt instellen:

Voorbeeld:

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "1.0",
        "typeProperties": {
            "connectionString": "host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;password=<password>"
        }
    }
}

Voorbeeld:

Wachtwoord opslaan in Azure Key Vault

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "1.0",
        "typeProperties": {
            "connectionString": "host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Eigenschappen van gegevensset

Zie Gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets. Deze sectie bevat een lijst met eigenschappen die azure Database for PostgreSQL ondersteunt in gegevenssets.

Als u gegevens uit Azure Database for PostgreSQL wilt kopiëren, stelt u de typeeigenschap van de gegevensset in op AzurePostgreSqlTable. De volgende eigenschappen worden ondersteund:

Voorbeeld:

{
    "name": "AzurePostgreSqlDataset",
    "properties": {
        "type": "AzurePostgreSqlTable",
        "linkedServiceName": {
            "referenceName": "<AzurePostgreSql linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Eigenschappen van de kopieeractiviteit

Zie Pijplijnen en activiteiten voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door een Azure Database for PostgreSQL-bron.

Azure Database for PostgreSql als bron

Als u gegevens wilt kopiëren uit Azure Database for PostgreSQL, stelt u het brontype in de kopieeractiviteit in op AzurePostgreSqlSource. De volgende eigenschappen worden ondersteund in de sectie bron van kopieeractiviteit:

Voorbeeld:

"activities":[
    {
        "name": "CopyFromAzurePostgreSql",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<AzurePostgreSql input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzurePostgreSqlSource",
                "query": "<custom query e.g. SELECT * FROM mytable>",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Database for PostgreSQL als sink

Als u gegevens wilt kopiëren naar Azure Database for PostgreSQL, stelt u het sinktype in de kopieeractiviteit in op SqlSink. De volgende eigenschappen worden ondersteund in de sink-sectie van de kopieeractiviteit.

Voorbeeld 1: Opdracht kopiëren

"activities":[
    {
        "name": "CopyToAzureDatabaseForPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure PostgreSQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzurePostgreSqlSink",
                "preCopyScript": "<custom SQL script>",
                "writeMethod": "CopyCommand",
                "writeBatchSize": 1000000
            }
        }
    }
]

Voorbeeld 2: Upsert-gegevens

"activities":[
    {
        "name": "CopyToAzureDatabaseForPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure PostgreSQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzurePostgreSQLSink",
                "writeMethod": "Upsert",
                "upsertSettings": {
                    "keys": [
                        "<column name>"
                    ]
                },
            }
        }
    }
]

Gegevens bijwerken of toevoegen

Kopieeractiviteit ondersteunt systeemeigen upsert-bewerkingen. Als u een upsert wilt uitvoeren, moet de gebruiker sleutelkolom(s) opgeven die primaire sleutels of unieke kolommen zijn. Als de gebruiker geen sleutelkolom(en) opgeeft, worden primaire-sleutelkolom(s) in de sinktabel gebruikt. De kopieeractiviteit wijzigt de niet-sleutelkolom(men) in de sinktabel, waarbij de sleutelkolomwaarden overeenkomen met die in de brontabel; anders worden de gegevens opnieuw ingevoegd.

Parallel kopiëren vanuit Azure Database for PostgreSQL

De Azure Database for PostgreSQL-connector biedt bij het kopiëren van gegevens de mogelijkheid voor ingebouwde gegevenspartitionering om gegevens parallel te kopiëren. U vindt opties voor gegevenspartitionering op het tabblad Bron van de kopieeractiviteit.

Wanneer u een gepartitioneerde kopie inschakelt, voert de kopieeractiviteit parallelle query's uit op uw Azure Database for PostgreSQL-bron om gegevens per partitie te laden. De parallelle graad wordt bepaald door de parallelCopies instelling voor de kopieeractiviteit. Als u bijvoorbeeld instelt op parallelCopies vier, genereert de service gelijktijdig vier query's en voert deze uit op basis van de opgegeven partitieoptie en -instellingen. Elke query haalt een deel van de gegevens op uit uw Azure Database for PostgreSQL.

U wordt aangeraden parallelle kopie met gegevenspartitionering in te schakelen, met name wanneer u grote hoeveelheden gegevens uit uw Azure Database for PostgreSQL laadt. Hier volgen voorgestelde configuraties voor verschillende scenario's. Wanneer u gegevens kopieert naar een bestandsgegevensarchief, is het raadzaam om naar een map te schrijven als meerdere bestanden (alleen mapnaam opgeven), in welk geval de prestaties beter zijn dan schrijven naar één bestand.

Aanbevolen procedures voor het laden van gegevens met partitieoptie:

1. Kies een onderscheidende kolom als partitiekolom (zoals primaire sleutel of unieke sleutel) om scheeftrekken van gegevens te voorkomen.
2. Als de tabel een ingebouwde partitie heeft, gebruikt u de partitieoptie Fysieke partities van de tabel om betere prestaties te krijgen.
3. Als u Azure Integration Runtime gebruikt om gegevens te kopiëren, kunt u grotere 'Gegevensintegratie-eenheden (DIU)' (>4) instellen om meer rekenresources te gebruiken. Controleer de toepasselijke scenario's daar.
4. 'Mate van kopieerparallellisme' bepaalt de partitienummers. Als dit getal te groot wordt ingesteld, kan dat de prestaties negatief beïnvloeden. U wordt aangeraden dit nummer in te stellen als (DIU of het aantal zelf-hostende IR-knooppunten) * (2 tot en met 4).

Voorbeeld: volledige belasting van grote tabellen met fysieke partities

"source": {
    "type": "AzurePostgreSqlSource",
    "partitionOption": "PhysicalPartitionsOfTable"
}

Voorbeeld: query met dynamische bereikspartitie

"source": {
    "type": "AzurePostgreSqlSource",
    "query": "SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Mapping-eigenschappen van de gegevensstroom

Wanneer u gegevens omzet in de gegevensstroom voor mapping, kunt u tabellen schrijven en lezen vanuit Azure Database voor PostgreSQL. Voor meer informatie, zie de brontransformatie en sinktransformatie in gegevensstromen voor mapping. U kunt ervoor kiezen om een Azure Database for PostgreSQL-gegevensset of een inline gegevensset te gebruiken als bron- en doeltype.

Brontransformatie

De onderstaande tabel bevat de eigenschappen die worden ondersteund door de Bron van Azure Database for PostgreSQL. U kunt deze eigenschappen bewerken op het tabblad Bronopties .

Voorbeeld van Azure Database for PostgreSQL-bronscript

Wanneer u Azure Database for PostgreSQL als brontype gebruikt, is het bijbehorende gegevensstroomscript:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzurePostgreSQLSource

Afvoertransformatie

De onderstaande tabel bevat de eigenschappen die worden ondersteund door de Sink van Azure Database for PostgreSQL. U kunt deze eigenschappen bewerken op het tabblad Sink-opties .

• Incrementeel extraheren inschakelen: gebruik deze optie om ADF te laten weten dat alleen rijen moeten worden verwerkt die zijn gewijzigd sinds de laatste keer dat de pijplijn is uitgevoerd.

• Incrementele kolom: Wanneer u de functie incrementeel extraheren gebruikt, moet u de datum/tijd of numerieke kolom kiezen die u wilt gebruiken als het watermerk in de brontabel.

• Begin met lezen vanaf het begin: Door deze optie in te stellen met incrementele extractie, wordt ADF geïnstrueerd om bij de eerste uitvoering van een pijplijn met ingeschakelde incrementele extractie alle rijen te lezen.

Voorbeeld van Azure Database for PostgreSQL-sink-script

Wanneer u Azure Database for PostgreSQL als sinktype gebruikt, is het bijbehorende gegevensstroomscript:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzurePostgreSqlSink

Script-activiteit

Zie Scriptactiviteit voor meer informatie over scriptactiviteit.

Eigenschappen van opzoekactiviteit

Zie Lookup-activiteit voor meer informatie over de eigenschappen.

De connector voor Azure Database voor PostgreSQL bijwerken

Selecteer op de pagina Gekoppelde service bewerken2.0 onder Versie en configureer de gekoppelde service door te verwijzen naar de eigenschappen van de gekoppelde service versie 2.0.

Verwante inhoud

Zie Ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen en sinks door de kopieeractiviteit.