Kopiera och transformera data i Azure Database for PostgreSQL med Hjälp av Azure Data Factory eller Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln beskriver hur du använder kopieringsaktivitet i Azure Data Factory- och Synapse Analytics-pipelines för att kopiera data från och till Azure Database for PostgreSQL. Och hur du använder Data Flow för att transformera data i Azure Database for PostgreSQL. Mer information finns i introduktionsartiklarna för Azure Data Factory och Synapse Analytics.

Den här anslutningsappen är specialiserad för Azure Database for PostgreSQL-tjänsten. Om du vill kopiera data från en allmän PostgreSQL-databas som finns lokalt eller i molnet använder du PostgreSQL-anslutningsappen.

Funktioner som stöds

Den här Azure Database for PostgreSQL-anslutningsappen stöds för följande funktioner:

(1) Azure Integration Runtime (2) Lokalt installerad integrationskörning

De tre aktiviteterna fungerar på Azure Database for PostgreSQL – enskild server, flexibel server och Azure Cosmos DB för PostgreSQL.

Komma igång

Om du vill utföra kopieringsaktiviteten med en pipeline kan du använda något av följande verktyg eller SDK:er:

• Kopiera data-verktyget
• Azure Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST-API
• mall för Azure Resource Manager

Skapa en länkad tjänst till Azure Database for PostgreSQL med hjälp av användargränssnittet

Använd följande steg för att skapa en länkad tjänst till Azure Database for PostgreSQL i Azure Portal användargränssnittet.

1. Bläddra till fliken Hantera i Din Azure Data Factory- eller Synapse-arbetsyta och välj Länkade tjänster och välj sedan Nytt:

   • Azure Data Factory
   • Azure Synapse

   

2. Sök efter PostgreSQL och välj Azure-databasen för PostgreSQL-anslutningsprogrammet.

   

3. Konfigurera tjänstinformationen, testa anslutningen och skapa den nya länkade tjänsten.

   

Konfigurationsinformation för anslutning

Följande avsnitt innehåller information om egenskaper som används för att definiera Data Factory-entiteter som är specifika för Azure Database for PostgreSQL-anslutningstjänsten.

Länkade tjänstegenskaper

Azure Database for PostgreSQL-anslutningsappen version 2.0 stöder TLS (Transport Layer Security) 1.3 och flera SSL-lägen (Secured Socket Layer). Se det här avsnittet om du vill uppgradera azure SQL Database-anslutningsversionen från version 1.0. Information om fastigheten finns i de motsvarande avsnitten.

• Version 2.0
• version 1.0

Version 2.0

Följande egenskaper stöds för den länkade tjänsten Azure Database for PostgreSQL när du tillämpar version 2.0:

Grundläggande autentisering

Exempel:

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": "5432",
            "database": "<database name>",
            "sslMode": 2,
            "username": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        }
    }
}

Exempel:

Lagra lösenord i Azure Key Vault

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": "5432",
            "database": "<database name>",
            "sslMode": 2,
            "username": "<user name>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Systemtilldelad autentisering av hanterad identitet

En datafabrik eller Synapse-arbetsyta kan associeras med en systemtilldelad hanterad identitet som representerar tjänsten när den autentiseras mot andra resurser i Azure. Du kan använda den här hanterade identiteten för Azure Database for PostgreSQL-autentisering. Den avsedda fabriken eller Synapse-arbetsytan kan komma åt och kopiera data från eller till databasen med hjälp av den här identiteten.

Följ stegen för att använda systemtilldelad hanterad identitet:

1. En datafabrik eller Synapse-arbetsyta kan associeras med en systemtilldelad hanterad identitet. Läs mer, Generera systemtilldelad hanterad identitet

2. Azure-datatjänst för PostgreSQL med systemtilldelad hanterad identitet på.

   

3. I din PostgreSQL-databasresurs i Azure under Säkerhet

   1. Välj autentisering

   2. Välj antingen Endast Microsoft Entra-autentisering eller PostgreSQL- och Microsoft Entra-autentiseringsmetod .

   3. Välj + Lägg till Microsoft Entra-administratörer

   4. Lägg till den systemtilldelade hanterade identiteten för Azure Data Factory-resursen som en av Microsoft Entra-administratörerna

      

4. Konfigurera en ansluten Azure-databas för PostgreSQL-tjänst.

Exempel:

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "authenticationType": "SystemAssignedManagedIdentity"
        }
    }
}

Användartilldelad hanterad identitetsautentisering

En datafabrik eller Synapse-arbetsyta kan associeras med en användartilldelad hanterad identitet som representerar tjänsten när den autentiseras mot andra resurser i Azure. Du kan använda den här hanterade identiteten för Azure Database for PostgreSQL-autentisering. Den avsedda fabriken eller Synapse-arbetsytan kan komma åt och kopiera data från eller till databasen med hjälp av den här identiteten.

Om du vill använda användartilldelad hanterad identitetsautentisering anger du, förutom de allmänna egenskaper som beskrivs i föregående avsnitt, följande egenskaper:

Du måste också följa stegen:

1. Se till att skapa en användartilldelad hanterad identitetsresurs på Azure-portalen. Mer information finns i Hantera användartilldelade hanterade identiteter

2. Tilldela den användartilldelade hanterade identiteten till din Azure-databas för PostgreSQL-resursen

   1. I din Azure-databas för PostgreSQL-serverresursen under Säkerhet

   2. Välj autentisering

   3. Kontrollera om autentiseringsmetoden endast är Microsoft Entra-autentisering eller PostgreSQL- och Microsoft Entra-autentisering

   4. Välj + Lägg till microsoft entra-administratörslänk och välj din användartilldelade hanterade identitet

      

3. Tilldela den användartilldelade hanterade identiteten till din Azure Data Factory-resurs

   1. Välj Inställningar och sedan Hanterade identiteter

   2. Under fliken Användartilldelade . Välj länken + Lägg till och välj din användarhanterade identitet

      

4. Konfigurera en ansluten Azure-databas för PostgreSQL-tjänst.

Exempel:

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "authenticationType": "UserAssignedManagedIdentity",
            "credential": {
                "referenceName": "<your credential>",
                "type": "CredentialReference"
            }
        }
    }
}

Tjänstens huvudautentisering

Exempel:

Nyckel för tjänstens huvudnamn

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "username": "<service principal name>",
            "authenticationType": "<authentication type>",
            "tenant": "<tenant>",
            "servicePrincipalId": "<service principal ID>",
            "azureCloudType": "<azure cloud type>",
            "servicePrincipalCredentialType": "<service principal type>",
            "servicePrincipalKey": "<service principal key>"
        }
    }
}

Exempel:

Service Principal-certifikat

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "username": "<service principal name>",
            "authenticationType": "<authentication type>",
            "tenant": "<tenant>",
            "servicePrincipalId": "<service principal ID>",
            "azureCloudType": "<azure cloud type>",
            "servicePrincipalCredentialType": "<service principal type>",
            "servicePrincipalEmbeddedCert": "<service principal certificate>",
            "servicePrincipalEmbeddedCertPassword": "<service principal embedded certificate password>"
        }
    }
}

Version 1.0

Följande egenskaper stöds för den länkade tjänsten Azure Database for PostgreSQL när du tillämpar version 1.0:

En typisk anslutningssträng är host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;password=<password>. Här är fler egenskaper som du kan ange per ditt ärende:

Exempel:

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "1.0",
        "typeProperties": {
            "connectionString": "host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;password=<password>"
        }
    }
}

Exempel:

Lagra lösenord i Azure Key Vault

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "1.0",
        "typeProperties": {
            "connectionString": "host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Egenskaper för dataset

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i Datauppsättningar. Det här avsnittet innehåller en lista över egenskaper som Azure Database for PostgreSQL stöder i datauppsättningar.

Om du vill kopiera data från Azure Database for PostgreSQL anger du datauppsättningens typegenskap till AzurePostgreSqlTable. Följande egenskaper stöds:

Exempel:

{
    "name": "AzurePostgreSqlDataset",
    "properties": {
        "type": "AzurePostgreSqlTable",
        "linkedServiceName": {
            "referenceName": "<AzurePostgreSql linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Kopiera egenskaper för aktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i Pipelines och aktiviteter. Det här avsnittet innehåller en lista över egenskaper som stöds av en Azure Database for PostgreSQL-källa.

Azure Database for PostgreSql som källa

Om du vill kopiera data från Azure Database for PostgreSQL anger du källtypen i kopieringsaktiviteten till AzurePostgreSqlSource. Följande egenskaper stöds i sektionen för kopieringsaktivitetens källa:

Exempel:

"activities":[
    {
        "name": "CopyFromAzurePostgreSql",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<AzurePostgreSql input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzurePostgreSqlSource",
                "query": "<custom query e.g. SELECT * FROM mytable>",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Database för PostgreSQL som mottagare

Om du vill kopiera data till Azure Database for PostgreSQL anger du mottagartypen i kopieringsaktiviteten till SqlSink. Följande egenskaper stöds i avsnittet för kopieringsaktivitetens sänke:

Exempel 1: Kopiera kommando

"activities":[
    {
        "name": "CopyToAzureDatabaseForPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure PostgreSQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzurePostgreSqlSink",
                "preCopyScript": "<custom SQL script>",
                "writeMethod": "CopyCommand",
                "writeBatchSize": 1000000
            }
        }
    }
]

Exempel 2: Upsert-data

"activities":[
    {
        "name": "CopyToAzureDatabaseForPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure PostgreSQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzurePostgreSQLSink",
                "writeMethod": "Upsert",
                "upsertSettings": {
                    "keys": [
                        "<column name>"
                    ]
                },
            }
        }
    }
]

Infoga eller uppdatera data

Kopieringsaktivitet har inbyggt stöd för upsert-åtgärder. För att utföra en upsert bör användaren ange nyckelkolumner som antingen är primära nycklar eller unika kolumner. Om användaren inte tillhandahåller nyckelkolumner används de primära nyckelkolumnerna i mottagartabellen. Kopieringsaktiviteten kommer att uppdatera icke-nyckelkolumner i mottagartabellen där nyckelkolumnvärdena matchar de i källtabellen; annars kommer den att infoga nya data.

Parallell kopia från Azure Database for PostgreSQL

Azure Database for PostgreSQL-anslutningsappen i kopieringsaktiviteten tillhandahåller inbyggd datapartitionering för att kopiera data parallellt. Du hittar alternativ för datapartitionering på fliken Källa i kopieringsaktiviteten.

När du aktiverar partitionerad kopiering kör kopieringsaktiviteten parallella frågor mot din Azure Database for PostgreSQL-källa för att läsa in data efter partitioner. Den parallella graden styrs av parallelCopies inställningen för kopieringsaktiviteten. Om du till exempel anger parallelCopies till fyra genererar och kör tjänsten samtidigt fyra frågor baserat på det angivna partitionsalternativet och inställningarna, och varje fråga hämtar en del data från Azure Database for PostgreSQL.

Du rekommenderas att aktivera parallell kopiering med datapartitionering, särskilt när du läser in stora mängder data från din Azure Database for PostgreSQL. Följande är föreslagna konfigurationer för olika scenarier. När du kopierar data till filbaserat datalager är rekommendationen att skriva till en mapp som flera filer (ange endast mappnamn), i vilket fall prestandan är bättre än att skriva till en enda fil.

Metodtips för att läsa in data med partitionsalternativet:

1. Välj distinkt kolumn som partitionskolumn (till exempel primärnyckel eller unik nyckel) för att undvika datasnedvridning.
2. Om tabellen har inbyggd partition använder du partitionsalternativet "Fysiska partitioner av tabellen" för att få bättre prestanda.
3. Om du använder Azure Integration Runtime för att kopiera data kan du ange större "Dataintegration Units (DIU)" (>4) för att använda mer databehandlingsresurser. Kontrollera tillämpliga scenarier där.
4. "Grad av kopieringsparallellitet" styr partitionsnumren och att ange det här talet för stort skadar ibland prestandan. Vi rekommenderar att du anger det här talet som (DIU eller antal lokalt installerade IR-noder) * (2 till 4).

Exempel: fullständig belastning från en stor tabell med fysiska partitioner

"source": {
    "type": "AzurePostgreSqlSource",
    "partitionOption": "PhysicalPartitionsOfTable"
}

Exempel: fråga med partition för dynamiskt intervall

"source": {
    "type": "AzurePostgreSqlSource",
    "query": "SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Mappa dataflödesegenskaper

När du transformerar data i dataflödet för mappning kan du läsa och skriva till tabeller från Azure Database for PostgreSQL. För mer information, se källtransformation och slutrörstransformation i kartläggningen av dataflöden. Du kan välja att använda en Azure Database for PostgreSQL-datauppsättning eller en infogad datauppsättning som käll- och mottagartyp.

Källomvandling

I tabellen nedan visas de egenskaper som stöds av Azure Database for PostgreSQL-källan. Du kan redigera dessa egenskaper på fliken Källalternativ .

Exempel på Azure Database for PostgreSQL-källskript

När du använder Azure Database for PostgreSQL som källtyp är det associerade dataflödesskriptet:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzurePostgreSQLSource

Avloppsomvandling

Tabellen nedan listar de egenskaper som stöds av Azure Database för PostgreSQL-sink. Du kan redigera dessa egenskaper på fliken Alternativ för avsänkningspunkt.

• Aktivera inkrementell extrahering: Använd det här alternativet för att be ADF att endast bearbeta rader som ändrats sedan den senaste gången pipelinen kördes.

• Inkrementell kolumn: När du använder funktionen för inkrementell extrahering måste du välja den datum/tid eller numeriska kolumn som du vill använda som vattenstämpel i källtabellen.

• Börja läsa från början: Om du anger det här alternativet med inkrementellt extrahering instrueras ADF att läsa alla rader vid första körningen av en pipeline med inkrementellt extrahering aktiverat.

Azure Database för PostgreSQL exempel på "sink script"

När du använder Azure Database för PostgreSQL som förbrukartyp är det associerade dataflödesskriptet:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzurePostgreSqlSink

Skriptaktivitet

Mer information om skriptaktivitet finns i Skriptaktivitet.

Uppslagsaktivitetens egenskaper

Mer information om egenskaperna finns i Sökningsaktivitet.

Uppgradera Azure Database for PostgreSQL-anslutningen

På sidan Redigera länkad tjänst väljer du 2.0 under Version och konfigurerar den länkade tjänsten genom att referera till Länkade tjänstegenskaper version 2.0.

Relaterat innehåll

En lista över datalager som stöds som källor och mottagare av kopieringsaktiviteten finns i Datalager som stöds.