Dela via

Lägg till PostgreSQL Database CDC-källa i en händelseström

Den här artikeln visar hur du lägger till en Källa för PostgreSQL Database Change Data Capture (CDC) i en händelseström.

Med källanslutningsappen PostgreSQL Database Change Data Capture (CDC) för Microsoft Fabric-händelseströmmar kan du samla in en ögonblicksbild av aktuella data i en PostgreSQL-databas. För närvarande stöds PostgreSQL Database Change Data Capture (CDC) från följande tjänster där databaserna kan nås offentligt:

  • Azure-databas för PostgreSQL
  • Amazon RDS för PostgreSQL
  • Amazon Aurora PostgreSQL
  • Google Cloud SQL för PostgreSQL

När PostgreSQL Database CDC-källan har lagts till i händelseströmmen avbildas ändringar på radnivå i de angivna tabellerna. Dessa ändringar kan sedan bearbetas i realtid och skickas till olika mål för ytterligare analys.

Anteckning

Den här källan stöds inte i följande regioner i din arbetsytekapacitet: Västra USA3, Västra Schweiz.

Förutsättningar

Aktivera CDC i din PostgreSQL-databas

I det här avsnittet används Azure Database for PostgreSQL- som exempel.

Följ dessa steg för att aktivera CDC i din flexibla Azure Database for PostgreSQL-server:

  1. På sidan Azure Database for PostgreSQL – flexibel server i Azure Portal väljer du Serverparametrar i navigeringsmenyn.

  2. På sidan Serverparametrar :

    • Ange wal_level till logisk.
    • Uppdatera max_worker_processes till minst 16.

    En skärmbild av att aktivera CDC för en flexibel serverdistribution.

  3. Spara ändringarna och starta om servern.

  4. Bekräfta att din Azure Database for PostgreSQL – flexibel server-instans tillåter offentlig nätverkstrafik.

  5. Ge administratörsanvändaren replikeringsbehörigheter genom att köra följande SQL-instruktion. Om du vill använda ett annat användarkonto för att ansluta din PostgreSQL DB för att hämta CDC kontrollerar du att användaren är tabellägare.

    ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;

Starta guiden Välj en datakälla

Om du inte har lagt till någon källa i händelseströmmen ännu väljer du Panelen Använd extern källa .

Skärmbild som visar valet av rutan Använd extern källa.

Om du lägger till källan i en redan publicerad händelseström växlar du till Redigeringsläge , väljer Lägg till källa i menyfliksområdet och väljer sedan Externa källor.

Skärmbild som visar valet av Menyn Lägg till källa till externa källor.  

På sidan Välj en datakälla söker du efter och väljer Anslut på PostgreSQL DB (CDC)-rutan.

Skärmbild som visar valet av Azure DB for PostgreSQL (CDC) som källtyp i guiden Hämta händelser.

Konfigurera och ansluta till PostgreSQL Database CDC

  1. På sidan Anslut väljer du Ny anslutning.

    Skärmbild som visar sidan Anslut för en Azure PostgreSQL-databas med länken Ny anslutning markerad.

  2. I avsnittet Anslutningsinställningar anger du följande information.

    • Server: Serveradressen för postgreSQL-databasen, till exempel my-pgsql-server.postgres.database.azure.com.

    • Databas: Databasnamnet, till exempel my_database.

      Skärmbild som visar avsnittet Anslutningsinställningar för Azure PostgreSQL-databasanslutningsappen.

    • Anslutningsnamn: Ange ett namn för anslutningen.

    • Autentiseringstyp, Välj Grundläggande och ange användarnamn ochlösenord för databasen.

      Anteckning

      För närvarande stöder Fabric-händelseströmmar endast grundläggande autentisering.

    • Välj Anslut för att slutföra anslutningsinställningarna. Skärmbild som visar avsnittet Anslutningsautentiseringsuppgifter för Azure PostgreSQL-databasanslutningsappen.

  3. Port: Ange portnumret för servern. Standardvärdet är 5432. Om den valda molnanslutningen har konfigurerats i Hantera anslutningar och gatewayerkontrollerar du att portnumret matchar den som anges där. Om de inte matchar kommer portnumret i molnanslutningen i Hantera anslutningar och gatewayer att ha företräde.

  4. Du kan välja mellan två alternativ när du samlar in ändringar från databastabeller:

    • Alla tabeller: Samla in ändringar från varje tabell i databasen.
    • Ange tabellnamn: Gör att du kan ange en delmängd av tabeller med hjälp av en kommaavgränsad lista. Du kan använda antingen: fullständiga tabellidentifierare i formatet schemaName.tableName eller giltiga reguljära uttryck. Exempel:
    • dbo.test.*: Välj alla tabeller vars namn börjar med test i schemat dbo .
    • dbo\.(test1|test2): Välj dbo.test1 och dbo.test2.

    Du kan kombinera båda formaten i listan. Den totala teckengränsen för hela posten är 102 400 tecken.

  5. Facknamn (valfritt): Ange namnet på det logiska postgreSQL-avkodningsfacket som skapades för strömmande ändringar från ett visst plugin-program för en viss databas/schema. Servern använder det här facket för att strömma händelser till Eventstream Streaming Connector. Det får endast innehålla små bokstäver, siffror och understreck.

    • Om inget anges används ett GUID för att skapa facket, vilket kräver lämpliga databasbehörigheter.
    • Om det finns ett angivet facknamn använder anslutningsappen det direkt.

  6. Du kan expandera Avancerade inställningar för att få åtkomst till ytterligare konfigurationsalternativ för PostgreSQL Database CDC-källan:

    • Publikationsnamn: Anger namnet på den logiska replikeringspublikationen PostgreSQL som ska användas. Detta måste matcha en befintlig publikation i databasen, annars skapas den automatiskt beroende på autoskapningsläget. Standardvärde: dbz_publication.

      Anteckning

      Anslutningsanvändaren måste ha superanvändarbehörighet för att kunna skapa publikationen. Vi rekommenderar att du skapar publikationen manuellt innan du startar anslutningsappen för första gången för att undvika behörighetsrelaterade problem.

    • Läge för automatisk skapande av publikation: Styr om och hur publikationen skapas automatiskt. Alternativen inkluderar:

      • Filtered (standard): Om den angivna publikationen inte finns skapar anslutningsappen en som endast innehåller de valda tabellerna (enligt tabellens inkluderingslista).
      • AllTables: Om den angivna publikationen finns använder anslutningsappen den. Om den inte finns skapar anslutningsappen en som innehåller alla tabeller i databasen.
      • Disabled: Anslutningen skapar ingen publikation. Om den angivna publikationen saknas, utlöser anslutningen ett undantag och stoppar. I det här fallet måste publikationen skapas manuellt i databasen.

      Mer information finns i Debezium-dokumentationen om autoskapningsläget för publicering

    • Decimalhanteringsläge: Anger hur anslutningsappen hanterar PostgreSQL DECIMAL - och NUMERIC kolumnvärden:

      • Precise: Representerar värden med exakta decimaltyper (till exempel Java BigDecimal) för att säkerställa fullständig precision och noggrannhet i datarepresentationen.
      • Double: Konverterar värden till flyttal med dubbel precision. Detta förbättrar användbarheten och prestandan, men kan leda till att precisionen går förlorad.
      • String: Kodar värden som formaterade strängar. Detta gör dem enkla att använda i underordnade system men förlorar semantisk information om den ursprungliga numeriska typen.

  7. På sidan Granska + anslut granskar du sammanfattningen och väljer sedan Lägg till.

    Skärmbild som visar sidan Granska och skapa fylld för Azure PostgreSQL-databasanslutningsappen.

Visa uppdaterad händelseström

  1. Du kan se att PostgreSQL Database CDC-källan har lagts till i din händelseström i redigeringsläge.

    En skärmbild av strömmande PostgreSQL DB CDC-källa i redigeringsvyn.

  2. Om du vill implementera den nya PostgreSQL DB CDC-källan väljer du Publicera. När du har slutfört dessa steg är din PostgreSQL DB CDC-källa tillgänglig för visualisering i Live View-funktionen.

    En skärmbild av strömmande PostgreSQL DB CDC-källa i live-vy.

Relaterat innehåll

Andra anslutningsappar: