Dela via

Replikering och synkronisering av stordatorfil i Azure

Azure Data Factory
Azure Data Lake
Azure SQL Database
Azure Storage
Azure Virtual Machines

Lösningsidéer

I den här artikeln beskrivs en lösningsidé. Molnarkitekten kan använda den här vägledningen för att visualisera huvudkomponenterna för en typisk implementering av den här arkitekturen. Använd den här artikeln som utgångspunkt för att utforma en välkonstruerad lösning som överensstämmer med arbetsbelastningens specifika krav.

När du migrerar en lokal stordator eller ett mellanregisterprogram till Azure är dataöverföring en viktig faktor. Flera moderniseringsscenarier kräver att du snabbt replikerar filer till Azure eller upprätthåller synkroniseringen mellan lokala filer och Azure-filer.

Den här artikeln beskriver flera sätt att överföra filer till Azure, konvertera och transformera fildata och lagra data lokalt och i Azure.

Arkitektur

Diagram som visar de tre stegen för att migrera lokala filer till Azure: dataöverföring, konvertering och transformering samt lagring i beständig lagring.

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

Följande dataflöde motsvarar arkitekturdiagrammet:

  1. Överföra filer till Azure:

    • Det enklaste sättet att överföra filer lokalt till Azure är att använda File Transfer Protocol (FTP). Du kan vara värd för en FTP-server på en virtuell Azure-dator (VM). Ett enkelt FTP-jobbkontrollspråk (JCL) skickar filer till Azure i binärt format, vilket är viktigt för att bevara stordator- och mellanregisterberäkningar och binära datatyper. Du kan lagra överförda filer på lokala diskar, Azure VM-fillagring eller Azure Blob Storage.

    • Du kan också ladda upp lokala filer till Blob Storage med hjälp av verktyg som AzCopy.

    • Azure Data Factory FTP- eller SFTP-anslutningsappen (Secure File Transfer Protocol) kan användas för att överföra data från stordatorsystemet till Blob Storage. Den här metoden kräver en mellanliggande virtuell dator där en lokalt installerad integrationskörning installeras.

    • Du hittar även verktyg som inte kommer från Microsoft på Azure Marketplace för att överföra filer från stordatorer till Azure.

  2. Orkestrera, konvertera och transformera data:

    • Azure kan inte läsa IBM:s EBCDIC-kodfiler (Extended Binary Coded Decimal Interchange Code) i Virtuella Azure-diskar eller Blob Storage. För att göra dessa filer kompatibla med Azure konverterar Host Integration Server (HIS) dem från EBCDIC till ASCII-format (American Standard Code for Information Interchange).

      Copybooks definierar datastrukturen för COBOL-, PL/I- och sammansättningsspråkfiler. HIS konverterar dessa filer till ASCII baserat på copybook-layouterna.

    • Datakonvertering av stordatorer kan uppnås med hjälp av Azure Logic Apps-anslutningsappen för IBM-värdfiler.

    • Innan du överför data till Azure-datalager kan du behöva transformera data eller använda dem för analys. Azure Data Factory kan hantera dessa ETL-aktiviteter (extract-transform-load) och extract-load-transform (ELT) och lagra data direkt i Azure Data Lake Storage. Du kan också använda Fabric Data Factory och OneLake Store.

    • För stordataintegreringar kan Azure Databricks och Microsoft Fabric utföra alla omvandlingsaktiviteter snabbt och effektivt med hjälp av Apache Spark-motorn för minnesintern beräkning.

  3. Lagra data:

    Du kan lagra överförda data i ett av flera tillgängliga beständiga Azure-lagringslägen, beroende på dina krav.

    • Om analys inte krävs kan Azure Data Factory lagra data direkt i en mängd olika lagringsalternativ, till exempel Data Lake Storage, Blob Storage och Microsoft Fabric OneLake.

    • Azure är värd för olika databaser som hanterar olika behov:

      • Relationsdatabaser omfattar SQL Server-familjen och databaser med öppen källkod som PostgreSQL och MySQL.

      • Icke-relationsdatabaser inkluderar Azure Cosmos DB, som är en snabb, globalt distribuerad NoSQL-databas med flera modeller.

    Granska analys och business intelligence. Microsoft Fabric är en allt-i-ett-analyslösning som omfattar allt från dataflytt till datavetenskap, realtidsanalys och business intelligence. Det erbjuder en uppsättning tjänster, inklusive datasjö, datateknik och dataintegrering, allt på ett ställe.

Komponenter

Den här arkitekturen använder följande komponenter.

Nätverk

En lokal datagateway är bryggprogramvara som ansluter lokala datakällor till molntjänster. I den här arkitekturen möjliggör den kommunikation mellan stordatorsystem och Azure-tjänster för filöverföring och integrering. Du kan installera gatewayen på en dedikerad lokal virtuell dator.

Dataintegration och omvandling

Den här arkitekturen beskriver olika Azure-inbyggda migreringsverktyg som du kan använda baserat på din stordators källdata och måldatabas.

  • Dataprovider för värdfiler är en komponent i HIS som konverterar EBCDIC-kodsidefiler till ASCII. Providern kan läsa och skriva poster offline i en lokal binär fil. Eller så kan den använda System Network Architecture (SNA) eller Transmission Control Protocol/Internet Protocol (TCP/IP) för att läsa och skriva poster i fjärranslutna IBM z/OS-stordatordatamängder eller fysiska i5/OS-filer. HIS-anslutningsappar är tillgängliga för BizTalk och Logic Apps. I den här arkitekturen möjliggör dataprovider för värdfiler åtkomst på filnivå och transformering av IBM z/OS- och i5/OS-datauppsättningar för migrering till Azure.

  • Azure Data Factory är en hybridtjänst för dataintegrering som du kan använda för att skapa, schemalägga och samordna ETL- och ELT-arbetsflöden. I den här arkitekturen överför Azure Data Factory stordatorfiler till Blob Storage via FTP och hanterar transformeringspipelines.

  • Azure Databricks är en Apache Spark-baserad analysplattform som är optimerad för Azure. I den här arkitekturen berikar och korrelerar den inkommande stordatordata med andra datauppsättningar för avancerad analys och omvandling.

  • Microsoft Fabric är en intelligent dataplattform med en uppsättning molntjänster och verktyg för varje steg i datalivscykeln, inklusive inmatning, förberedelse, lagring, analys och visualisering. I den här arkitekturen gör Fabric det möjligt för organisationer att studera dataflytt, experimentera med datavetenskap och utföra analys i realtid och business intelligence på transformerade stordatordata.

  • Logic Apps är en molnbaserad tjänst som du kan använda för att automatisera arbetsflöden och integrera program, data och tjänster i olika miljöer. I den här arkitekturen använder den IBM Host File-anslutningsappen för att interagera med stordatorsystem och automatisera filparsning och transformering.

Databaser

Den här arkitekturen beskriver processen med att migrera stordatorfildata till molnlagring och hanterade databaser i Azure. Den innehåller konvertera metadata för stordatorfilen så att de matchar målschemat i Azure.

  • Azure SQL Database är en skalbar relationsmolndatabastjänst. SQL Database är ständigt och alltid up-to-date, med AI-baserade och automatiserade funktioner som optimerar prestanda och hållbarhet. Lagringsalternativ för serverlös beräkning och hyperskala skalar automatiskt resurser på begäran. I den här arkitekturen lagrar SQL Database transformerade stordatordata och har stöd för hög tillgänglighet. Det stöder också kostnadseffektivitet via Azure Hybrid-förmånen eftersom du kan använda dina befintliga lokala SQL Server-licenser i molnet utan extra kostnad.

  • Azure SQL Managed Instance är ett PaaS-erbjudande (plattform som en tjänst) som ger fullständig SQL Server-kompatibilitet med hanterad infrastruktur. I den här arkitekturen moderniserar den äldre program genom att vara värd för migrerade stordatordata med minimala kodändringar.

  • SQL Server på Azure Virtual Machines är en IaaS-lösning (infrastruktur som en tjänst) som lyfter och flyttar SQL Server-arbetsbelastningar till Azure, vilket kombinerar flexibiliteten och hybridanslutningen i Azure med SQL Server-prestanda, säkerhet och analys. I den här arkitekturen ger den kontroll över SQL Server-konfigurationer för värd för stordatorbaserade data.

  • Azure Database for PostgreSQL är en hanterad relationsdatabastjänst med öppen källkod. I den här arkitekturen fungerar den som ett mål för migrerade stordatordata som kräver PostgreSQL-kompatibilitet.

  • Azure Database for MySQL är en hanterad MySQL-databastjänst. I den här arkitekturen har den stöd för arbetsbelastningar som kräver MySQL-baserad lagring för transformerade stordatordata.

  • Azure Cosmos DB är en globalt distribuerad NoSQL-databastjänst som innehåller stöd för flera modeller. I den här arkitekturen lagrar den högpresterande, skalbara program som bygger på transformerade stordatordata.

Andra datalager

  • Blob Storage är en molnbaserad objektlagringslösning som lagrar stora mängder ostrukturerade data, till exempel text eller binära data. Du kan komma åt dessa data var du än är via HTTP eller HTTPS. Du kan använda Blob Storage för att exponera data offentligt eller för att lagra programdata privat. I den här arkitekturen lagrar den binära filer och textfiler som överförs från stordatorsystem och fungerar som ett mellanlagringsområde för omvandling.

  • Data Lake Storage är en lagringsplats som innehåller en stor mängd data i inbyggt rådataformat. Data Lake Storage tillhandahåller skalning för stordataanalysarbetsbelastningar med terabyte och petabyte med data. Data kommer vanligtvis från flera heterogena källor och kan vara strukturerade, halvstrukturerade eller ostrukturerade. I den här arkitekturen lagrar den råa och transformerade stordatordata i internt format för bearbetning av analystjänster.

  • OneLake i Microsoft Fabric är en enda, enhetlig, logisk datasjö. I den här arkitekturen fungerar den som lagringsmål för Fabric Data Factory-pipelines. Det ger en central plats för att lagra transformerade stordatordata för analys- och business intelligence-arbetsbelastningar.

Scenarioinformation

Det är nödvändigt att konvertera stordatorfiler från EBCDIC-kodat format till ASCII-format för att migrera data från stordatorsystem till Azure-molnlagring och -databaser. Stordatorprogram genererar och hanterar stora mängder data dagligen. Dessa data måste konverteras korrekt för användning på andra plattformar.

När din organisation övergår till stordatorfilsystemdata bör du omvandla filmetadata till molnbaserade scheman. Och utveckla en migreringsstrategi som innehåller effektiva filkonverteringstekniker.

Potentiella användningsfall

Lokal filreplikering och synkronisering är viktiga för olika användningsfall:

  • Underordnade eller överordnade beroenden, till exempel när program som körs på en stordator och program som körs i Azure behöver utbyta data via filer

  • Parallell testning av omvärdade eller omkonstruerade program i Azure med lokala program

  • Tätt kopplade lokala program på system som inte omedelbart kan repareras eller moderniseras

Deltagare

Microsoft ansvarar för den här artikeln. Följande deltagare skrev den här artikeln.

Huvudsakliga författare:

Övriga medarbetare:

Om du vill se linkedin-profiler som inte är offentliga loggar du in på LinkedIn.

Nästa steg