Modernisera stordator- och mellanregisterdata

Apache®, Spark och flamlogotypen är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.

Den här artikeln beskriver en moderniseringsplan från slutpunkt till slutpunkt för stordator- och mellanregisterdatakällor. Modernisering hjälper till att förbättra skalbarheten och prestandan för dina verksamhetskritiska arbetsbelastningar.

Architecture

Ladda ned en Visio-fil med den här arkitekturen.

Dataflow

Följande dataflöde motsvarar föregående diagram:

1. Stordator- och mellanregistersystem lagrar data i följande datakällor.

   • Filsystem:

     • Virtuell lagringsåtkomstmetod (VSAM)
     • Flata filer
     • Linjärt bandfilsystem

   • Relationsdatabaser:

     • Db2 för z/OS
     • Db2 för IBM i
     • Db2 för Linux UNIX och Windows

   • Icke-relationella databaser:

     • Information Management System (IMS)
     • Adabas
     • Integrerat databashanteringssystem (IDMS)

2. Objektkonverteringsprocessen extraherar objektdefinitioner från källobjekt. Definitionerna konverteras sedan till motsvarande objekt i måldatalagret.

   • SQL Server Migration Assistant för Db2 migrerar scheman och data från IBM Db2-databaser till Azure-databaser.

   • Hanterad dataprovider för värdfiler konverterar objekt genom att:

     • Parsning av gemensamma affärsorienterade språk (COBOL) och rapportprogram generator postlayouter eller copybooks.
     • Mappa copybooks till C#-objekt som .NET-program använder.

   • Verktyget Db2toAzurePostgreSQL migrerar databasobjekt från Db2 till Azure Database for PostgreSQL.

   • Partnerverktyg utför automatisk objektkonvertering på icke-relationella databaser, filsystem och andra datalager.

3. Data matas in och transformeras. Stordator- och mellanregistersystem lagrar sina filsystemdata i EBCDIC-kodat format i filformat som:

   • Indexerade VSAM-filer .
   • Icke-indexerade GDG-filer .
   • Flata filer.

   COBOL, Programming Language One och copybooks för sammansättningsspråk definierar datastrukturen för dessa filer.

   a. File Transfer Protocol (FTP) överför stordator- och mellanregisterfilsystemdatauppsättningar och deras motsvarande copybooks till Azure. Dessa datauppsättningar har enkel layout och uppackade fält i binärt format.

   b. Datakonvertering utförs genom att utveckla anpassade program med hjälp av värdfilkomponenten i Värdintegreringsservern eller med hjälp av den inbyggda anslutningsappen för IBM-värdfiler i Azure Logic Apps.

   Spark Notebook-konverteraren utvecklas med hjälp av Spark-ramverk med öppen källkod. Den är kompatibel med Spark-miljöer som Microsoft Fabric, Azure Synapse Analytics och Azure Databricks.

   c. Relationsdatabasdata migreras.

   IBM-stordator- och mellanregistersystem lagrar data i relationsdatabaser som:

   • Db2 för z/OS.
   • Db2 för Linux UNIX och Windows.
   • Db2 för IBM i.

   Följande tjänster migrerar databasdata:

   • Azure Data Factory använder en Db2-anslutningsapp för att extrahera och integrera data från databaserna.
   • SQL Server Integration Services hanterar olika dataextraherings-, transformerings- och inläsningsuppgifter .
   • Fabric Data Factory använder IBM Db2-anslutningsappen för att migrera Db2-data.

   d. Icke-relationella databasdata migreras.

   IBM-stordator- och mellanregistersystem lagrar data i icke-relationella databaser som:

   • IDMS, ett databashanteringssystem för nätverksmodeller (DBMS).
   • IMS, en hierarkisk modell DBMS.
   • Adabas.
   • Datacom.

   Partnerprodukter integrerar data från dessa databaser.

4. Azure-verktyg som Azure Data Factory och AzCopy läser in data i Azure-databaser och Azure-datalagring. Du kan också använda partnerlösningar och anpassade inläsningslösningar för att läsa in data.

5. Azure tillhandahåller olika databastjänster, inklusive fullständigt hanterade relationsdatabastjänster som Azure SQL Database och NoSQL-alternativ som Azure Cosmos DB. Dessa tjänster är utformade för skalbarhet, flexibilitet och global distribution.

   Azure tillhandahåller också en mängd olika lagringslösningar, inklusive Azure Blob Storage för ostrukturerade data och Azure Files för fullständigt hanterade filresurser.

6. Azure-tjänster använder den moderniserade datanivån för databehandling, analys, lagring och nätverk.

7. Klientprogram använder också den moderniserade datanivån.

Components

Den här arkitekturen använder följande komponenter.

Datalagring

Den här arkitekturen beskriver hur du migrerar data till skalbar, säkrare molnlagring och hanterade databaser för flexibel, intelligent datahantering i Azure.

• Azure Cosmos DB är en globalt distribuerad NoSQL-databas med flera modeller. I den här arkitekturen fungerar Azure Cosmos DB som ett skalbart NoSQL-mål för modernisering av icke-relationella stordatordatabaser som IMS och IDMS.

• Azure Database for MySQL är en fullständigt hanterad relationsdatabastjänst baserad på communityversionen av MySQL-databasmotorn med öppen källkod. I den här arkitekturen tillhandahåller Azure Database for MySQL ett annat målalternativ för relationsdatabaser för migrerade stordatordata.

• Azure Database for PostgreSQL är en fullständigt hanterad relationsdatabastjänst baserad på communityversionen av PostgreSQL-databasmotorn med öppen källkod. I den här arkitekturen tillhandahåller Azure Database for PostgreSQL en alternativ måldatabas för migrering av relationsdata för stordator.

• SQL Database ingår i Azure SQL-familjen. Den är utformad för molnet och ger alla fördelar med en fullständigt hanterad och vintergrön plattform som en tjänst (PaaS). SQL Database tillhandahåller även AI-baserade automatiserade funktioner som optimerar prestanda och hållbarhet. Lagringsalternativ för serverlös beräkning och hyperskala skalar automatiskt resurser på begäran. I den här arkitekturen fungerar SQL Database som en måldatabas för migrerade relationsdata från db2-stordatorsystem.

• Azure SQL Managed Instance är en molndatabastjänst som ger alla fördelar med en fullständigt hanterad och vintergrön PaaS. SQL Managed Instance har nästan fullständig kompatibilitet med den senaste SQL Server Enterprise-databasmotorn. Det tillhandahåller också en intern implementering av virtuella nätverk som hanterar vanliga säkerhetsproblem. I den här arkitekturen fungerar SQL Managed Instance som ett mål för stordatordata som kräver SQL Server-kompatibilitet och företagsfunktioner.

• Azure Data Lake Storage är en lagringsplats som innehåller stora mängder data i sitt ursprungliga rådataformat. Datasjölager är optimerade för skalning till terabyte och petabyte med data. Data kommer vanligtvis från flera heterogena källor. Den kan vara strukturerad, halvstrukturerad eller ostrukturerad. I den här arkitekturen tillhandahåller Data Lake Storage skalbar lagring för konverterade stordatorfilsystemdata och fungerar som ett mellanlagringsområde för datatransformering.

• Microsoft Fabric Lakehouse är en plattform för dataarkitektur för lagring, hantering och analys av strukturerade och ostrukturerade data på en enda plats. I den här arkitekturen fungerar Microsoft Fabric Lakehouse som en enhetlig analysplattform för både råa stordatordata och bearbetade datauppsättningar.

• SQL Database i Microsoft Fabric är en utvecklarvänlig transaktionsdatabas som baseras på SQL Database. Du kan använda den för att skapa din driftdatabas i Fabric. En SQL-databas i Fabric använder samma SQL-databasmotor som SQL Database. I den här arkitekturen tillhandahåller SQL-databasen i Microsoft Fabric ett modernt transaktionsdatabasalternativ för migrerade stordatordriftsdata.

Compute

• Azure Data Factory är Microsofts molnbaserade dataintegreringstjänst som integrerar data i olika nätverksmiljöer med hjälp av en integreringskörning (IR) som är en beräkningsinfrastruktur. Azure Data Factory kopierar data mellan molndatalager och datalager i lokala nätverk med hjälp av lokala IR:er. I den här arkitekturen samordnar Azure Data Factory hela datamigreringsprocessen från stordatorkällor till Azure-mål.

• Den lokala datagatewayen är ett lokalt installerat Windows-klientprogram som fungerar som en brygga mellan dina lokala datakällor och tjänster i Microsoft Cloud. I den här arkitekturen upprättar den lokala datagatewayen en säker anslutning mellan stordatorsystem och Azure-tjänster.

• Azure Virtual Machines är en IaaS-tjänst (infrastruktur som en tjänst) som tillhandahåller skalbara beräkningsresurser på begäran. En virtuell Azure-dator (VM) ger flexibiliteten i virtualisering men eliminerar underhållskraven för fysisk maskinvara. Virtuella Azure-datorer erbjuder ett val av operativsystem, inklusive Windows och Linux. I den här arkitekturen är Azure Virtual Machines värd för migreringsverktyg som SQL Server Migration Assistant för Db2 och anpassade konverteringsprogram.

Dataintegrerare

Den här arkitekturen beskriver olika Azure-inbyggda migreringsverktyg som du använder beroende på stordatorns källdata och måldatabasen.

• Azure Data Factory är en hybriddataintegreringstjänst. Azure Data Factory migrerar data från Db2-källor till Azure-databasmål med hjälp av interna anslutningsappar. I den här arkitekturen fungerar Azure Data Factory som den primära dataintegreringstjänsten för att samordna arbetsflöden för stordatormigrering.

• AzCopy är ett kommandoradsverktyg som flyttar blobar eller filer till och från lagringskonton. I den här arkitekturen överför AzCopy stora mängder stordatorfilsystemdata till Azure Storage under migreringsprocessen.

• SQL Server Integration Services är en plattform för att skapa lösningar för dataintegrering och transformering på företagsnivå. I den här arkitekturen använder du den för att samordna datatransformeringsuppgifter under stordatormigrering, till exempel:

  • Kopiera eller ladda ned filer.
  • Läser in informationslager.
  • Rensa och bryta data.
  • Hantera SQL Server-objekt och -data.

• Tekniker och verktyg för värdintegreringsserver kan integrera befintliga IBM-värdsystem, program, meddelanden och data med Azure-program. Klientkomponenten för värdfilen ger flexibilitet för data som konverteras från EBCDIC till ASCII. Du kan till exempel generera data i JSON- eller XML-format från de data som konverteras. I den här arkitekturen konverterar Värdintegreringsserver EBCDIC-kodade stordatordata till ASCII-format för Azure-förbrukning.

• Azure Synapse Analytics kombinerar dataintegrering, lagring av företagsdata och stordataanalys. Den här arkitekturen använder Azure Synapse Analytics-konverteringslösningen. Den baseras på Apache Spark och är en bra kandidat för arbetsbelastningskonvertering med stor stor stordatordatauppsättning. Den stöder en mängd olika stordatordatastrukturer och mål och kräver minimal kodning. I den här arkitekturen tillhandahåller Azure Synapse Analytics funktioner för lagring av företagsdata och stordataanalys för moderniserade stordatordata.

• Microsoft Fabric är en företagsklar analysplattform från slutpunkt till slutpunkt. Den förenar dataförflyttning, databearbetning, inmatning, transformering, realtidshändelseroutning och rapportskapande. Den stöder dessa funktioner med hjälp av följande integrerade tjänster:

  • Infrastrukturdatatekniker
  • Fabric Datafabrik
  • Textildatavetenskap
  • Fabric Real-Time Intelligence
  • Fabric-datalager
  • Tyggjordsdatabaser

I den här arkitekturen tillhandahåller Fabric en omfattande analysplattform för datamodernisering och business intelligence från slutpunkt till slutpunkt.

Andra verktyg

• SQL Server Migration Assistant för Db2 automatiserar migreringen från Db2 till Microsofts databastjänster. När det här verktyget körs på en virtuell dator konverterar det Db2-databasobjekt till SQL Server-databasobjekt och skapar dessa objekt i SQL Server. I den här arkitekturen automatiserar SQL Server Migration Assistant för Db2 konverteringen av db2-databasscheman och -objekt till Azure-databasmål.

• Dataprovider för värdfiler är en komponent i värdintegreringsservern som använder offline-, SNA- eller TCP/IP-anslutningar.

  • Med offlineanslutningar läser och skriver dataprovider poster i en lokal binär fil.
  • Med SNA- och TCP/IP-anslutningar läser och skriver dataleverantören poster som lagras i fjärrdatauppsättningar för z/OS (IBM Z-seriens stordator) eller fjärranslutna fysiska i5/OS-filer (IBM AS/400- och iSeries-system). Endast i5/OS-system använder TCP/IP.

  I den här arkitekturen möjliggör dataprovider för värdfiler anslutning och dataåtkomst mellan stordatorfilsystem och Azure-program.

• Azure-tjänster tillhandahåller miljöer, verktyg och processer för att utveckla och skala nya program i det offentliga molnet. I den här arkitekturen tillhandahåller Azure-tjänster målmolnplattformen för moderniserade stordatorprogram och arbetsbelastningar för dataanalys.

Scenarioinformation

Moderna datalagringslösningar som Azure-dataplattformen ger bättre skalbarhet och prestanda än stordator- och mellanregistersystem. Genom att modernisera dina system kan du dra nytta av dessa fördelar. Det är dock komplicerat att uppdatera teknik, infrastruktur och metoder. Processen omfattar en omfattande undersökning av affärs- och ingenjörsaktiviteter. Datahantering är ett övervägande när du moderniserar dina system. Du måste också titta på datavisualisering och integrering.

Lyckade moderniseringar använder en data-first-strategi. När du använder den här metoden fokuserar du på data i stället för det nya systemet. Datahantering är inte längre bara ett objekt i checklistan för modernisering. I stället är data mittpunkten. Koordinerade, kvalitetsorienterade datalösningar ersätter fragmenterade, dåligt styrda datalösningar.

Den här lösningen använder Azure-dataplattformskomponenter i en datainriktad metod. Mer specifikt omfattar lösningen:

• Objektkonvertering. Konvertera objektdefinitioner från källdatalagret till motsvarande objekt i måldatalagret.

• Datainmatning. Anslut till källdatalagret och extrahera data.

• Datatransformering. Omvandla extraherade data till lämpliga måldatalagerstrukturer.

• Datalagring. Läs in data från källdatalagret till måldatalagret, både initialt och kontinuerligt.

Potentiella användningsfall

Organisationer som använder stordator- och mellanregistersystem kan dra nytta av den här lösningen, särskilt när de vill:

• Modernisera verksamhetskritiska arbetsbelastningar.

• Skaffa business intelligence för att förbättra verksamheten och få en konkurrensfördel.

• Ta bort de höga kostnader och stelhet som är associerade med stordator- och mellanregisterdatalager.

Considerations

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som du kan använda för att förbättra kvaliteten på en arbetsbelastning. Mer information finns iWell-Architected Framework.

Security

Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i Checklista för designgranskning för säkerhet.

• Tänk på skillnaderna mellan lokala klientidentiteter och klientidentiteter i Azure. Du måste kompensera för eventuella skillnader.

• Använd hanterade identiteter för komponent-till-komponent-dataflöden.

• När du använder dataprovidern för värdfiler för att konvertera data följer du rekommendationerna i Dataprovidrar för säkerhet och skydd för Värdfiler.

Kostnadsoptimering

Kostnadsoptimering fokuserar på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Checklista för designgranskning för kostnadsoptimering.

• SQL Server Migration Assistant är ett kostnadsfritt verktyg som stöds och som förenklar databasmigreringen från Db2 till SQL Server, SQL Database och SQL Managed Instance. SQL Server Migration Assistant automatiserar alla aspekter av migreringen, inklusive migreringsanalys, schema- och SQL-instruktionskonvertering och datamigrering.

• Den Azure Synapse Analytics Spark-baserade lösningen bygger på bibliotek med öppen källkod. Det eliminerar den ekonomiska bördan av licensieringskonverteringsverktyg.

• Använd Priskalkylatorn för Azure för att beräkna kostnaden för att implementera den här lösningen.

Prestandaeffektivitet

Prestandaeffektivitet syftar på arbetsbelastningens förmåga att skala för att effektivt uppfylla användarnas krav. Mer information finns i Checklista för designgranskning för prestandaeffektivitet.

• Grundpelarna i Prestandaeffektivitet är prestandahantering, kapacitetsplanering, skalbarhet och val av lämpligt prestandamönster.

• Du kan skala ut den lokalt installerade IR: n genom att associera den logiska instansen med flera lokala datorer i aktivt-aktivt läge.

• Använd SQL Database för att dynamiskt skala dina databaser. Den serverlösa nivån kan automatiskt skala beräkningsresurserna. Elastiska pooler gör det möjligt för databaser att dela resurser i en pool och kan bara skalas manuellt.

När du använder dataprovidern för Host Files-klienten för att konvertera data aktiverar du anslutningspooler för att minska starttiden för anslutningen. När du använder Azure Data Factory för att extrahera data justerar du kopieringsaktivitetens prestanda.

Contributors

Microsoft ansvarar för den här artikeln. Följande deltagare skrev den här artikeln.

Huvudförfattare:

• Ashish Khandelwal | Arkitektchef för huvudteknik

Övriga medarbetare:

• Nithish Aruldoss | Teknisk arkitekt

Om du vill se linkedin-profiler som inte är offentliga loggar du in på LinkedIn.

Nästa steg

Granska Migreringsguiderna för Azure Database. Kontakta Azure Data Engineering – Stordator och mellanordnad modernisering för mer information.

Se följande artiklar:

• IBM-arbetsbelastningar i Azure
• Omvärdning av stordator på virtuella Azure-datorer
• Stordatorarbetsbelastningar som stöds i Azure
• Flytta stordatorberäkning till Azure

Relaterade resurser

• Analys från slutpunkt till slutpunkt med Azure Synapse Analytics