Delen via


Azure Data Lake Analytics migreren naar Azure Synapse Analytics

Azure Data Lake Analytics wordt buiten gebruik gesteld op 29 februari 2024. Kom meer te weten over via deze aankondiging.

Als u Azure Data Lake Analytics al gebruikt, kunt u een migratieplan maken naar Azure Synapse Analytics voor uw organisatie.

Microsoft heeft Azure Synapse Analytics gelanceerd die is gericht op het samenvoegen van data lakes en datawarehouse voor een unieke analyse-ervaring voor big data. Het helpt u bij het verzamelen en analyseren van uw gegevens om inefficiëntie van gegevens op te lossen en uw teams te helpen samenwerken. Bovendien biedt de integratie van Synapse met Azure Machine Learning en Power BI de verbeterde mogelijkheid voor organisaties om inzichten te krijgen uit de gegevens en machine learning uit te voeren voor alle slimme apps.

Het document laat zien hoe u de migratie van Azure Data Lake Analytics naar Azure Synapse Analytics uitvoert.

  • Stap 1: Gereedheid beoordelen
  • Stap 2: De migratie voorbereiden
  • Stap 3: gegevens- en toepassingsworkloads migreren
  • Stap 4: Cutover van Azure Data Lake Analytics naar Azure Synapse Analytics

Stap 1: Gereedheid beoordelen

  1. Bekijk Apache Spark in Azure Synapse Analyticsen begrijp belangrijke verschillen in Azure Data Lake Analytics en Spark in Azure Synapse Analytics.

    Onderdeel Azure Data Lake Analytics Spark op Synapse
    Prijzen Per analytisch eenheidsuur Per vCore-uur
    Motor Azure Data Lake Analytics Apache Spark
    Standaardprogrammataal U-SQL T-SQL, Python, Scala, Spark SQL en .NET
    Gegevensbronnen Azure Data Lake Storage Azure Blob Storage, Azure Data Lake Storage
  2. Bekijk de vragenlijst voor migratiebeoordeling en vermeld deze mogelijke risico's voor het overwegen.

Stap 2: De migratie voorbereiden

  1. Identificeer werkzaamheden en gegevens die u wilt migreren.

    • Neem deze kans om die werkzaamheden op te schonen die u niet meer gebruikt. Tenzij u van plan bent om al uw taken tegelijk te migreren, duurt het deze tijd om logische groepen taken te identificeren die u in fasen kunt migreren.
    • Evalueer de grootte van de gegevens en begrijp de Apache Spark-gegevensindeling. Controleer uw U-SQL-scripts en evalueer de herschrijvingen van scripts en begrijp het concept van Apache Spark-code.
  2. Bepaal de impact die een migratie op uw bedrijf heeft. Of u zich bijvoorbeeld downtime kunt veroorloven tijdens de migratie.

  3. Maak een migratieplan.

Stap 3: Gegevens- en toepassingsworkload migreren

  1. Migreer uw gegevens van Azure Data Lake Storage Gen1 naar Azure Data Lake Storage Gen2.

    De buitengebruikstelling van Azure Data Lake Storage Gen1 is in februari 2024, zie de officiële aankondiging. We raden aan om in de eerste plaats de gegevens naar Gen2 te migreren. Zie Begrijp Apache Spark-gegevensindelingen voor Azure Data Lake Analytics U-SQL-ontwikkelaars. Verplaats zowel het bestand als de gegevens die zijn opgeslagen in U-SQL-tabellen om ze toegankelijk te maken voor Azure Synapse Analytics. Meer informatie over de migratiehandleiding vindt u hier .

  2. Transformeer uw U-SQL-scripts naar Spark. Raadpleeg Begrijp de concepten van Apache Spark-code voor U-SQL-ontwikkelaars van Azure Data Lake Analytics om uw U-SQL-scripts om te zetten naar Spark.

  3. Transformeer of hercreëer uw orkestratie-pijplijnen naar een nieuw Spark-programma.

Stap 4: Een cut-over van Azure Data Lake Analytics naar Azure Synapse Analytics

Nadat u zeker weet dat uw toepassingen en workloads stabiel zijn, kunt u Azure Synapse Analytics gaan gebruiken om te voldoen aan uw bedrijfsscenario's. Schakel alle resterende pijplijnen uit die worden uitgevoerd in Azure Data Lake Analytics en stel uw Azure Data Lake Analytics-accounts buiten gebruik.

Vragenlijst voor migratie-evaluatie

Categorie Vragen Referentie
De grootte van de migratie evalueren Hoeveel Azure Data Lake Analytics-accounts hebt u? Hoeveel pijplijnen worden er gebruikt? Hoeveel U-SQL-scripts worden gebruikt? Hoe meer gegevens en scripts moeten worden gemigreerd, hoe meer UDO/UDF worden gebruikt in scripts, hoe moeilijker het is om te migreren. De benodigde tijd en resources voor migratie moeten goed worden gepland op basis van de schaal van het project.
Gegevensbron Wat is de grootte van de gegevensbron? Welke soorten gegevensindeling voor verwerking? Inzicht in Apache Spark-gegevensindelingen voor Azure Data Lake Analytics U-SQL-ontwikkelaars
Gegevensuitvoer Bewaart u de uitvoergegevens voor later gebruik? Als de uitvoergegevens worden opgeslagen in U-SQL-tabellen, hoe kunt u deze afhandelen? Als de uitvoergegevens vaak worden gebruikt en worden opgeslagen in U-SQL-tabellen, moet u de scripts wijzigen en de uitvoergegevens wijzigen in ondersteunde Spark-gegevensindeling.
Gegevensmigratie Hebt u het opslagmigratieplan gemaakt? Azure Data Lake Storage migreren van Gen1 naar Gen2
Transformatie van U-SQL-scripts Gebruikt u UDO/UDF (.NET, python, enzovoort)? Als het bovenstaande antwoord ja is, welke taal gebruikt u in uw UDO/UDF en eventuele problemen voor de transformatie tijdens de transformatie? Wordt de federatieve query gebruikt in U-SQL? Inzicht in Apache Spark-codeconcepten voor Azure Data Lake Analytics U-SQL-ontwikkelaars

Volgende stappen