Starta och stoppa en Azure-SSIS integrationskörning enligt ett schema

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln beskriver hur du schemalägger start och stopp av en Azure-SQL Server Integration Services (SSIS) integration runtime (IR) med hjälp av Azure Data Factory och Azure Synapse Analytics. En Azure-SSIS IR är en beräkningsresurs som är dedikerad för att köra SSIS-paket.

En kostnad är associerad med att köra en Azure-SSIS IR. Vanligtvis vill du bara köra din IR när du behöver köra SSIS-paket i Azure och stoppa din IR när du inte behöver det längre. Du kan använda Data Factory, Azure-portalsidan för Azure Synapse Analytics-pipelines eller Azure PowerShell för att starta eller stoppa din IR manuellt.

Du kan också skapa webbaktiviteter i Data Factory- eller Azure Synapse Analytics-pipelines för att starta och stoppa din IR enligt ett schema. Du kan till exempel starta den på morgonen innan du kör dina dagliga ETL-arbetsbelastningar och stoppa den på eftermiddagen när arbetsbelastningarna är klara.

Du kan också länka aktiviteten Execute SSIS Package (Kör SSIS-paket) mellan två webbaktiviteter som startar och stoppar din IR. Din IR kommer sedan att starta och stoppa på begäran, antingen före eller efter att paketet körs. Mer information om aktiviteten Execute SSIS Package (Kör SSIS-paket) finns i Köra ett SSIS-paket med aktiviteten Execute SSIS Package (Kör SSIS-paket) i Azure-portalen.

Prerequisites

För att implementera den här genomgången behöver du:

• En instans av Azure Data Factory. Om du inte har någon etablerad följer du stegen i Snabbstart: Skapa en datafabrik med hjälp av Azure-portalen och Azure Data Factory Studio.

• En Azure-SSIS IR. Om du inte har någon konfigurerad följer du anvisningarna i Konfigurera Azure-SSIS integrationskörning i Azure Data Factory.

Skapa och schemalägga Data Factory-pipelines som startar och stoppar en Azure-SSIS IR

Det här avsnittet visar hur du använder webbaktiviteter i Data Factory-pipelines för att starta och stoppa din Azure-SSIS IR enligt ett schema eller starta och stoppa den på begäran. Du skapar tre pipelines:

• Den första pipelinen innehåller en webbaktivitet som startar din Azure-SSIS IR.
• Den andra pipelinen innehåller en webbaktivitet som stoppar din Azure-SSIS IR.
• Den tredje pipelinen innehåller en Execute SSIS Package-aktivitet som är länkad mellan två webbaktiviteter som startar och stoppar din Azure-SSIS IR.

När du har skapat och testat dessa pipelines kan du skapa en utlösare som definierar ett schema för att köra en pipeline. Du kan till exempel skapa två utlösare. Den första är schemalagd att köras dagligen kl. 06.00 och är associerad med den första pipelinen. Den andra är schemalagd att köras dagligen kl. 18.00 och är associerad med den andra pipelinen. På så sätt har du en period från 06:00 till 18:00 varje dag när din IR körs, redo att köra dina dagliga ETL-arbetsbelastningar.

Om du skapar en tredje utlösare som är schemalagd för att köras dagligen vid midnatt och är associerad med den tredje pipelinen, kommer den pipelinen att köras vid midnatt varje dag. Det kommer att starta din IR precis innan paketet körs och sedan köra paketet. Efter paketkörningen stoppas din IR omedelbart, så din IR körs inte utan att göra något.

Skapa dina pipelines

1. På startsidan för Azure Data Factory väljer du Orchestrate.

   

2. I verktygslådan Aktiviteter expanderar du menyn Allmänt och drar en webbaktivitet till pipelinedesignytan. På fliken Allmänt i fönstret aktivitetsegenskaper ändrar du aktivitetsnamnet till startMyIR. Växla till fliken Inställningar och utför sedan följande åtgärder.

   Note

   För Azure-SSIS i Azure Synapse Analytics använder du motsvarande REST-API för Azure Synapse Analytics för att hämta integreringskörningsstatusen, starta integrationskörningen och stoppa integreringskörningen.

   1. För URL anger du följande URL för REST-API:et som startar Azure-SSIS IR. Ersätt {subscriptionId}, {resourceGroupName}, {factoryName}och {integrationRuntimeName} med de faktiska värdena för din IR.

      https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/start?api-version=2018-06-01

      Du kan också kopiera och klistra in resurs-ID:t för din IR från övervakningssidan i datafabrikens användargränssnitt eller app för att ersätta följande del av föregående URL: /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}.

      

   2. För Metod väljer du POST.

   3. För Brödtext anger du {"message":"Start my IR"}.

   4. För Autentisering väljer du Hanterad identitet för att använda den angivna systemhanterade identiteten för din datafabrik. Mer information finns i Hanterad identitet för Azure Data Factory.

   5. För Resurs anger du https://management.azure.com/.

      

3. Klona den första pipelinen för att skapa en till. Ändra aktivitetsnamnet till stopMyIR och ersätt följande egenskaper:

   1. För URL anger du följande URL för REST-API:et som stoppar Azure-SSIS IR. Ersätt {subscriptionId}, {resourceGroupName}, {factoryName}och {integrationRuntimeName} med de faktiska värdena för din IR.

      https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/stop?api-version=2018-06-01.

   2. För Brödtext anger du {"message":"Stop my IR"}.

4. Skapa en tredje pipeline. Dra aktiviteten Execute SSIS Package (Kör SSIS-paket) från verktygslådan Aktiviteter till pipelinedesignytan. Konfigurera sedan aktiviteten genom att följa anvisningarna i Kör ett SSIS-paket med aktiviteten Execute SSIS Package (Kör SSIS-paket) i Azure-portalen.

   Länka aktiviteten Execute SSIS Package (Kör SSIS-paket) mellan två webbaktiviteter som startar och stoppar din IR, ungefär som webbaktiviteterna i den första och andra pipelinen.

   

   I stället för att skapa den tredje pipelinen manuellt kan du också automatiskt skapa den från en mall:

   1. Välj ellipsen (...) bredvid Pipeline för att öppna en listmeny med pipelineåtgärder. Välj sedan åtgärden Pipeline from template.
   2. Markera kryssrutan SSIS under Kategori.
   3. Välj schemalägg ADF-pipelinen för att starta och stoppa Azure-SSIS IR precis i tid före och efter att du har kört SSIS-paketmallen .
   4. Välj din IR i listrutan Azure-SSIS Integration Runtime.
   5. Välj knappen Använd den här mallen .

   När du har skapat din pipeline automatiskt är det bara SSIS-paketet kvar som du kan tilldela aktiviteten Execute SSIS Package (Kör SSIS-paket).

   

5. För att göra den tredje pipelinen mer robust kan du se till att webbaktiviteterna för att starta och stoppa din IR görs om om det finns några tillfälliga fel (till exempel på grund av nätverksanslutning). Du kan också se till att dessa webbaktiviteter endast slutförs när din IR faktiskt startas eller stoppas.

   För att göra det kan du ersätta varje webbaktivitet med en Until-aktivitet. Aktiviteten Until innehåller två webbaktiviteter: en för att starta och stoppa din IR och en annan för att kontrollera din IR-status. Vi anropar Till-aktiviteterna Starta SSIS IR och Stoppa SSIS IR. Aktiviteten Starta SSIS IR Tills innehåller webbaktiviteterna Prova starta SSIS IR och Hämta SSIS IR-status . Aktiviteten Stoppa SSIS IR tills innehåller webaktiviteterna Testa stoppa SSIS IR och Hämta SSIS IR-status.

   På fliken Inställningar i Starta SSIS IR Tills aktiviteten, anger du för @equals('Started', activity('Get SSIS IR Status').output.properties.state). På fliken Inställningar i aktiviteten Stoppa SSIS IR Tills, för Uttryck, ange @equals('Stopped', activity('Get SSIS IR Status').output.properties.state).

   

   I båda Till-aktiviteterna liknar webbaktiviteterna Try Start SSIS IR och Try Stop SSIS IR de webbaktiviteterna i den första och andra pipelinen. Gör följande på fliken Inställningar för webbaktiviteterna Hämta SSIS IR-status :

   1. För URL anger du följande URL för REST-API:et som hämtar Azure-SSIS IR-status. Ersätt {subscriptionId}, {resourceGroupName}, {factoryName}och {integrationRuntimeName} med de faktiska värdena för din IR.

      https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}?api-version=2018-06-01

   2. För Metod väljer du GET.

   3. För Autentisering väljer du Hanterad identitet för att använda den angivna systemhanterade identiteten för din datafabrik. Mer information finns i Hanterad identitet för Azure Data Factory.

   4. För Resurs anger du https://management.azure.com/.

      

6. Tilldela den hanterade identiteten för datafabriken en deltagarroll till sig själv, så att webbaktiviteter i dess pipelines kan anropa REST-API:et för att starta och stoppa Azure-SSIS IR:er som etablerats i den:

   1. På sidan Data Factory i Azure-portalen väljer du Åtkomstkontroll (IAM).

   2. Välj Lägg till>rolltilldelning för att öppna sidan Lägg till rolltilldelning .

   3. Tilldela följande roll. Detaljerade steg finns i Tilldela Azure-roller med hjälp av Azure-portalen.

      Setting	Value
      Role	Contributor
      Tilldela åtkomst till	Användaren, gruppen eller tjänstens huvudnamn
      Members	Ditt användarnamn för Data Factory

      

7. Verifiera din datafabrik och alla pipelineinställningar genom att välja Verifiera alla eller Verifiera i verktygsfältet för fabrik eller pipeline. Stäng Fabriksverifieringsutdata eller Pipeline-valideringsutdata genom att välja knappen dubbelpil (>>).

   

Testkör dina pipelines

1. Välj Testkörning i verktygsfältet för varje pipeline. Fliken Utdata i det nedre fönstret visar pipelinekörningar.

   

2. Om du vill testa den tredje pipelinen kan du använda SQL Server Management Studio om du lagrar ditt SSIS-paket i SSIS-katalogen (SSISDB). Gör följande i fönstret Anslut till server :

   1. Ange Servernamn som <ditt servernamn>.database.windows.net.
   2. Välj Alternativ >>.
   3. För Anslut till databas väljer du SSISDB.
   4. Välj Anslut.
   5. Visa Integration Services Catalogs>SSISDB> din mapp >Projekt> ditt SSIS-projekt >Paket.
   6. Högerklicka på det angivna SSIS-paketet som ska köras och välj sedan Rapporter>Standardrapporter>Alla körningar.
   7. Kontrollera att paketet kördes.

   

Schemalägg dina pipelines

Nu när dina pipelines fungerar som förväntat kan du skapa utlösare för att köra dem vid angivna takter. Mer information om hur du associerar utlösare med pipelines finns i Konfigurera scheman för pipelines.

1. Välj Utlösare i pipelineverktygsfältet och välj sedan Ny/Redigera.

   

2. I fönstret Lägg till utlösare väljer du + Ny.

   

3. Gör följande i fönstret Ny utlösare :

   1. Som Namn anger du ett namn för utlösaren. I följande exempel är trigger2 utlösarnamnet.
   2. För Typ väljer du Schema.
   3. För Startdatum anger du ett startdatum och en tid i UTC.
   4. För Upprepning anger du en kadens för utlösaren. I följande exempel är det en gång varje dag.
   5. Om du vill att utlösaren ska ha ett slutdatum väljer du Ange ett slutdatum och väljer sedan ett datum och en tid.
   6. Välj Starta utlösare när du skapar för att aktivera utlösaren omedelbart efter att du har publicerat alla Data Factory-inställningar.
   7. Välj OK.

   

4. På sidan Triggerkörningsparametrar granska eventuella varningar och välj sedan Slutför.

5. Publicera alla Data Factory-inställningar genom att välja Publicera alla i fabriksverktygsfältet.

   

Övervaka dina pipelines och utlösare i Azure-portalen

• Om du vill övervaka utlösarkörningar och pipelinekörningar använder du fliken Övervaka till vänster i datafabrikens användargränssnitt eller app. Detaljerade steg finns i Övervaka Azure Data Factory visuellt.

  

• Om du vill visa de aktivitetskörningar som är associerade med en pipelinekörning väljer du den första länken (Visa aktivitetskörningar) i kolumnen Åtgärder . För den tredje pipelinen visas tre aktivitetskörningar: en för varje länkad aktivitet i pipelinen (webbaktivitet för att starta din IR, köra SSIS-paketaktivitet för att köra paketet och webbaktivitet för att stoppa din IR). Om du vill visa pipelinekörningarna igen väljer du länken Pipelines längst upp.

  

• Om du vill visa utlösarkörningarna väljer du Utlösarkörningar i listrutan under Pipelinekörningar överst.

  

Övervaka dina pipelines och utlösare med hjälp av PowerShell

Använd skript som följande exempel för att övervaka dina pipelines och utlösare:

• Hämta status för en pipelinekörning:

  Get-AzDataFactoryV2PipelineRun -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -PipelineRunId $myPipelineRun
  

• Hämta information om en utlösare:

  Get-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name  "myTrigger"
  

• Hämta status för en utlösarkörning:

  Get-AzDataFactoryV2TriggerRun -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -TriggerName "myTrigger" -TriggerRunStartedAfter "2018-07-15" -TriggerRunStartedBefore "2018-07-16"
  

Skapa och schemalägga en Azure Automation-runbook som startar och stoppar en Azure-SSIS IR

I det här avsnittet får du lära dig hur du skapar En Azure Automation-runbook som kör ett PowerShell-skript för att starta och stoppa din Azure-SSIS IR enligt ett schema. Den här informationen är användbar när du vill köra ytterligare skript före eller efter att du har startat och stoppat din IR för förbearbetning och efterbearbetning.

Skapa ditt Azure Automation-konto

Om du inte har något Azure Automation-konto skapar du ett genom att följa anvisningarna i det här avsnittet. Detaljerade steg finns i Skapa ett Azure Automation-konto.

Som en del av den här processen skapar du ett Azure Run As-konto (ett huvudnamn för tjänsten i Microsoft Entra-ID) och tilldelar det en deltagarroll i din Azure-prenumeration. Kontrollera att det är samma prenumeration som innehåller din datafabrik med Azure-SSIS IR. Azure Automation använder det här kontot för att autentisera till Azure Resource Manager och arbeta med dina resurser.

1. Öppna webbläsaren Microsoft Edge eller Google Chrome. För närvarande stöds Data Factory UI endast i dessa webbläsare.

2. Logga in på Azure-portalen.

3. Välj Nytt på den vänstra menyn, välj Övervakning + hantering och välj sedan Automation.

   

4. Gör följande i fönstret Lägg till Automation-konto :

   1. Som Namn anger du ett namn för ditt Azure Automation-konto.
   2. För Prenumeration väljer du den prenumeration som har din datafabrik med Azure-SSIS IR.
   3. För Resursgrupp väljer du Skapa ny för att skapa en ny resursgrupp eller väljer Använd befintlig för att använda en befintlig.
   4. För Plats väljer du en plats för ditt Azure Automation-konto.
   5. För Skapa Azure Kör som-konto väljer du Ja. Ett serviceprincipal skapas i din Microsoft Entra-instans och tilldelas en kontributörsroll i din Azure-prenumeration.
   6. Välj Fäst på instrumentpanelen för att visa kontot permanent på Azure-instrumentpanelen.
   7. Välj Skapa.

   

5. Övervaka distributionsstatusen för ditt Azure Automation-konto på Azure-instrumentpanelen och i meddelanden.

   

6. Bekräfta att startsidan för ditt Azure Automation-konto visas. Det innebär att du har skapat kontot.

   

Importera Data Factory-moduler

På den vänstra menyn går du till avsnittet DELADE RESURSER och väljer Moduler. Kontrollera att du har Az.DataFactory och Az.Profile i listan med moduler. De är båda nödvändiga.

Om du inte har Az.DataFactory:

1. Gå till modulen Az.DataFactory i PowerShell-galleriet.

2. Välj Distribuera till Azure Automation, välj ditt Azure Automation-konto och välj sedan OK.

3. Gå tillbaka för att visa moduler i avsnittet DELADE RESURSER på den vänstra menyn. Vänta tills STATUS för Az.DataFactory-modulen ändras till Tillgänglig.

   

Om du inte har Az.Profile:

1. Gå till Az.Profile-modulen i PowerShell-galleriet.

2. Välj Distribuera till Azure Automation, välj ditt Azure Automation-konto och välj sedan OK.

3. Gå tillbaka för att visa moduler i avsnittet DELADE RESURSER på den vänstra menyn. Vänta tills STATUS för Az.Profile-modulen ändras till Tillgänglig.

   

Skapa din PowerShell-runbook

Det här avsnittet innehåller steg för att skapa en PowerShell-runbook. Skriptet som är associerat med din runbook startar eller stoppar Azure-SSIS IR, baserat på det kommando som du anger för parametern OPERATION .

Följande steg innehåller inte alla detaljer om hur man skapar en runbook. Mer information finns i Skapa en runbook.

1. Växla till fliken Runbooks och välj + Lägg till en runbook i verktygsfältet.

   

2. Välj Skapa en ny runbook och utför sedan följande åtgärder:

   1. Som Namn anger du StartStopAzureSsisRuntime.
   2. Som Runbook-typ väljer du PowerShell.
   3. Välj Skapa.

   

3. Kopiera och klistra in följande PowerShell-skript i ditt runbook-skriptfönster. Spara och publicera sedan din runbook med hjälp av knapparna Spara och Publicera i verktygsfältet.

   Note

   I det här exemplet används en systemtilldelad hanterad identitet. Om du använder ett Kör som-konto (tjänstens huvudnamn) eller en användartilldelad hanterad identitet kan du läsa Azure Automation-exempelskript för inloggningsdelen .

   Aktivera lämpliga behörigheter för rollbaserad åtkomstkontroll (RBAC) för den hanterade identiteten för det här Automation-kontot. För mer information, se Roller och behörigheter för Azure Data Factory.

   Param
   (
         [Parameter (Mandatory= $true)]
         [String] $ResourceGroupName,
   
         [Parameter (Mandatory= $true)]
         [String] $DataFactoryName,
   
         [Parameter (Mandatory= $true)]
         [String] $AzureSSISName,
   
         [Parameter (Mandatory= $true)]
         [String] $Operation
   )
   
   $ErrorActionPreference = "Stop"
   
   try
   {
       "Logging in to Azure..."
       Connect-AzAccount -Identity
   }
   catch {
       Write-Error -Message $_.Exception
       throw $_.Exception
   }
   
   if($Operation -eq "START" -or $operation -eq "start")
   {
       "##### Starting #####"
       Start-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name $AzureSSISName -Force
   }
   elseif($Operation -eq "STOP" -or $operation -eq "stop")
   {
       "##### Stopping #####"
       Stop-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Force
   }  
   "##### Completed #####"    
   

   

4. Testa din runbook genom att välja knappen Start i verktygsfältet.

   

5. Gör följande i fönstret Starta Runbook :

   1. För RESOURCEGROUPNAME anger du namnet på resursgruppen som har din datafabrik med Azure-SSIS IR.
   2. För DATAFACTORYNAME anger du namnet på din datafabrik med Azure-SSIS IR.
   3. För AZURESSISNAME anger du namnet på Azure-SSIS IR.
   4. För OPERATION anger du START.
   5. Välj OK.

   

6. I fönstret Jobb väljer du panelen Utdata . I fönstret Utdata väntar du på meddelandet ##### Slutfört ##### när du ser ##### Starta #####. Stäng fönstret Jobb och gå tillbaka till runbook-sidan .

   

7. Upprepa de föregående två stegen med STOP som värde för OPERATION. Starta runbooken igen genom att välja knappen Start i verktygsfältet. Ange resursgruppen, datafabriken och Azure-SSIS IR-namn. För OPERATION anger du STOP. I fönstret Utdata väntar du på meddelandet ##### Slutfört ##### när du ser ##### Stoppa #####. Det tar inte lika lång tid att stoppa en Azure-SSIS IR som att starta den. Stäng fönstret Jobb och gå tillbaka till runbook-sidan .

8. Du kan också utlösa din runbook via en webhook. Om du vill skapa en webhook väljer du menyalternativet Webhooks . Du kan också skapa webhooken enligt ett schema genom att välja menyalternativet Schemalägg enligt vad som anges i nästa avsnitt.

Skapa scheman för din runbook så att du kan starta och stoppa en Azure-SSIS IR.

I föregående avsnitt skapade du en Azure Automation-runbook som antingen kan starta eller stoppa en Azure-SSIS IR. I det här avsnittet skapar du två scheman för din runbook. När du konfigurerar det första schemat anger du START för OPERATION. När du konfigurerar den andra anger du STOP för OPERATION. Detaljerade steg för att skapa scheman finns i Skapa ett schema.

1. På sidan Runbook väljer du Scheman och sedan + Lägg till ett schema i verktygsfältet.

   

2. Utför följande i panelen Schemalägg Runbook:

   1. Välj Länka ett schema till din runbook.
   2. Välj Skapa ett nytt schema.
   3. I fönstret Nytt schema anger du Start IR daily (Starta IR dagligen ) som Namn.
   4. För Startar anger du en tid som är några minuter efter den aktuella tiden.
   5. För Återkommande väljer du Återkommande.
   6. För Upprepa varje anger du 1 och väljer Dag.
   7. Välj Skapa.

   

3. Växla till fliken Parametrar och kör inställningar . Ange resursgruppen, datafabriken och Azure-SSIS IR-namn. För OPERATION anger du START och väljer sedan OK. Välj OK igen för att se schemat på sidan Scheman i din runbook.

   

4. Upprepa de föregående två stegen för att skapa ett schema med namnet Stoppa IR dagligen. Ange en tid som är minst 30 minuter efter den tid som du angav för det dagliga start-IR-schemat . För OPERATION anger du STOP och väljer sedan OK. Välj OK igen för att se schemat på sidan Scheman i din runbook.

5. På sidan Runbook väljer du Jobb på den vänstra menyn. Sidan som öppnas visar de jobb som skapats av dina scheman vid de angivna tiderna, tillsammans med deras statusar. Du kan se jobbinformationen, till exempel dess utdata, ungefär som när du har testat din runbook.

   

6. När du är klar med testningen inaktiverar du dina scheman genom att redigera dem. Välj Scheman på den vänstra menyn, välj Starta IR dagligen/Stoppa IR dagligen och välj sedan Nej för Aktiverad.

Relaterat innehåll

Se följande blogginlägg:

• Modernisera och utöka dina ETL/ELT-arbetsflöden med SSIS-aktiviteter i Azure Data Factory-pipelines

Se följande artiklar i SSIS-dokumentationen:

• Distribuera, köra och övervaka ett SSIS-paket i Azure
• Ansluta till SSIS-katalogen i Azure
• Schemalägg paketkörning i Azure
• Ansluta till lokala data med Windows-autentisering