Skapa en utlösare som kör en pipeline på ett rullande fönster

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln innehåller steg för att skapa, starta och övervaka en utlösare för rullande fönster. Allmän information om utlösare och typer som stöds finns i Pipelinekörning och utlösare.

Utlösare för rullande fönster är en typ av utlösare som går igång med jämna tidsintervall från en angiven starttid och behåller sitt tillstånd. Rullande fönster är en serie tidsintervall med fast storlek, icke-överlappande och sammanhängande. En utlösare för rullande fönster har en en-till-en-relation med en pipeline och kan bara referera till en enskild pipeline.

En utlösare för rullande fönster är ett mer tungviktsalternativ för en schemautlösare. Den erbjuder en uppsättning funktioner för komplexa scenarier som (beroende av andra tumlande fönsterutlösare, återkörning av ett misslyckat jobb och att ställa in användarens återförsök för pipelines). Mer information om skillnaden mellan en schemautlösare och en utlösare för rullande fönster finns i Jämförelse av utlösaretyp.

Azure Data Factory och Azure Synapse-portalen

1. Om du vill skapa en utlösare för rullande fönster i Azure-portalen väljer du fliken Utlösare och väljer sedan Ny.
2. När konfigurationsfönstret för utlösaren har öppnats väljer du Rullande fönster. Definiera sedan utlösaregenskaperna för rullande fönster.
3. När du är klar väljer du Spara.

Egenskaper för utlösartyp för rullande fönster

Ett rullande fönster har följande egenskaper för utlösartyp:

{
    "name": "MyTriggerName",
    "properties": {
        "type": "TumblingWindowTrigger",
        "runtimeState": "<<Started/Stopped/Disabled - readonly>>",
        "typeProperties": {
            "frequency": <<Minute/Hour>>,
            "interval": <<int>>,
            "startTime": "<<datetime>>",
            "endTime": <<datetime - optional>>,
            "delay": <<timespan - optional>>,
            "maxConcurrency": <<int>> (required, max allowed: 50),
            "retryPolicy": {
                "count": <<int - optional, default: 0>>,
                "intervalInSeconds": <<int>>,
            },
            "dependsOn": [
                {
                    "type": "TumblingWindowTriggerDependencyReference",
                    "size": <<timespan - optional>>,
                    "offset": <<timespan - optional>>,
                    "referenceTrigger": {
                        "referenceName": "MyTumblingWindowDependency1",
                        "type": "TriggerReference"
                    }
                },
                {
                    "type": "SelfDependencyTumblingWindowTriggerReference",
                    "size": <<timespan - optional>>,
                    "offset": <<timespan>>
                }
            ]
        },
        "pipeline": {
            "pipelineReference": {
                "type": "PipelineReference",
                "referenceName": "MyPipelineName"
            },
            "parameters": {
                "parameter1": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowStartTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "parameter2": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowEndTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "parameter3": "https://mydemo.azurewebsites.net/api/demoapi"
            }
        }
    }
}

Följande tabell innehåller en översikt på hög nivå över de viktigaste JSON-elementen som är relaterade till upprepning och schemaläggning av en utlösare för rullande fönster.

WindowStart- och WindowEnd-systemvariabler

Du kan använda WindowStart systemvariablerna och WindowEnd för utlösaren för rullande fönster i pipelinedefinitionen (det vill: för en del av en fråga). Skicka systemvariablerna som parametrar till din pipeline i utlösardefinitionen. I följande exempel visas hur du skickar dessa variabler som parametrar.

{
    "name": "MyTriggerName",
    "properties": {
        "type": "TumblingWindowTrigger",
            ...
        "pipeline": {
            "pipelineReference": {
                "type": "PipelineReference",
                "referenceName": "MyPipelineName"
            },
            "parameters": {
                "MyWindowStart": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowStartTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "MyWindowEnd": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowEndTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                }
            }
        }
    }
}

Om du vill använda WindowStart värdena och WindowEnd systemvariabeln i pipelinedefinitionen använder du parametrarna MyWindowStart och MyWindowEnd i enlighet med detta.

Körningsordning för fönster i ett scenario med återfyllnad

Om utlösaren startTime är i det förflutna, sedan baserat på formeln M=(CurrentTime- TriggerStartTime)/TumblingWindowSize, genererar utlösaren {M} återfyllnad(tidigare) körs parallellt och respekterar samtidighet i utlösaren innan framtida körningar körs. Körningsordningen för windows är deterministisk, från äldsta till nyaste intervall. Det här beteendet kan för närvarande inte ändras.

Befintliga TriggerResource-element

Följande punkter gäller för uppdatering av befintliga TriggerResource element:

• Det går inte att ändra värdet för elementet frequency (eller fönsterstorleken) för utlösaren tillsammans med elementet interval när utlösaren har skapats. Den här begränsningen krävs för att återkörningar och beroendeutvärderingar ska fungera triggerRun korrekt.
• Om värdet för elementet i endTime utlösaren ändras (genom att lägga till eller uppdatera) återställs inte tillståndet för de fönster som redan har bearbetats. Utlösaren respekterar det nya endTime värdet. Om det nya endTime värdet ligger före de fönster som redan körs stoppas utlösaren. Annars stoppas utlösaren när det nya endTime värdet påträffas.

Användartilldelade återförsök av pipelines

Vid pipelinefel kan en utlösare för rullande fönster försöka köra den refererade pipelinen automatiskt igen med hjälp av samma indataparametrar, utan användarintervention. Använd egenskapen retryPolicy i utlösardefinitionen för att ange den här åtgärden.

Utlösarberoende för rullande fönster

Om du vill se till att en utlösare för rullande fönster endast körs efter att en annan utlösare för rullande fönster framgångsrikt har körts i datafabriken, skapar du ett beroende mellan utlösarna för rullande fönster.

Avbryt en rullande fönsterkörning

Du kan avbryta körningar för en utlösare för rullande fönster om det specifika fönstret är i tillståndet Väntar, Väntar på beroende eller Körs :

• Om fönstret är i ett körningstillstånd avbryter du den associerade pipelinekörningen och utlösarkörningen markeras som Avbryt efteråt.
• Om fönstret är i ett tillstånd av Väntar eller Väntar på beroende kan du avbryta fönstret från Övervakning.

Du kan också köra ett avbrutet fönster igen. Omstarten tar de senaste publicerade definitionerna av triggern. Beroenden för det angivna fönstret omvärderas när det körs igen.

Exempel för Azure PowerShell och Azure CLI

Information om hur du övervakar utlösarkörningar och pipelinekörningar i Azure-portalen finns i Övervaka pipelinekörningar.

Relaterat innehåll

• Pipelinekörning och utlösare
• Skapa ett utlösarberoende för rullande fönster
• Metadata för referensutlösare i pipelinekörningar