Schemalägga dataimportjobb (förhandsversion)

• Installera Azure CLI och ml tillägget. Följ installationsstegen i Installera, konfigurera och använd CLI (v2).

• Skapa en Azure Machine Learning-arbetsyta om du inte har någon. Information om hur du skapar arbetsytor finns i Installera, konfigurera och använda CLI (v2).

• Skapa en Azure Machine Learning-arbetsyta om du inte har någon.
• Azure Machine Learning SDK v2 för Python.

• En Azure Machine Learning-arbetsyta. Se Skapa arbetsyteresurser.
• Förståelse för Azure Machine Learning-pipelines. Se vad som är maskininlärningspipelines och hur du skapar pipelinejobb i CLI v2 eller SDK v2.

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

YAML: Schema för dataimport med upprepningsmönster

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Schemalägg för dataimportdefinition infogat med upprepningsmönster i hanterat datalager

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

A trigger innehåller följande egenskaper:

• (Krävs)type anger schematypen, antingen recurrence eller cron. I följande avsnitt finns mer information.

Kör sedan det här kommandot i CLI:

> az ml schedule create -f <file-name>.yml

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger innehåller följande egenskaper:

• (Krävs) För en bättre kodningsupplevelse använder du RecurrenceTrigger för upprepningsschemat.

När dataimporten har tillfredsställande prestanda och utdata kan du konfigurera ett schema för att automatiskt utlösa importen.

1. Gå till Azure Machine Learning-studio

2. Under Tillgångar i det vänstra navigeringsfältet väljer du Data. På fliken Dataimport väljer du den importerade datatillgång som du vill koppla ett schema till. Sidan Importera jobbhistorik bör visas, som du ser i den här skärmbilden:

   

3. På sidan Import jobs history (Importera jobbhistorik ) väljer du den senaste url:en för hyperlänken Importera jobbnamn för att öppna sidan med information om pipelines-jobb enligt den här skärmbilden:

   

4. På sidan med information om pipelinejobb i en dataimport väljer du Schema ->Skapa nytt schema för att öppna guiden skapa schema, som du ser i den här skärmbilden:

   

5. De grundläggande inställningarna för guiden för att skapa schema har de egenskaper som visas i den här skärmbilden:

   

• Namn: den unika identifieraren för schemat på arbetsytan.

• Beskrivning: schemabeskrivningen.

• Utlösare: schemats upprepningsmönster, som innehåller följande egenskaper:

  • Tidszon: beräkningen av utlösarens tid baseras på den här tidszonen. (UTC) Koordinerad universell tid som standard.
  • Upprepning eller Cron-uttryck: välj upprepning för att ange det återkommande mönstret. Under Upprepning kan du ange upprepningsfrekvensen – efter minuter, timmar, dagar, veckor eller månader.
  • Start: Schemat blir först aktivt på det här datumet. Som standard skapas datumet för det här schemat.
  • Slut: schemat blir inaktivt efter det här datumet. Som standard är det NONE, vilket innebär att schemat förblir aktivt tills du inaktiverar det manuellt.
  • Taggar: de valda schemataggar.

  När du har konfigurerat de grundläggande inställningarna kan du välja Granska + skapa, och schemat skickar automatiskt dataimporten baserat på det upprepningsmönster som du har angett. Du kan också välja Nästa och navigera genom guiden för att välja eller uppdatera dataimportparametrarna.

YAML: Schemalägg för en dataimport med cron-uttryck

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

YAML: Schemalägg för dataimport med cron-uttryck (förhandsversion)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Schemalägg för dataimportdefinition infogat med cron-uttryck (förhandsversion)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Avsnittet trigger definierar schemainformationen och innehåller följande egenskaper:

• (Krävs)type anger cron schematypen.

> az ml schedule create -f <file-name>.yml

Listan fortsätter här:

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

Avsnittet CronTrigger definierar schemainformationen och innehåller följande egenskaper:

• (Krävs) För en bättre kodningsupplevelse använder du CronTrigger för upprepningsschemat.

Listan fortsätter här:

När dataimporten har tillfredsställande prestanda och utdata kan du konfigurera ett schema för att automatiskt utlösa importen.

1. Gå till Azure Machine Learning-studio

2. Under Tillgångar i det vänstra navigeringsfältet väljer du Data. På fliken Dataimport väljer du den importerade datatillgång som du vill koppla ett schema till. Sidan Importera jobbhistorik bör visas, som du ser i den här skärmbilden:

   

3. På sidan Import jobs history (Importera jobbhistorik ) väljer du den senaste url:en för hyperlänken Importera jobbnamn för att öppna sidan med information om pipelines-jobb enligt den här skärmbilden:

   

4. På sidan med information om pipelinejobb i en dataimport väljer du Schema ->Skapa nytt schema för att öppna guiden skapa schema, som du ser i den här skärmbilden:

   

5. De grundläggande inställningarna för guiden för att skapa schema har de egenskaper som visas i den här skärmbilden:

   

• Namn: den unika identifieraren för schemat på arbetsytan.

• Beskrivning: schemabeskrivningen.

• Utlösare: schemats upprepningsmönster, som innehåller följande egenskaper:

  • Tidszon: beräkningen av utlösarens tid baseras på den här tidszonen. (UTC) Koordinerad universell tid som standard.
  • Upprepning eller Cron-uttryck: välj upprepning för att ange det återkommande mönstret. Med Cron-uttryck kan du ange ett mer flexibelt och anpassat upprepningsmönster.
  • Start: Schemat blir först aktivt på det här datumet. Som standard skapas datumet för det här schemat.
  • Slut: schemat blir inaktivt efter det här datumet. Som standard är det NONE, vilket innebär att schemat förblir aktivt tills du inaktiverar det manuellt.
  • Taggar: de valda schemataggar.

  När du har konfigurerat de grundläggande inställningarna kan du välja Granska + skapa, och schemat skickar automatiskt dataimporten baserat på det upprepningsmönster som du har angett. Du kan också välja Nästa och navigera genom guiden för att välja eller uppdatera dataimportparametrarna.

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule list

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

I studioportalen går du till tillägget Jobb och väljer fliken Alla scheman . På den fliken visas alla jobbscheman som skapats av SDK/cli/UI i en enda lista. I schemalistan har du en översikt över alla scheman på den här arbetsytan, som du ser i den här skärmbilden:

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule show -n simple_cron_data_import_schedule

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Du kan välja ett schemanamn för att visa sidan med schemainformation. Sidan med schemainformation innehåller följande flikar, som du ser i den här skärmbilden:

• Översikt: grundläggande information för det angivna schemat.

  

• Jobbdefinition: definierar det jobb som det angivna schemat utlöser, enligt följande skärmbild:

  

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Uppdatera en definition för dataimport till ett befintligt schema

Om du vill ändra importfrekvensen eller skapa en ny association för dataimportjobbet kan du uppdatera importdefinitionen för ett befintligt schema.

1. Gå till Azure Machine Learning-studio

2. Under Tillgångar i det vänstra navigeringsfältet väljer du Data. På fliken Dataimport väljer du den importerade datatillgång som du vill koppla ett schema till. Sidan Importera jobbhistorik bör visas, som du ser i den här skärmbilden:

   

3. På sidan Import jobs history (Importera jobbhistorik ) väljer du den senaste länken Importera jobbnamn för att öppna sidan med information om pipelines-jobb enligt den här skärmbilden:

   

4. På sidan med information om pipelinejobb i en dataimport väljer du Schema ->Uppdaterad till befintligt schema för att öppna guiden Välj schema, som du ser i den här skärmbilden:

   

5. Välj ett befintligt schema i listan, som du ser i den här skärmbilden:

   

   Viktigt!

   Se till att du väljer rätt schema för uppdatering. När du har slutfört uppdateringen utlöser schemat olika dataimporter.

6. Du kan också ändra källan, fråga och ändra målsökvägen för framtida dataimporter som schemat utlöser.

7. Välj Granska + uppdatera för att slutföra uppdateringsprocessen. Den slutförda uppdateringen skickar ett meddelande.

8. Du kan visa den nya dataimportdefinitionen på sidan schemainformation när uppdateringen är klar.

Uppdatera i schemainformationssidan

På sidan schemainformation kan du välja Uppdatera inställningar för att uppdatera både grundläggande inställningar och avancerade inställningar, inklusive jobbindata/utdata och körningsinställningar för schemat, som du ser i den här skärmbilden:

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Du kan inaktivera det aktuella schemat på sidan med schemainformation. Du kan också inaktivera scheman på fliken Alla scheman .

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

På sidan schemainformation kan du aktivera det aktuella schemat. Du kan också aktivera scheman på fliken Alla scheman .

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

az ml schedule delete -n simple_cron_data_import_schedule

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Du kan ta bort ett schema från sidan med schemainformation eller fliken Alla scheman.