Delen via


steps Pakket

Bevat vooraf gemaakte stappen die kunnen worden uitgevoerd in een Azure Machine Learning-pijplijn.

Azure ML-pijplijnstappen kunnen samen worden geconfigureerd om een pijplijn te maken, die een deelbare en herbruikbare Azure Machine Learning-werkstroom vertegenwoordigt. Elke stap van een pijplijn kan worden geconfigureerd om hergebruik van de vorige uitvoeringsresultaten toe te staan als de inhoud van de stap (scripts en afhankelijkheden) en de invoer en parameters ongewijzigd blijven.

De klassen in dit pakket worden doorgaans samen met de klassen in het core pakket gebruikt. Het kernpakket bevat klassen voor het configureren van gegevens (PipelineData), het plannen (Schedule) en het beheren van de uitvoer van stappen (StepRun).

De vooraf gebouwde stappen in dit pakket hebben betrekking op veel veelvoorkomende scenario's in machine learning-werkstromen. Als u aan de slag wilt gaan met vooraf gemaakte pijplijnstappen, raadpleegt u:

Modules

adla_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap voor het uitvoeren van een U-SQL-script met Azure Data Lake Analytics.

automl_step

Bevat functionaliteit voor het toevoegen en beheren van een geautomatiseerde ML-pijplijnstap in Azure Machine Learning.

azurebatch_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap waarmee een uitvoerbaar Windows-bestand in Azure Batch wordt uitgevoerd.

command_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap waarmee opdrachten worden uitgevoerd.

data_transfer_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap waarmee gegevens worden overgedragen tussen opslagopties.

databricks_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap voor het uitvoeren van een Databricks-notebook of Python-script op DBFS.

estimator_step

Bevat functionaliteit voor het maken van een pijplijnstap waarmee een estimator voor machine learning-modeltraining wordt uitgevoerd.

hyper_drive_step

Bevat funtionaliteit voor het maken en beheren van Azure ML-pijplijnstappen die hyperparameterafstemming uitvoeren.

kusto_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap om een Kusto-notebook uit te voeren.

module_step

Bevat functionaliteit voor het toevoegen van een Azure Machine Learning-pijplijnstap met behulp van een bestaande versie van een module.

mpi_step

Bevat functionaliteit om een Azure ML-pijplijnstap toe te voegen om een MPI-taak uit te voeren voor machine learning-modeltraining.

parallel_run_config

Bevat functionaliteit voor het configureren van een ParallelRunStep.

parallel_run_step

Bevat functionaliteit om een stap toe te voegen voor het uitvoeren van gebruikersscripts in de parallelle modus op meerdere AmlCompute-doelen.

python_script_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap waarmee Python-script wordt uitgevoerd.

r_script_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap waarmee R-script wordt uitgevoerd.

synapse_spark_step

Bevat functionaliteit voor het maken van een Azure ML Synapse-stap waarmee Een Python-script wordt uitgevoerd.

Klassen

AdlaStep

Hiermee maakt u een Azure ML-pijplijnstap voor het uitvoeren van een U-SQL-script met Azure Data Lake Analytics.

Zie het notebook https://aka.ms/pl-adlavoor een voorbeeld van het gebruik van deze AdlaStep.

Maak een Azure ML-pijplijnstap om een U-SQL-script uit te voeren met Azure Data Lake Analytics.

AutoMLStep

Hiermee maakt u een Azure ML-pijplijnstap die een geautomatiseerde ML-uitvoering inkapselt.

Zie het notebook https://aka.ms/pl-automlvoor een voorbeeld van het gebruik van AutoMLStep.

Initialiseer een AutoMLStep.

AutoMLStepRun

Bevat informatie over een geautomatiseerde ML-experimentuitvoering en -methoden voor het ophalen van standaarduitvoer.

De klasse AutoMLStepRun wordt gebruikt voor het beheren, controleren van de status en het ophalen van uitvoeringsdetails zodra een geautomatiseerde ML-uitvoering is verzonden in een pijplijn. Daarnaast kan deze klasse worden gebruikt om de standaarduitvoer van de AutoMLStepStepRun klasse op te halen.

Initialiseer een automl-stapuitvoering.

AzureBatchStep

Hiermee maakt u een Azure ML-pijplijnstap voor het verzenden van taken naar Azure Batch.

Opmerking: deze stap biedt geen ondersteuning voor het uploaden/downloaden van mappen en hun inhoud.

Zie het notebook https://aka.ms/pl-azbatchvoor een voorbeeld van het gebruik van AzureBatchStep.

Maak een Azure ML-pijplijnstap voor het verzenden van taken naar Azure Batch.

CommandStep

Maak een Azure ML-pijplijnstap waarmee een opdracht wordt uitgevoerd.

Maak een Azure ML-pijplijnstap waarmee een opdracht wordt uitgevoerd.

DataTransferStep

Hiermee maakt u een Azure ML-pijplijnstap die gegevens overdraagt tussen opslagopties.

DataTransferStep ondersteunt veelgebruikte opslagtypen zoals Azure Blob Storage en Azure Data Lake als bronnen en sinks. Zie de sectie Opmerkingen voor meer informatie.

Zie het notebook https://aka.ms/pl-data-transvoor een voorbeeld van het gebruik van DataTransferStep.

Maak een Azure ML-pijplijnstap die gegevens overdraagt tussen opslagopties.

DatabricksStep

Hiermee maakt u een Azure ML-pijplijnstap om een DataBricks-notebook, Python-script of JAR toe te voegen als een knooppunt.

Zie het notebook https://aka.ms/pl-databricksvoor een voorbeeld van het gebruik van DatabricksStep.

Maak een Azure ML-pijplijnstap om een DataBricks-notebook, Python-script of JAR toe te voegen als een knooppunt.

Zie het notebook https://aka.ms/pl-databricksvoor een voorbeeld van het gebruik van DatabricksStep.

:p aram python_script_name:[Vereist] De naam van een Python-script ten opzichte source_directoryvan . Als het script invoer en uitvoer gebruikt, worden deze als parameters doorgegeven aan het script. Als python_script_name dit is opgegeven source_directory , moet dat ook zijn.

Geef precies een van notebook_path, python_script_path, of python_script_namemain_class_name.

Als u een DataReference-object opgeeft als invoer met data_reference_name=input1 en een PipelineData-object als uitvoer met name=output1, worden de invoer en uitvoer als parameters doorgegeven aan het script. Dit is hoe deze eruitzien en u moet de argumenten in uw script parseren om toegang te krijgen tot de paden van elke invoer en uitvoer: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Daarnaast zijn de volgende parameters beschikbaar in het script:

  • AZUREML_RUN_TOKEN: het AML-token voor verificatie met Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY: de verlooptijd van het AML-token.
  • AZUREML_RUN_ID: Azure Machine Learning Run ID voor deze uitvoering.
  • AZUREML_ARM_SUBSCRIPTION: Azure-abonnement voor uw AML-werkruimte.
  • AZUREML_ARM_RESOURCEGROUP: Azure-resourcegroep voor uw Azure Machine Learning-werkruimte.
  • AZUREML_ARM_WORKSPACE_NAME: de naam van uw Azure Machine Learning-werkruimte.
  • AZUREML_ARM_PROJECT_NAME: naam van uw Azure Machine Learning-experiment.
  • AZUREML_SERVICE_ENDPOINT: de eindpunt-URL voor AML-services.
  • AZUREML_WORKSPACE_ID: id van uw Azure Machine Learning-werkruimte.
  • AZUREML_EXPERIMENT_ID: id van uw Azure Machine Learning-experiment.
  • AZUREML_SCRIPT_DIRECTORY_NAME: Mappad in DBFS waar source_directory is gekopieerd.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Wanneer u een Python-script uitvoert vanaf uw lokale computer op Databricks met behulp van DatabricksStep-parameters source_directory . python_script_nameUw source_directory wordt gekopieerd naar DBFS en het mappad op DBFS wordt doorgegeven als een parameter aan uw script wanneer het wordt uitgevoerd. Deze parameter wordt gelabeld als –AZUREML_SCRIPT_DIRECTORY_NAME. U moet dit voorvoegsel geven met de tekenreeks dbfs:/of "/dbfs/" om toegang te krijgen tot de map in DBFS.

EstimatorStep

VEROUDERD. Hiermee maakt u een pijplijnstap die moet worden uitgevoerd Estimator voor azure ML-modeltraining.

Maak een Azure ML-pijplijnstap om Estimator uit te voeren voor machine learning-modeltraining.

VEROUDERD. Gebruik in plaats daarvan het CommandStep . Zie Ml-training uitvoeren in pijplijnen met CommandStep voor een voorbeeld.

HyperDriveStep

Hiermee maakt u een Azure ML-pijplijnstap voor het uitvoeren van hyperparameter-tunning voor machine learning-modeltraining.

Zie het notitieblok https://aka.ms/pl-hyperdrivevoor een voorbeeld van het gebruik van HyperDriveStep.

Maak een Azure ML-pijplijnstap om hyperparameter-tunning uit te voeren voor machine learning-modeltraining.

HyperDriveStepRun

Beheer, controleer de status en haal uitvoeringsdetails op voor een HyperDriveStep pijplijnstap.

HyperDriveStepRun biedt de functionaliteit van HyperDriveRun de aanvullende ondersteuning van StepRun. Met de HyperDriveStepRun-klasse kunt u de status beheren, controleren en uitvoeringsdetails ophalen voor de HyperDrive-uitvoering en elk van de gegenereerde onderliggende uitvoeringen. Met de StepRun-klasse kunt u dit doen zodra de bovenliggende pijplijnuitvoering is verzonden en de pijplijn de stapuitvoering heeft ingediend.

Initialiseer een HyperDriveStepRun.

HyperDriveStepRun biedt de functionaliteit van HyperDriveRun de aanvullende ondersteuning van StepRun. Met de HyperDriveRun-klasse kunt u de uitvoeringsdetails voor de HyperDrive-uitvoering en elk van de gegenereerde onderliggende uitvoeringen beheren, controleren en de uitvoeringsdetails ophalen. Met de StepRun-klasse kunt u dit doen zodra de bovenliggende pijplijnuitvoering is verzonden en de pijplijn de stapuitvoering heeft ingediend.

KustoStep

KustoStep maakt het mogelijk om Kusto-query's uit te voeren op een Kusto-doelcluster in Azure ML Pipelines.

Initialiseer KustoStep.

ModuleStep

Hiermee maakt u een Azure Machine Learning-pijplijnstap om een specifieke versie van een module uit te voeren.

Module objecten definiëren herbruikbare berekeningen, zoals scripts of uitvoerbare bestanden, die kunnen worden gebruikt in verschillende machine learning-scenario's en door verschillende gebruikers. Als u een specifieke versie van een module in een pijplijn wilt gebruiken, maakt u een ModuleStep. Een ModuleStep is een stap in de pijplijn die gebruikmaakt van een bestaande ModuleVersion.

Zie het notebook https://aka.ms/pl-modulestepvoor een voorbeeld van het gebruik van ModuleStep.

Maak een Azure ML-pijplijnstap om een specifieke versie van een module uit te voeren.

MpiStep

Hiermee maakt u een Azure ML-pijplijnstap om een MPI-taak uit te voeren.

Zie het notebook https://aka.ms/pl-style-transvoor een voorbeeld van het gebruik van MpiStep.

Maak een Azure ML-pijplijnstap om een MPI-taak uit te voeren.

VEROUDERD. Gebruik in plaats daarvan het CommandStep . Zie Gedistribueerde training uitvoeren in pijplijnen met CommandStep voor een voorbeeld.

ParallelRunConfig

Hiermee definieert u de configuratie voor een ParallelRunStep object.

Zie het notebook https://aka.ms/batch-inference-notebooksvoor een voorbeeld van het gebruik van ParallelRunStep.

Zie voor probleemoplossingsgids https://aka.ms/prstsg. Hier vindt u meer verwijzingen.

Initialiseer het configuratieobject.

ParallelRunStep

Hiermee maakt u een Azure Machine Learning-pijplijnstap om grote hoeveelheden gegevens asynchroon en parallel te verwerken.

Zie het notebook https://aka.ms/batch-inference-notebooksvoor een voorbeeld van het gebruik van ParallelRunStep.

Zie voor probleemoplossingsgids https://aka.ms/prstsg. Hier vindt u meer verwijzingen.

Maak een Azure ML-pijplijnstap om grote hoeveelheden gegevens asynchroon en parallel te verwerken.

Zie de notebookkoppeling https://aka.ms/batch-inference-notebooksvoor een voorbeeld van het gebruik van ParallelRunStep.

PythonScriptStep

Hiermee maakt u een Azure ML-pijplijnstap waarmee Een Python-script wordt uitgevoerd.

Zie het notebook https://aka.ms/pl-get-startedvoor een voorbeeld van het gebruik van PythonScriptStep.

Maak een Azure ML-pijplijnstap waarmee Python-script wordt uitgevoerd.

RScriptStep

Opmerking

Dit is een experimentele klasse en kan op elk gewenst moment worden gewijzigd. Zie https://aka.ms/acr/connected-registry voor meer informatie.

Hiermee maakt u een Azure ML-pijplijnstap waarmee R-script wordt uitgevoerd.

Maak een Azure ML-pijplijnstap waarmee R-script wordt uitgevoerd.

VEROUDERD. Gebruik in plaats daarvan het CommandStep . Zie R-scripts uitvoeren in pijplijnen met CommandStep voor een voorbeeld.

SynapseSparkStep

Opmerking

Dit is een experimentele klasse en kan op elk gewenst moment worden gewijzigd. Zie https://aka.ms/acr/connected-registry voor meer informatie.

Hiermee maakt u een Azure ML Synapse-stap die Python-script verzendt en uitvoert.

Maak een Azure ML-pijplijnstap waarmee spark-taak wordt uitgevoerd in synapse spark-pool.