Delen via

InferenceConfig Klas

Vertegenwoordigt configuratie-instellingen voor een aangepaste omgeving die wordt gebruikt voor implementatie.

Deductieconfiguratie is een invoerparameter voor Model implementatiegerelateerde acties:

Initialiseer het configuratieobject.

Constructor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parameters

Name Description
entry_script
Vereist
str

Het pad naar een lokaal bestand dat de code bevat die moet worden uitgevoerd voor de installatiekopieën.
runtime
str

De runtime die moet worden gebruikt voor de installatiekopieën. De huidige ondersteunde runtimes zijn spark-py en Python.

Default value: None
conda_file
str

Het pad naar een lokaal bestand met een conda-omgevingsdefinitie die moet worden gebruikt voor de installatiekopie.

Default value: None
extra_docker_file_steps
str

Het pad naar een lokaal bestand met extra Docker-stappen die moeten worden uitgevoerd bij het instellen van de installatiekopie.

Default value: None
source_directory
str

Het pad naar de map die alle bestanden bevat om de afbeelding te maken.

Default value: None
enable_gpu
bool

Hiermee wordt aangegeven of GPU-ondersteuning in de installatiekopieën moet worden ingeschakeld. De GPU-installatiekopieën moeten worden gebruikt in Microsoft Azure Services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. De standaardwaarde is False.

Default value: None
description
str

Een beschrijving om deze afbeelding te geven.

Default value: None
base_image
str

Een aangepaste installatiekopieën die moeten worden gebruikt als basisinstallatiekopieën. Als er geen basisinstallatiekopieën worden gegeven, wordt de basisinstallatiekopieën gebruikt op basis van de opgegeven runtimeparameter.

Default value: None
base_image_registry
ContainerRegistry

Het installatiekopieënregister dat de basisinstallatiekopieën bevat.

Default value: None
cuda_version
str

De versie van CUDA die moet worden geïnstalleerd voor installatiekopieën waarvoor GPU-ondersteuning is vereist. De GPU-installatiekopieën moeten worden gebruikt in Microsoft Azure Services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Ondersteunde versies zijn 9.0, 9.1 en 10.0. Als enable_gpu dit is ingesteld, wordt deze standaard ingesteld op '9.1'.

Default value: None
environment
Environment

Een omgevingsobject dat moet worden gebruikt voor de implementatie. De omgeving hoeft niet te worden geregistreerd.

Geef deze parameter of de andere parameters op, maar niet beide. De afzonderlijke parameters dienen NIET als onderdrukking voor het omgevingsobject. Uitzonderingen zijn onder andere entry_script, source_directoryen description.

Default value: None
entry_script
Vereist
str

Het pad naar een lokaal bestand dat de code bevat die moet worden uitgevoerd voor de installatiekopieën.
runtime
Vereist
str

De runtime die moet worden gebruikt voor de installatiekopieën. De huidige ondersteunde runtimes zijn spark-py en Python.
conda_file
Vereist
str

Het pad naar een lokaal bestand met een conda-omgevingsdefinitie die moet worden gebruikt voor de installatiekopie.
extra_docker_file_steps
Vereist
str

Het pad naar een lokaal bestand met extra Docker-stappen die moeten worden uitgevoerd bij het instellen van de installatiekopie.
source_directory
Vereist
str

Het pad naar de map die alle bestanden bevat om de afbeelding te maken.
enable_gpu
Vereist
bool

Hiermee wordt aangegeven of GPU-ondersteuning in de installatiekopieën moet worden ingeschakeld. De GPU-installatiekopieën moeten worden gebruikt in Microsoft Azure Services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. De standaardwaarde is False.
description
Vereist
str

Een beschrijving om deze afbeelding te geven.
base_image
Vereist
str

Een aangepaste installatiekopieën die moeten worden gebruikt als basisinstallatiekopieën. Als er geen basisinstallatiekopieën worden gegeven, wordt de basisinstallatiekopieën gebruikt op basis van de opgegeven runtimeparameter.
base_image_registry
Vereist
ContainerRegistry

Het installatiekopieënregister dat de basisinstallatiekopieën bevat.
cuda_version
Vereist
str

De versie van CUDA die moet worden geïnstalleerd voor installatiekopieën waarvoor GPU-ondersteuning is vereist. De GPU-installatiekopieën moeten worden gebruikt in Microsoft Azure Services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Ondersteunde versies zijn 9.0, 9.1 en 10.0. Als enable_gpu dit is ingesteld, wordt deze standaard ingesteld op '9.1'.
environment
Vereist
Environment

Een omgevingsobject dat moet worden gebruikt voor de implementatie. De omgeving hoeft niet te worden geregistreerd.

Geef deze parameter of de andere parameters op, maar niet beide. De afzonderlijke parameters dienen NIET als onderdrukking voor het omgevingsobject. Uitzonderingen zijn onder andere entry_script, source_directoryen description.

Opmerkingen

In het volgende voorbeeld ziet u hoe u een InferenceConfig-object maakt en gebruikt om een model te implementeren.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variabelen

Name Description
entry_script
str

Het pad naar een lokaal bestand dat de code bevat die moet worden uitgevoerd voor de installatiekopieën.
runtime
str

De runtime die moet worden gebruikt voor de installatiekopieën. De huidige ondersteunde runtimes zijn spark-py en Python.
conda_file
str

Het pad naar een lokaal bestand met een conda-omgevingsdefinitie die moet worden gebruikt voor de installatiekopie.
extra_docker_file_steps
str

Het pad naar een lokaal bestand met extra Docker-stappen die moeten worden uitgevoerd bij het instellen van de installatiekopie.
source_directory
str

Het pad naar de map die alle bestanden bevat om de afbeelding te maken.
enable_gpu
bool

Hiermee wordt aangegeven of GPU-ondersteuning in de installatiekopieën moet worden ingeschakeld. De GPU-installatiekopieën moeten worden gebruikt in Microsoft Azure Services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service.
azureml.core.model.InferenceConfig.description

Een beschrijving om deze afbeelding te geven.
base_image
str

Een aangepaste installatiekopieën die moeten worden gebruikt als basisinstallatiekopieën. Als er geen basisinstallatiekopieën worden gegeven, wordt de basisinstallatiekopieën gebruikt op basis van de opgegeven runtimeparameter.
base_image_registry
ContainerRegistry

Het installatiekopieënregister dat de basisinstallatiekopieën bevat.
cuda_version
str

De versie van CUDA die moet worden geïnstalleerd voor installatiekopieën die GPU-ondersteuning nodig hebben. De GPU-installatiekopieën moeten worden gebruikt in Microsoft Azure Services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Ondersteunde versies zijn 9.0, 9.1 en 10.0. Als enable_gpu dit is ingesteld, wordt deze standaard ingesteld op '9.1'.
azureml.core.model.InferenceConfig.environment

Een omgevingsobject dat moet worden gebruikt voor de implementatie. De omgeving hoeft niet te worden geregistreerd.

Geef deze parameter of de andere parameters op, maar niet beide. De afzonderlijke parameters dienen NIET als onderdrukking voor het omgevingsobject. Uitzonderingen zijn onder andere entry_script, source_directoryen description.

Methoden

build_create_payload

Bouw de nettolading voor het maken van de containerinstallatiekopie.
build_profile_payload

Bouw de nettolading van de profilering voor het modelpakket.
validate_configuration

Controleer of de opgegeven configuratiewaarden geldig zijn.

Genereert een WebserviceException als de validatie mislukt.
validation_script_content

Controleer of de syntaxis van het scorescript geldig is met ast.parse.

Genereert een UserErrorException als de validatie mislukt.

build_create_payload

Bouw de nettolading voor het maken van de containerinstallatiekopie.

build_create_payload(workspace, name, model_ids)

Parameters

Name Description
workspace
Vereist
Workspace

Het werkruimteobject waarin de afbeelding moet worden gemaakt.
name
Vereist
str

De naam van de afbeelding.
model_ids
Vereist
list[str]

Een lijst met model-id's die in de afbeelding moeten worden verpakt.

Retouren

Type Description
dict

De nettolading voor het maken van de containerinstallatiekopie.

Uitzonderingen

Type Description
WebserviceException

build_profile_payload

Bouw de nettolading van de profilering voor het modelpakket.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parameters

Name Description
profile_name
Vereist
str

De naam van de profileringsuitvoering.
input_data
str

De invoergegevens voor profilering.

Default value: None
workspace
Workspace

Een werkruimteobject waarin het model moet worden geprofilleerd.

Default value: None
models
list[Model]

Een lijst met modelobjecten. Kan een lege lijst zijn.

Default value: None
dataset_id
str

Id die is gekoppeld aan de gegevensset die invoergegevens bevat voor de profileringsuitvoering.

Default value: None
container_resource_requirements
ContainerResourceRequirements

containerresourcevereisten voor het grootste exemplaar waarnaar het model moet worden geïmplementeerd

Default value: None
description
str

Beschrijving die moet worden gekoppeld aan de profileringsuitvoering.

Default value: None

Retouren

Type Description
dict

Nettolading van modelprofiel

Uitzonderingen

Type Description
WebserviceException

validate_configuration

Controleer of de opgegeven configuratiewaarden geldig zijn.

Genereert een WebserviceException als de validatie mislukt.

validate_configuration()

Uitzonderingen

Type Description
WebserviceException

validation_script_content

Controleer of de syntaxis van het scorescript geldig is met ast.parse.

Genereert een UserErrorException als de validatie mislukt.

validation_script_content()

Uitzonderingen

Type Description
UserErrorException