Een aangepaste container gebruiken om een model te implementeren op een online-eindpunt

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

In de opslagplaats met voorbeelden bevinden de meeste Python-voorbeelden zich onder de map sdk/python. Ga in plaats daarvan naar de cli-map voor dit artikel. De mapstructuur onder de cli-map is in dit geval iets anders dan de sdk-/python-structuur. Voor de meeste stappen in dit artikel is de cli-structuur vereist.

Als u de voorbeeldstappen wilt volgen, raadpleegt u een Jupyter-notebook in de opslagplaats met voorbeelden. Maar in de volgende secties van dat notebook worden de stappen uitgevoerd vanuit de map azureml-examples/sdk/python in plaats van de cli-map:

• 3. Test locally
• 5. Het eindpunt testen met voorbeeldgegevens

YAML-bestanden maken voor uw eindpunt en implementatie

U kunt uw cloudimplementatie configureren met behulp van YAML. Als u bijvoorbeeld uw eindpunt wilt configureren, kunt u een YAML-bestand maken met de naam tfserving-endpoint.yml met de volgende regels:

$schema: https://azuremlsdk2.blob.core.windows.net/latest/managedOnlineEndpoint.schema.json
name: tfserving-endpoint
auth_mode: aml_token

Als u uw implementatie wilt configureren, kunt u een YAML-bestand maken met de naam tfserving-deployment.yml met de volgende regels:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: <model-version>
  path: ./half_plus_two
environment_variables:
  MODEL_BASE_PATH: /var/azureml-app/azureml-models/tfserving-mounted/<model-version>
  MODEL_NAME: half_plus_two
environment:
  #name: tfserving
  #version: 1
  image: docker.io/tensorflow/serving:latest
  inference_config:
    liveness_route:
      port: 8501
      path: /v1/models/half_plus_two
    readiness_route:
      port: 8501
      path: /v1/models/half_plus_two
    scoring_route:
      port: 8501
      path: /v1/models/half_plus_two:predict
instance_type: Standard_DS3_v2
instance_count: 1

Verbinding maken met uw Azure Machine Learning-werkruimte

Voer de volgende stappen uit om uw Azure Machine Learning-werkruimte te configureren:

1. Importeer de vereiste bibliotheken:

   # Import the required libraries.
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
      ManagedOnlineEndpoint,
      ManagedOnlineDeployment,
      Model,
      Environment,
      CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential
   

2. Werkruimte-instellingen configureren en toegang tot de werkruimte verkrijgen.

   # Enter information about your Azure Machine Learning workspace.
   subscription_id = "<subscription-ID>"
   resource_group = "<resource-group-name>"
   workspace = "<Azure-Machine-Learning-workspace-name>"
   
   # Get a handle to the workspace.
   ml_client = MLClient(
     DefaultAzureCredential(), subscription_id, resource_group, workspace
   )
   

Zie Een machine learning-model implementeren en beoordelen met behulp van een online-eindpunt voor meer informatie.

Een online-eindpunt configureren

Gebruik de volgende code om een online-eindpunt te configureren. Houd rekening met de volgende punten:

• De naam van het eindpunt moet uniek zijn in de Azure-regio. Ook moet een eindpuntnaam beginnen met een letter en alleen bestaan uit alfanumerieke tekens en afbreekstreepjes. Zie Azure Machine Learning Online-eindpunten en batcheindpunten voor meer informatie over naamgevingsregels.
• Gebruik voor de auth_mode waarde key voor verificatie op basis van sleutels. Gebruiken aml_token voor verificatie op basis van tokens op basis van Azure Machine Learning. Een sleutel verloopt niet, maar een token verloopt wel. Zie Authenticatie van clients voor online-eindpunten voor meer informatie over verificatie.
• De beschrijving en tags zijn optioneel.

# To create a unique endpoint name, use a time stamp of the current date and time.
import datetime

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")

# Configure an online endpoint.
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="A sample online endpoint",
    auth_mode="key",
    tags={"env": "dev"},
)

Een online-implementatie configureren

Een implementatie is een set resources die vereist zijn voor het hosten van het model dat de werkelijke deductie uitvoert. U kunt de ManagedOnlineDeployment klasse gebruiken om een implementatie voor uw eindpunt te configureren. De constructor van die klasse gebruikt de volgende parameters:

• name: De naam van de implementatie.
• endpoint_name: De naam van het eindpunt waaronder de implementatie moet worden gemaakt.
• model: het model dat moet worden gebruikt voor de implementatie. Deze waarde kan een verwijzing zijn naar een bestaand versiemodel in de werkruimte of een inline modelspecificatie.
• environment: De omgeving die moet worden gebruikt voor de implementatie. Deze waarde kan een verwijzing zijn naar een bestaande versieomgeving in de werkruimte of een inline-omgevingsspecificatie.
• environment_variables: Omgevingsvariabelen die tijdens de implementatie worden ingesteld.
  • MODEL_BASE_PATH: het pad naar de bovenliggende map die een map voor uw model bevat.
  • MODEL_NAME: De naam van uw model.
• instance_type: De grootte van de virtuele machine die moet worden gebruikt voor de implementatie. Zie de SKU-lijst met beheerde online-eindpunten voor een lijst met ondersteunde grootten.
• instance_count: het aantal exemplaren dat moet worden gebruikt voor de implementatie.

Gebruik de volgende code om een implementatie voor uw eindpunt te configureren:

# create a blue deployment
model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

env = Environment(
    image="docker.io/tensorflow/serving:latest",
    inference_config={
        "liveness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "readiness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "scoring_route": {"port": 8501, "path": "/v1/models/half_plus_two:predict"},
    },
)

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    environment_variables={
        "MODEL_BASE_PATH": "/var/azureml-app/azureml-models/tfserving-mounted/1",
        "MODEL_NAME": "half_plus_two",
    },
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

Stel dat uw tfserving-deployment.yml bestand de volgende regels in model de sectie bevat. In deze sectie verwijst de name waarde naar de naam die u gebruikt om het model te registreren in Azure Machine Learning.

model:
    name: tfserving-mounted
    version: 1
    path: ./half_plus_two

Stel dat u de volgende code gebruikt om een Model klasse te maken. In deze code verwijst de name waarde naar de naam die u gebruikt om het model te registreren in Azure Machine Learning.

model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

U kunt bijvoorbeeld de model_mount_path parameter toevoegen aan uw tfserving-deployment.yml-bestand. U kunt ook de MODEL_BASE_PATH waarde in dat bestand bijwerken:

name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: 1
  path: ./half_plus_two
model_mount_path: /var/tfserving-model-mount
environment_variables:
  MODEL_BASE_PATH: /var/tfserving-model-mount
...

U kunt bijvoorbeeld de model_mount_path parameter toevoegen aan uw ManagedOnlineDeployment klasse. U kunt ook de MODEL_BASE_PATH waarde in die code bijwerken:

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    model_mount_path="/var/tfserving-model-mount",
    environment_variables={
        "MODEL_BASE_PATH": "/var/tfserving-model-mount",
    ...
)

Nadat u uw YAML-bestand hebt gemaakt, gebruikt u de volgende opdracht om uw eindpunt te maken:

az ml online-endpoint create --name tfserving-endpoint -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-endpoint.yml

Gebruik de volgende opdracht om uw implementatie te maken. Deze stap kan enkele minuten worden uitgevoerd.

az ml online-deployment create --name tfserving-deployment -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-deployment.yml --all-traffic

Gebruik de volgende code om het eindpunt in de werkruimte te maken. Deze code maakt gebruik van het exemplaar van MLClient dat u eerder hebt gemaakt. De begin_create_or_update methode start het maken van het eindpunt. Vervolgens wordt er een bevestigingsantwoord geretourneerd terwijl het maken van het eindpunt wordt voortgezet.

ml_client.begin_create_or_update(endpoint)

Maak de implementatie door de volgende code uit te voeren:

ml_client.begin_create_or_update(blue_deployment)

RESPONSE=$(az ml online-endpoint invoke -n $ENDPOINT_NAME --request-file $BASE_PATH/sample_request.json)

Gebruik het exemplaar van MLClient dat u eerder hebt gemaakt om een referentie naar het eindpunt te verkrijgen. Gebruik vervolgens de invoke methode en de volgende parameters om het eindpunt aan te roepen:

• endpoint_name: De naam van het eindpunt
• request_file: Het bestand met de aanvraaggegevens
• deployment_name: De naam van de implementatie die moet worden getest in het eindpunt

For the request data, you can use a sample JSON file from the example repository.

# Test the blue deployment by using some sample data.
response = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="sample_request.json",
)

az ml online-endpoint delete --name tfserving-endpoint

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)