Referens för att konfigurera Kubernetes-kluster för Azure Machine Learning

Den här artikeln innehåller referensinformation för att konfigurera Kubernetes med Azure Machine Learning.

Kubernetes-version och region som stöds

• Kubernetes-kluster som installerar Azure Machine Learning-tillägget har ett versionsstödfönster med "N-2", som är i linje med azure Kubernetes Service-versionssupportprincipen (AKS), där "N" är den senaste ga-delversionen av Azure Kubernetes Service.

  • Om AKS till exempel introducerar 1.20.a idag stöds version 1.20.a, 1.20.b, 1.19.c, 1.19.d, 1.18.e och 1.18.f.

  • Om kunderna kör en Kubernetes-version som inte stöds uppmanas de att uppgradera när de begär support för klustret. Kluster som kör Kubernetes-versioner som inte stöds omfattas inte av supportprinciperna för Azure Machine Learning-tillägget.

• Tillgänglighet för Azure Machine Learning-tilläggsregionen:

  • Azure Machine Learning-tillägget kan distribueras till AKS- eller Azure Arc-aktiverade Kubernetes i regioner som stöds som anges i Stöd för Azure Arc-aktiverade Kubernetes-regioner.

Rekommenderad resursplanering

När du distribuerar Azure Machine Learning-tillägget distribueras vissa relaterade tjänster till ditt Kubernetes-kluster för Azure Machine Learning. I följande tabell visas relaterade tjänster och deras resursanvändning i klustret:

Förutom dina egna distributioner/poddar är de totala minimikraven för systemresurser följande:

Förutsättningar för ARO- eller OCP-kluster

Inaktivera Security Enhanced Linux (SELinux)

Azure Machine Learning-datauppsättning (en SDK v1-funktion som används i Azure Machine Learning-träningsjobb) stöds inte på datorer med SELinux aktiverat. Därför måste du inaktivera selinux för alla arbetare för att kunna använda Azure Machine Learning-datauppsättningen.

Privilegierad installation för ARO och OCP

För distribution av Azure Machine Learning-tillägg i ARO- eller OCP-kluster beviljar du privilegierad åtkomst till Azure Machine Learning-tjänstkonton, kör oc edit scc privileged kommandot och lägger till följande tjänstkonton under "användare:":

• system:serviceaccount:azure-arc:azure-arc-kube-aad-proxy-sa
• system:serviceaccount:azureml:{EXTENSION-NAME}-kube-state-metrics
• system:serviceaccount:azureml:prom-admission
• system:serviceaccount:azureml:default
• system:serviceaccount:azureml:prom-operator
• system:serviceaccount:azureml:load-amlarc-selinux-policy-sa
• system:serviceaccount:azureml:azureml-fe-v2
• system:serviceaccount:azureml:prom-prometheus
• system:serviceaccount:{KUBERNETES-COMPUTE-NAMESPACE}:default
• system:serviceaccount:azureml:azureml-ingress-nginx
• system:serviceaccount:azureml:azureml-ingress-nginx-admission

Insamlad logginformation

Vissa loggar om Azure Machine Learning-arbetsbelastningar i klustret samlas in via tilläggskomponenter, till exempel status, mått, livscykel osv. I följande lista visas all logginformation som samlats in, inklusive vilken typ av loggar som samlats in och var de skickades till eller lagrades.

Azure Machine Learning-jobb ansluter till anpassad datalagring

Beständiga volymer (PV) och beständiga volymanspråk (PVC) är Kubernetes-begrepp, vilket gör det möjligt för användaren att tillhandahålla och använda olika lagringsresurser.

1. Skapa PV, ta NFS som exempel,

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv 
spec:
  capacity:
    storage: 1Gi 
  accessModes:
    - ReadWriteMany 
  persistentVolumeReclaimPolicy: Retain
  storageClassName: ""
  nfs: 
    path: /share/nfs
    server: 20.98.110.84 
    readOnly: false

2. Skapa PVC i samma Kubernetes-namnområde med ML-arbetsbelastningar. I metadatamåste du lägga till en etikett ml.azure.com/pvc: "true" som ska identifieras av Azure Machine Learning och lägga till anteckningar ml.azure.com/mountpath: <mount path> för att ange monteringssökvägen.

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc  
  namespace: default
  labels:
    ml.azure.com/pvc: "true"
  annotations:
    ml.azure.com/mountpath: "/mnt/nfs"
spec:
  storageClassName: ""
  accessModes:
  - ReadWriteMany      
  resources:
     requests:
       storage: 1Gi

Azure Machine Learning-spår och toleranser som stöds

Taint och Toleration är Kubernetes-begrepp som fungerar tillsammans för att säkerställa att poddar inte schemaläggs till olämpliga noder.

Kubernetes-kluster som är integrerade med Azure Machine Learning (inklusive AKS- och Arc Kubernetes-kluster) stöder nu specifika Azure Machine Learning-taints och toleranser, vilket gör det möjligt för användare att lägga till specifika Azure Machine Learning-taints på azure machine learning-dedikerade noder, för att förhindra att icke-Azure Machine Learning-arbetsbelastningar schemaläggs på dessa dedikerade noder.

Vi stöder endast placering av amlarc-specifika taints på dina noder, som definieras på följande sätt:

Bästa praxis

Enligt dina schemaläggningskrav för de Azure Machine Learning-dedikerade noderna kan du lägga till flera amlarc-specifika taints för att begränsa vad Azure Machine Learning-arbetsbelastningar kan köra på noder. Vi listar metodtips för att använda amlarc taints:

• Om du vill förhindra att icke-Azure Machine Learning-arbetsbelastningar körs på Azure Machine Learning-dedikerade noder/nodpooler kan du bara lägga till taint i aml overall dessa noder.
• För att förhindra att icke-systempoddar körs på Azure Machine Learning-dedikerade noder/nodpooler måste du lägga till följande taints:
  • amlarc overall besudla
  • amlarc system besudla
• För att förhindra att icke-ml-arbetsbelastningar körs på Azure Machine Learning-dedikerade noder/nodpooler måste du lägga till följande taints:
  • amlarc overall besudla
  • amlarc workloads besudla
• För att förhindra att arbetsbelastningar som inte skapas från arbetsytan X körs på Azure Machine Learning-dedikerade noder/nodpooler måste du lägga till följande taint:
  • amlarc overall besudla
  • amlarc resource group (has this <workspace X>) besudla
  • amlarc <workspace X> besudla
• Om du vill förhindra att arbetsbelastningar som inte skapas av beräkningsmål X körs på Azure Machine Learning-dedikerade noder/nodpooler måste du lägga till följande taint:
  • amlarc overall besudla
  • amlarc resource group (has this <workspace X>) besudla
  • amlarc workspace (has this <compute X>) besudla
  • amlarc <compute X> besudla

Integrera annan ingresskontrollant med Azure Machine Learning-tillägget via HTTP eller HTTPS

Förutom standardinferensen för Azure Machine Learning-lastbalanseraren azureml-fe kan du även integrera andra lastbalanserare med Azure Machine Learning-tillägget via HTTP eller HTTPS.

Den här självstudien visar hur du integrerar Nginx-ingresskontrollanten eller Azure Application Gateway.

Förutsättningar

• Distribuera Azure Machine Learning-tillägget med inferenceRouterServiceType=ClusterIP och allowInsecureConnections=True, så att Nginx Ingress Controller kan hantera TLS-avslutning på egen hand i stället för att överlämna det till azureml-fe när tjänsten exponeras via HTTPS.
• För att integrera med Nginx Ingress Controller behöver du en Kubernetes-klusterkonfiguration med Nginx Ingress Controller.
  • Skapa en grundläggande kontrollant: Om du börjar från början kan du läsa de här anvisningarna.
• För att integrera med Azure Application Gateway behöver du en Kubernetes-klusterkonfiguration med Ingresskontrollant för Azure Application Gateway.
  • Greenfield-distribution: Om du börjar från början kan du läsa de här anvisningarna.
  • Distribution av Brownfield: Om du har ett befintligt AKS-kluster och Application Gateway kan du läsa de här anvisningarna.
• Om du vill använda HTTPS i det här programmet behöver du ett x509-certifikat och dess privata nyckel.

Exponera tjänster via HTTP

För att exponera azureml-fe använder vi följande ingressresurs:

# Nginx Ingress Controller example
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: azureml-fe
  namespace: azureml
spec:
  ingressClassName: nginx
  rules:
  - http:
      paths:
      - path: /
        backend:
          service:
            name: azureml-fe
            port:
              number: 80
        pathType: Prefix

Den här ingressen azureml-fe exponerar tjänsten och den valda distributionen som standardserverdel för Nginx-ingresskontrollanten.

# Azure Application Gateway example
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: azureml-fe
  namespace: azureml
spec:
  ingressClassName: azure-application-gateway
  rules:
  - http:
      paths:
      - path: /
        backend:
          service:
            name: azureml-fe
            port:
              number: 80
        pathType: Prefix

Den här ingressen azureml-fe exponerar tjänsten och den valda distributionen som standardserverdel för Application Gateway.

Spara ovanstående ingressresurs som ing-azureml-fe.yaml.

1. Distribuera ing-azureml-fe.yaml genom att köra:

   kubectl apply -f ing-azureml-fe.yaml
   

2. Kontrollera loggen för ingresskontrollanten för distributionsstatus.

3. azureml-fe Nu ska programmet vara tillgängligt. Du kan kontrollera genom att besöka:

   • Nginx Ingress Controller: den offentliga LoadBalancer-adressen för Nginx Ingress Controller
   • Azure Application Gateway: den offentliga adressen för Application Gateway.

4. Skapa ett slutsatsdragningsjobb och anropa.

   Kommentar

   Ersätt ip-adressen i scoring_uri med den offentliga LoadBalancer-adressen för Nginx-ingresskontrollanten innan du anropar.

Exponera tjänster via HTTPS

1. Innan du distribuerar ingress måste du skapa en kubernetes-hemlighet som värd för certifikatet och den privata nyckeln. Du kan skapa en kubernetes-hemlighet genom att köra

   kubectl create secret tls <ingress-secret-name> -n azureml --key <path-to-key> --cert <path-to-cert>
   

2. Definiera följande ingress. I ingressen anger du namnet på hemligheten i avsnittet secretName .

   # Nginx Ingress Controller example
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: azureml-fe
     namespace: azureml
   spec:
     ingressClassName: nginx
     tls:
     - hosts:
       - <domain>
       secretName: <ingress-secret-name>
     rules:
     - host: <domain>
       http:
         paths:
         - path: /
           backend:
             service:
               name: azureml-fe
               port:
                 number: 80
           pathType: Prefix
   

   # Azure Application Gateway example
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: azureml-fe
     namespace: azureml
   spec:
     ingressClassName: azure-application-gateway
     tls:
     - hosts:
       - <domain>
       secretName: <ingress-secret-name>
     rules:
     - host: <domain>
       http:
         paths:
         - path: /
           backend:
             service:
               name: azureml-fe
               port:
                 number: 80
           pathType: Prefix
   

   Kommentar

   Ersätt <domain> och <ingress-secret-name> i ovanstående ingressresurs med domänen som pekar på LoadBalancer för Nginx-ingresskontrollanten /Application Gateway och namnet på din hemlighet. Lagra ovanstående ingressresurs i ett filnamn ing-azureml-fe-tls.yaml.

3. Distribuera ing-azureml-fe-tls.yaml genom att köra

   kubectl apply -f ing-azureml-fe-tls.yaml
   

4. Kontrollera loggen för ingresskontrollanten för distributionsstatus.

5. Nu är programmet azureml-fe tillgängligt på HTTPS. Du kan kontrollera detta genom att besöka den offentliga LoadBalancer-adressen för Nginx Ingress Controller.

6. Skapa ett slutsatsdragningsjobb och anropa.

   Kommentar

   Ersätt protokollet och IP-adressen i scoring_uri med https och domän som pekar på LoadBalancer för Nginx-ingresskontrollanten eller Application Gateway innan du anropar.

Använda en ARM-mall till att distribuera tillägg

Tillägg i hanterat kluster kan distribueras med ARM-mall. Du hittar en exempelmall från deployextension.json med en demoparameterfil deployextension.parameters.json

Om du vill använda exempeldistributionsmallen redigerar du parameterfilen med rätt värde och kör sedan följande kommando:

az deployment group create --name <ARM deployment name> --resource-group <resource group name> --template-file deployextension.json --parameters deployextension.parameters.json

Mer information om hur du använder ARM-mall finns i dokumentet om ARM-mallar

Versionsanteckning för AzuremML-tillägg