Använda Azure Container Storage (version 1.x.x) med lokal NVMe och volymreplikering

Azure Container Storage är en molnbaserad volymhanterings-, distributions- och orkestreringstjänst som skapats internt för containrar. Den här artikeln visar hur du konfigurerar Azure Container Storage (version 1.x.x) för att använda tillfällig disk med lokal NVMe och volymreplikering som serverdelslagring för dina Kubernetes-arbetsbelastningar. I slutet har du en podd som använder lokal NVMe som lagringsplats. Replikering kopierar data mellan volymer på olika noder och återställer en volym när en replik går förlorad, vilket ger återhämtning för tillfälliga diskar.

Vad är tillfällig disk?

När ditt program behöver svarstid på under millisekunder kan du använda Tillfällig disk med Azure Container Storage för att uppfylla dina prestandakrav. Tillfälliga innebär att diskarna distribueras på den lokala virtuella datorn (VM) som är värd för AKS-klustret och inte sparas i en Azure-lagringstjänst. Data kommer att gå förlorad på dessa diskar om du stoppar/avallokerar den virtuella datorn.

Det finns två typer av tillfällig disk tillgänglig: lokal NVMe och temp SSD. NVMe är utformat för dataöverföring med hög hastighet mellan lagring och CPU. Välj NVMe när ditt program behöver högre IOPS eller dataflöde än temp SSD, eller kräver mer lagringsutrymme. Tänk på att Azure Container Storage endast stöder synkron datareplikering för lokal NVMe.

På grund av de här diskarnas tillfälliga karaktär stöder Azure Container Storage som standard användning av generiska tillfälliga volymer när du använder tillfälliga diskar. Vissa användningsfall kan dock kräva beständiga volymer även om data inte är varaktiga, till exempel om du vill använda befintliga YAML-filer eller distributionsmallar som är hårdkodade för att använda beständiga volymer, och din arbetsbelastning stöder replikering på programnivå för hållbarhet. I sådana fall kan du uppdatera installationen av Azure Container Storage och lägga till anteckningen acstor.azure.com/accept-ephemeral-storage=true i din beständiga volymanspråksdefinition för att stödja skapandet av beständiga volymer från tillfälliga disklagringspooler.

Förutsättningar

• Om du inte har någon Azure-prenumeration skapar du ett kostnadsfritt konto innan du börjar.

• Den här artikeln kräver den senaste versionen av Azure CLI. Se Så här installerar du Azure CLI. Om du använder Bash-miljön i Azure Cloud Shell är den senaste versionen förmodligen redan installerad. Om du planerar att köra kommandona lokalt i stället för i Azure Cloud Shell ska du köra dem med administratörsbehörighet. Mer information finns i Kom igång med Azure Cloud Shell.

• Du behöver Kubernetes kommandoradsklient, kubectl. Det är redan installerat om du använder Azure Cloud Shell, eller så kan du installera det lokalt genom att köra kommandot az aks install-cli.

• Kontrollera om målregionen stöds i Azure Container Storage-regioner.

Välj en VM-typ som stöder lokal NVMe

Lokal NVMe-disk är endast tillgänglig i vissa typer av virtuella datorer, till exempel lagringsoptimerade VM-SKU:er eller GPU-accelererade VM-SKU:er. Om du planerar att använda lokal NVMe väljer du en av dessa VM-SKU:er.

Kör följande kommando för att hämta den vm-typ som används med nodpoolen. Ersätt <resource group> och <cluster name> med dina egna värden. Du behöver inte ange värden för PoolName eller VmSize, så behåll frågan som du ser här.

az aks nodepool list --resource-group <resource group> --cluster-name <cluster name> --query "[].{PoolName:name, VmSize:vmSize}" -o table

Följande är ett exempel på utdata.

PoolName    VmSize
----------  ---------------
nodepool1   standard_l8s_v3

Vi rekommenderar att varje virtuell dator har minst fyra virtuella processorer (vCPU:er) och att varje nodpool har minst tre noder.

Skapa och bifoga generiska tillfälliga volymer

Följ dessa steg för att skapa och bifoga en generisk flyktig volym.

1. Skapa en lagringspool med volymreplikering

Skapa först en lagringspool, som är en logisk gruppering av lagring för ditt Kubernetes-kluster, genom att definiera den i en YAML-manifestfil.

Om du har aktiverat Azure Container Storage med hjälp av az aks create eller az aks update kommandon kanske du redan har en lagringspool. Använd kubectl get sp -n acstor för att hämta listan över lagringspooler. Om du redan har en tillgänglig lagringspool som du vill använda kan du hoppa över det här avsnittet och fortsätta till Visa tillgängliga lagringsklasser.

Följ de här stegen för att skapa en lagringspool med hjälp av lokal NVMe med replikering. Azure Container Storage stöder för närvarande konfigurationer med tre repliker och fem repliker. Om du anger tre repliker måste du ha minst tre noder i AKS-klustret. Om du anger fem repliker måste du ha minst fem noder.

1. Använd din favorittextredigerare för att skapa en YAML-manifestfil, code acstor-storagepool.yamltill exempel .

2. Klistra in följande kod och spara filen. Värdet för lagringspoolens namn kan vara vad du vill.

   apiVersion: containerstorage.azure.com/v1
   kind: StoragePool
   metadata:
     name: ephemeraldisk-nvme
     namespace: acstor
   spec:
     poolType:
       ephemeralDisk:
         diskType: nvme
         replicas: 3
   

3. Använd YAML-manifestfilen för att skapa lagringspoolen.

   kubectl apply -f acstor-storagepool.yaml 
   

   När lagringspoolen har skapats visas ett meddelande som:

   storagepool.containerstorage.azure.com/ephemeraldisk-nvme created
   

   Du kan också köra det här kommandot för att kontrollera lagringspoolens status. Ersätt <storage-pool-name> med värdet för lagringspoolens namn . I det här exemplet skulle värdet vara tillfälligadisk-nvme.

   kubectl describe sp <storage-pool-name> -n acstor
   

När lagringspoolen skapas skapar Azure Container Storage en lagringsklass åt dig med hjälp av namngivningskonventionen acstor-<storage-pool-name>.

2. Visa tillgängliga lagringsklasser

När lagringspoolen är redo att användas måste du välja en lagringsklass för att definiera hur lagring skapas dynamiskt när du skapar och distribuerar volymer.

Kör kubectl get sc för att visa tillgängliga lagringsklasser. Du bör se en lagringsklass med namnet acstor-<storage-pool-name>.

$ kubectl get sc | grep "^acstor-"
acstor-azuredisk-internal   disk.csi.azure.com               Retain          WaitForFirstConsumer   true                   65m
acstor-ephemeraldisk-nvme        containerstorage.csi.azure.com   Delete          WaitForFirstConsumer   true                   2m27s

3. Distribuera en podd med en allmän tillfällig volym

Skapa en podd med Fio (flexibel I/O-testare) för benchmarking och arbetsbelastningssimulering, som använder en allmän tillfällig volym.

1. Använd din favorittextredigerare för att skapa en YAML-manifestfil, code acstor-pod.yamltill exempel .

2. Klistra in följande kod och spara filen.

   kind: Pod
   apiVersion: v1
   metadata:
     name: fiopod
   spec:
     nodeSelector:
       acstor.azure.com/io-engine: acstor
     containers:
       - name: fio
         image: nixery.dev/shell/fio
         args:
           - sleep
           - "1000000"
         volumeMounts:
           - mountPath: "/volume"
             name: ephemeralvolume
     volumes:
       - name: ephemeralvolume
         ephemeral:
           volumeClaimTemplate:
             metadata:
               labels:
                 type: my-ephemeral-volume
             spec:
               accessModes: [ "ReadWriteOnce" ]
               storageClassName: acstor-ephemeraldisk-nvme # replace with the name of your storage class if different
               resources:
                 requests:
                   storage: 1Gi
   

   När du ändrar lagringsstorleken för dina volymer kontrollerar du att storleken är mindre än den tillgängliga kapaciteten för en enskild nods tillfälliga disk. Se Kontrollera nodens tillfälliga diskkapacitet.

3. Använd YAML-manifestfilen för att distribuera podden.

   kubectl apply -f acstor-pod.yaml
   

   Du bör se utdata som liknar följande:

   pod/fiopod created
   

4. Kontrollera att podden körs och att det tillfälliga volymkravet har bundits rätt till podden.

   kubectl describe pod fiopod
   kubectl describe pvc fiopod-ephemeralvolume
   

5. Kontrollera fio-testningen för att se dess aktuella status:

   kubectl exec -it fiopod -- fio --name=benchtest --size=800m --filename=/volume/test --direct=1 --rw=randrw --ioengine=libaio --bs=4k --iodepth=16 --numjobs=8 --time_based --runtime=60
   

Nu har du distribuerat en pod som använder lokal NVMe med volymreplikering, vilket du nu kan använda för dina Kubernetes-arbetsbelastningar.

Skapa och koppla beständiga volymer

Om du vill skapa en beständig volym från en tillfällig disklagringspool måste du inkludera en anteckning i dina beständiga volymanspråk (PVCs) som ett skydd för att säkerställa att du tänker använda beständiga volymer även när data är tillfälliga. Dessutom måste du aktivera --ephemeral-disk-volume-type-flaggan med PersistentVolumeWithAnnotation-värdet på klustret innan du skapar dina beständiga volume-påståenden.

Följ de här stegen för att skapa och ansluta en beständig volym.

1. Uppdatera installationen av Azure Container Storage

Kör följande kommando för att uppdatera azure containerlagringsinstallationen så att du kan skapa beständiga volymer från tillfälliga disklagringspooler.

az aks update -n <cluster-name> -g <resource-group> --enable-azure-container-storage ephemeralDisk --storage-pool-option NVMe --ephemeral-disk-volume-type PersistentVolumeWithAnnotation 

2. Skapa en lagringspool med volymreplikering

Följ de här stegen för att skapa en lagringspool med hjälp av lokal NVMe med replikering. Azure Container Storage stöder för närvarande konfigurationer med tre repliker och fem repliker. Om du anger tre repliker måste du ha minst tre noder i AKS-klustret. Om du anger fem repliker måste du ha minst fem noder.

1. Använd din favorittextredigerare för att skapa en YAML-manifestfil, code acstor-storagepool.yamltill exempel .

2. Klistra in följande kod och spara filen. Värdet för lagringspoolens namn kan vara vad du vill. Ställ in kopior till 3 eller 5.

   apiVersion: containerstorage.azure.com/v1
   kind: StoragePool
   metadata:
     name: ephemeraldisk-nvme
     namespace: acstor
   spec:
     poolType:
       ephemeralDisk:
         diskType: nvme
         replicas: 3
   

3. Använd YAML-manifestfilen för att skapa lagringspoolen.

   kubectl apply -f acstor-storagepool.yaml 
   

   När lagringspoolen har skapats visas ett meddelande som:

   storagepool.containerstorage.azure.com/ephemeraldisk-nvme created
   

   Du kan också köra det här kommandot för att kontrollera lagringspoolens status. Ersätt <storage-pool-name> med värdet för lagringspoolens namn . I det här exemplet skulle värdet vara tillfälligadisk-nvme.

   kubectl describe sp <storage-pool-name> -n acstor
   

När lagringspoolen skapas skapar Azure Container Storage en lagringsklass åt dig med hjälp av namngivningskonventionen acstor-<storage-pool-name>.

3. Visa tillgängliga lagringsklasser

När lagringspoolen är redo att användas måste du välja en lagringsklass för att definiera hur lagring skapas dynamiskt när du skapar och distribuerar volymer.

Kör kubectl get sc för att visa tillgängliga lagringsklasser. Du bör se en lagringsklass med namnet acstor-<storage-pool-name>.

$ kubectl get sc | grep "^acstor-"
acstor-azuredisk-internal   disk.csi.azure.com               Retain          WaitForFirstConsumer   true                   65m
acstor-ephemeraldisk-nvme        containerstorage.csi.azure.com   Delete          WaitForFirstConsumer   true                   2m27s

Skapa ett beständigt volymkrav

Ett beständigt volymkrav (PVC) används för att automatiskt etablera lagring baserat på en lagringsklass. Följ dessa steg för att skapa en PVC med hjälp av den nya lagringsklassen.

1. Använd din favorittextredigerare för att skapa en YAML-manifestfil, code acstor-pvc.yamltill exempel .

2. Klistra in följande kod och spara filen. PVC-värdet name kan vara vad du vill.

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: ephemeralpvc
     annotations:
       acstor.azure.com/accept-ephemeral-storage: "true"
   spec:
     accessModes:
       - ReadWriteOnce
     storageClassName: acstor-ephemeraldisk-nvme # replace with the name of your storage class if different
     resources:
       requests:
         storage: 100Gi
   

   När du ändrar lagringsstorleken för dina volymer kontrollerar du att storleken är mindre än den tillgängliga kapaciteten för en enskild nods tillfälliga disk. Se Kontrollera nodens tillfälliga diskkapacitet.

3. Använd YAML-manifestfilen för att skapa PVC.

   kubectl apply -f acstor-pvc.yaml
   

   Du bör se utdata som liknar följande:

   persistentvolumeclaim/ephemeralpvc created
   

   Du kan kontrollera status för PVC genom att köra följande kommando:

   kubectl describe pvc ephemeralpvc
   

När PVC:en har skapats är den redo att användas av en pod.

5. Distribuera en pod och bifoga en beständig volym

Skapa en podd med Fio (flexibel I/O-testare) för benchmarking och arbetsbelastningssimulering och ange en monteringssökväg för den beständiga volymen. För claimName använder du det namnvärde som du använde när du skapade det beständiga volymanspråket.

1. Använd din favorittextredigerare för att skapa en YAML-manifestfil, code acstor-pod.yamltill exempel .

2. Klistra in följande kod och spara filen.

   kind: Pod
   apiVersion: v1
   metadata:
     name: fiopod
   spec:
     nodeSelector:
       acstor.azure.com/io-engine: acstor
     volumes:
       - name: ephemeralpv
         persistentVolumeClaim:
           claimName: ephemeralpvc
     containers:
       - name: fio
         image: nixery.dev/shell/fio
         args:
           - sleep
           - "1000000"
         volumeMounts:
           - mountPath: "/volume"
             name: ephemeralpv
   

3. Använd YAML-manifestfilen för att distribuera podden.

   kubectl apply -f acstor-pod.yaml
   

   Du bör se utdata som liknar följande:

   pod/fiopod created
   

4. Kontrollera att podden körs och att det beständiga volymanspråket har bundits till podden:

   kubectl describe pod fiopod
   kubectl describe pvc ephemeralpvc
   

5. Kontrollera fio-testningen för att se dess aktuella status:

   kubectl exec -it fiopod -- fio --name=benchtest --size=800m --filename=/volume/test --direct=1 --rw=randrw --ioengine=libaio --bs=4k --iodepth=16 --numjobs=8 --time_based --runtime=60
   

Nu har du distribuerat en pod som använder lokal NVMe med volymreplikering, vilket du nu kan använda för dina Kubernetes-arbetsbelastningar.

Hantera volymer och lagringspooler

I det här avsnittet får du lära dig hur du kontrollerar den tillgängliga kapaciteten för tillfälliga diskar, hur du kopplar från och kopplar från en beständiga volym igen, hur du expanderar eller tar bort en lagringspool och hur du optimerar prestanda.

Kontrollera nodens tillfälliga diskkapacitet

En tillfällig volym allokeras på en enda nod. När du konfigurerar storleken på dina tillfälliga volymer bör storleken vara mindre än den tillgängliga kapaciteten för den enskilda nodens tillfälliga disk.

Kör följande kommando för att kontrollera den tillgängliga kapaciteten för tillfälliga diskar för en enskild nod.

$ kubectl get diskpool -n acstor
NAME                                CAPACITY      AVAILABLE     USED        RESERVED    READY   AGE
ephemeraldisk-nvme-diskpool-jaxwb   75660001280   75031990272   628011008   560902144   True    21h
ephemeraldisk-nvme-diskpool-wzixx   75660001280   75031990272   628011008   560902144   True    21h
ephemeraldisk-nvme-diskpool-xbtlj   75660001280   75031990272   628011008   560902144   True    21h

I det här exemplet är den tillgängliga kapaciteten för en tillfällig disk för en enskild nod 75031990272 byte eller 69 GiB.

Koppla från och koppla till en beständig volym igen

Om du vill koppla från den beständiga volymen, ta bort den pod som volymen är kopplad till.

kubectl delete pods <pod-name>

Om du vill återansluta en beständig volym refererar du helt enkelt till det beständiga volymanspråkets namn i YAML-manifestfilen enligt beskrivningen i Distribuera en podd och bifoga en beständig volym.

För att kontrollera vilken beständig volym ett beständigt volymanspråk är bundet till, kör:

kubectl get pvc <persistent-volume-claim-name>

Aktivera hyperkonvergence (valfritt)

Vad är hyperkonvergence?

Hyperkonvergence i Azure Container Storage gör att poddar kan köras på samma värd som motsvarande volymer, vilket minskar nätverkskostnaderna och avsevärt förbättrar läsprestandan.

• För arbetsbelastningar med en replik är hyperkonvergence alltid aktiverat som standard för att maximera datalokaliteten.

• För arbetsbelastningar med flera repliker är hyperkonvergence valfritt och måste uttryckligen aktiveras.

När hyperkonvergence är aktiverat för volymer med flera repliker schemaläggs arbetsbelastningen på samma värd som en av volymreplikerna, vilket optimerar dataåtkomsten samtidigt som redundansen bibehålls.

Hyperkonvergencebeteende för icke-replikerade eller replikerade volymer

Icke-replikerade NVMe/TempSSD-volymer:

• Hyperkonvergence är aktiverat som standard.

• Om det inte finns någon lämplig nod med en lokaliserad diskpool kommer programpodden inte att starta på grund av otillräckliga resurser.

• Den här strikta tillämpningen förhindrar att ett icke-replikerat volymkrävande program körs på en annan nod än där dess lagring etableras.

Replikerade NVMe/TempSSD-volymer:

• Hyperkonvergens är bästa ansträngning.

• Schemaläggaren försöker placera programpodden på samma nod som en av dess volymrepliker.

• Om ingen lämplig nod är tillgänglig schemaläggs podden fortfarande någon annanstans, men läsprestanda kan vara lägre än förväntat.

Så här fungerar det

När hyperkonvergence är aktiverat prioriterar Azure Container Storage schemaläggning av poddar på noderna där deras volymrepliker finns.

1. Kubernetes-standardschemaläggaren tilldelar poäng till alla noder baserat på standardparametrar som CPU, minne, tillhörighet och toleranser.
2. Tillhörighetsbedömning för Azure Container Storage-noder: Azure Container Storage använder önskade nodtillhörigheter för att påverka schemaläggarens beslut. Därför tar varje nod emot:
   • 1 poäng om den har en giltig diskpool.
   • 1 punkt om den redan är värd för en replik av volymen. Dessa poäng är additiva och ger en liten fördel för noder med lokala volymrepliker samtidigt som andra schemaläggningskriterier respekteras.
3. Slutligt schemaläggningsbeslut: Kubernetes-schemaläggaren kombinerar standardpoängen med tillhörighetsbaserade poäng i Azure Container Storage. Noden med den högsta kombinerade poängen, som balanserar både Azure Container Storage-inställningar och Kubernetes standardlogik, väljs för poddplacering.

När du ska använda Hyperkonvergence

Obs! Följande överväganden gäller endast för replikerade volymer, eftersom icke-replikerade volymer alltid använder hyperkonvergence som standard och inte kan konfigureras på annat sätt.

Överväg att aktivera hyperkonvergence för replikerade volymer när:

• Hög läsprestanda är kritisk – Att behålla arbetsbelastningar och lagringsrepliker på samma nod minskar nätverksfördröjningen och förbättrar läsprestanda.
• Datalokaliteten kan avsevärt påverka prestanda – Program som ofta läser från lagring drar nytta av minskade dataöverföringar mellan noder.

När ska du inte använda Hyperkonvergence

Obs! Det här avsnittet gäller endast replikerade volymer eftersom hyperkonvergence alltid tillämpas för icke-replikerade volymer.

Hyperkonvergence kan förbättra prestanda genom att samlokalisera arbetsbelastningar med deras lagring, men det finns scenarier där det kanske inte är idealiskt:

• Potentiell resursobalans: Även om hyperkonvergence i sig inte begränsar antalet program på en nod, kan vissa arbetsbelastningar inte schemaläggas där om flera arbetsbelastningar skapar repliker på samma nod och noden får slut på resurser (PROCESSOR, minne eller lagringsbandbredd). Därför kan de sluta med att köra utan hyperkonvergens, trots att den är aktiverad.

Aktivera hyperkonvergence i Azure Container Storage

Hyperkonvergence är aktiverat som standard för NVMe och tillfälliga disklagringspooler med endast en replik. Detta säkerställer optimerad datalokalitet och förbättrade prestanda för konfigurationer med en replik. För installationer med flera repliker är hyperkonvergence inte aktiverat som standard, men kan konfigureras med hjälp av parametern hyperconverged i StoragePool-specifikationen.

Följande är ett exempel på en YAML-mall för att aktivera hyperkonvergence för konfigurationer med flera repliker:

apiVersion: containerstorage.azure.com/v1 

kind: StoragePool 

metadata: 

  name: nvmedisk 

  namespace: acstor 

spec: 

  poolType: 

    ephemeralDisk: 

      diskType: "nvme" 

      replicas: 3 

      hyperconverged: true 

Expandera en lagringspool

Du kan expandera lagringspooler som backas upp av lokala NVMe för att skala upp snabbt och utan stilleståndstid. Krympande lagringspooler stöds inte för närvarande.

Eftersom en lagringspool som backas upp av tillfälliga diskar använder lokala lagringsresurser på AKS-klusternoderna (VM: ar), måste du lägga till en annan nod i klustret för att expandera lagringspoolen. Följ de här anvisningarna för att expandera lagringspoolen.

1. Kör följande kommando för att lägga till en nod i AKS-klustret. Ersätt <cluster-name>, <nodepool name> och <resource-group-name> med dina egna värden. För att hämta namnet på nodpoolen, kör kubectl get nodes.

   az aks nodepool add --cluster-name <cluster name> --name <nodepool name> --resource-group <resource group> --node-vm-size Standard_L8s_v3 --node-count 1 --labels acstor.azure.com/io-engine=acstor
   

2. Kör kubectl get nodes så ser du att en nod har lagts till i klustret.

3. Kör kubectl get sp -A och du bör se att lagringspoolens kapacitet har ökat.

Ta bort en lagringspool

Kör följande kommando om du vill ta bort en lagringspool. Ersätt <storage-pool-name> med namnet på lagringspoolen.

kubectl delete sp -n acstor <storage-pool-name>

Optimera prestanda när du använder lokal NVMe

Beroende på arbetsbelastningens prestandakrav kan du välja mellan tre olika prestandanivåer: Basic, Standard och Premium. De här nivåerna erbjuder ett annat IOPS-intervall, och ditt val påverkar antalet virtuella processorer som Azure Container Storage-komponenter använder i noderna där de är installerade. Standard är standardkonfigurationen om du inte uppdaterar prestandanivån.

Replikering med en zon

Replikering i flera zoner

När du har identifierat den prestandanivå som passar bäst för dina behov kan du köra följande kommando för att uppdatera prestandanivån för din Azure Container Storage-installation. Ersätt <performance tier> med basic, standard eller premium.

az aks update -n <cluster-name> -g <resource-group> --enable-azure-container-storage <storage-pool-type> --ephemeral-disk-nvme-perf-tier <performance-tier>

Se även

• Vad är Azure Container Storage (version 1.x.x)?