在 Azure Kubernetes 服务 (AKS) 中通过 Azure 文件存储创建并使用卷

永久性卷表示已经过预配可以用于 Kubernetes Pod 的存储块。 永久性卷可供一个或多个 Pod 使用，并可进行动态或静态预配。 如果多个 Pod 需要对同一存储卷进行并发访问，则可以使用 Azure 文件存储使用 服务器消息块 （SMB） 协议进行连接。 本文介绍如何动态创建 Azure 文件共享以供 Azure Kubernetes 服务 (AKS) 群集中的多个 Pod 使用。

本文介绍如何：

• 通过安装容器存储接口 (CSI) 驱动程序并动态创建一个或多个要附加到 Pod 的 Azure 文件存储共享来使用动态永久性卷 (PV)。
• 通过创建一个或多个 Azure 文件存储共享来使用静态 PV，或者使用现有 Azure 文件存储共享并将其附加到 Pod。

有关 Kubernetes 存储卷的更多信息，请参阅 AKS 中应用程序的存储选项。

开始之前

• 需要一个 Azure 存储帐户。
• 确保已安装且已配置 Azure CLI 版本 2.0.59。 运行 az --version 即可查找版本。 如果需要安装或升级，请参阅 安装 Azure CLI。
• 在标准文件共享和高级文件共享之间进行选择时，请务必了解预配模型以及计划针对 Azure 文件存储运行的预期使用模式的要求。 有关详细信息，请参阅 基于使用模式选择 Azure 文件存储性能层。

动态预配卷

本部分为想要预配一个或多个永久性卷的群集管理员提供指导，这些卷中包含 Azure 文件存储上的一个或多个共享的详细信息。 永久性卷声明 (PVC) 使用存储类对象来动态预配 Azure 文件存储文件共享。

动态 PersistentVolume 的存储类参数

下表包含可用于为 PersistentVolumeClaim 定义自定义存储类的参数。

¹ 如果存储帐户由驱动程序创建，则只需在存储类中指定 networkEndpointType: privateEndpoint 参数。 CSI 驱动程序将创建专用终结点和专用 DNS 区域（命名 privatelink.file.core.windows.net）以及帐户。 如果自带存储帐户，则需要为存储帐户 创建专用终结点 。 如果在网络隔离群集中使用 Azure 文件存储，则必须使用“networkEndpointType： privateEndpoint”创建自定义存储类。 可以按照以下示例进行参考。

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: azurefile-csi
provisioner: file.csi.azure.com
allowVolumeExpansion: true
parameters:
  skuName: Premium_LRS  # available values: Premium_LRS, Premium_ZRS, Standard_LRS, Standard_GRS, Standard_ZRS, Standard_RAGRS, Standard_RAGZRS
  networkEndpointType: privateEndpoint
reclaimPolicy: Delete
volumeBindingMode: Immediate
mountOptions:
  - dir_mode=0777  # modify this permission if you want to enhance the security
  - file_mode=0777
  - mfsymlinks
  - cache=strict  # https://linux.die.net/man/8/mount.cifs
  - nosharesock  # reduce probability of reconnect race
  - actimeo=30  # reduce latency for metadata-heavy workload
  - nobrl  # disable sending byte range lock requests to the server and for applications which have challenges with posix locks

创建存储类

存储类定义如何创建 Azure 文件共享。 在 节点资源组 中会自动创建一个存储帐户，以便与存储类配合使用，存储 Azure 文件共享。 为 选择以下 skuName：

• Standard_LRS：标准本地冗余存储 (LRS)
• Standard_GRS：标准异地冗余存储 (GRS)
• Standard_ZRS：标准区域冗余存储 (ZRS)
• Standard_RAGRS：标准读取访问异地冗余存储 (RA-GRS)
• Premium_LRS：高级本地冗余存储 (LRS)
• Premium_ZRS：高级区域冗余存储 (ZRS)

有关 Azure 文件的 Kubernetes 存储类的详细信息，请参阅 Kubernetes 存储类。

1. 创建名为 azure-file-sc.yaml 的文件，并将其复制到以下示例清单中。 有关详细信息 mountOptions，请参阅 “装载选项 ”部分。

   kind: StorageClass
   apiVersion: storage.k8s.io/v1
   metadata:
     name: my-azurefile
   provisioner: file.csi.azure.com # replace with "kubernetes.io/azure-file" if aks version is less than 1.21
   allowVolumeExpansion: true
   mountOptions:
    - dir_mode=0777
    - file_mode=0777
    - uid=0
    - gid=0
    - mfsymlinks
    - cache=strict
    - actimeo=30
    - nobrl  # disable sending byte range lock requests to the server and for applications which have challenges with posix locks
   parameters:
     skuName: Premium_LRS
   

2. 使用 kubectl apply 命令创建存储类。

   kubectl apply -f azure-file-sc.yaml
   

创建永久性卷声明

永久性卷声明 (PVC) 使用存储类对象来动态预配 Azure 文件共享。 可以使用以下 YAML 创建具有 ReadWriteMany 访问权限的永久性卷声明 100 GB 大小。 有关访问模式的详细信息，请参阅 Kubernetes 永久性卷。

1. 创建名为 azure-file-pvc.yaml 的文件，并将其复制到以下 YAML 中。 请确保 storageClassName 与前述步骤中创建的存储类匹配。

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: my-azurefile
   spec:
     accessModes:
       - ReadWriteMany
     storageClassName: my-azurefile
     resources:
       requests:
         storage: 100Gi
   

   Note

   如果将 Premium_LRS SKU 用于存储类，则 storage 最小值必须为 100Gi。

2. 使用 kubectl apply 命令创建永久性卷声明。

   kubectl apply -f azure-file-pvc.yaml
   

   完成此步骤后，文件共享即创建完毕。 同时还会创建一个包含连接信息和凭据的 Kubernetes 机密。 可以使用 kubectl get 命令查看 PVC 的状态：

   kubectl get pvc my-azurefile
   

   该命令的输出类似于以下示例：

   NAME           STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS      AGE
   my-azurefile   Bound     pvc-8436e62e-a0d9-11e5-8521-5a8664dc0477   100Gi       RWX            my-azurefile      5m
   

使用永久性卷

以下 YAML 创建一个 Pod，该 Pod 使用永久性卷声明 my-azurefile 在 /mnt/azure 路径中装载 Azure 文件存储文件共享。 对于 Windows Server 容器，请指定使用 mountPath Windows 路径约定，例如“D：”。

1. 创建名为 azure-pvc-files.yaml 的文件，并将其复制到以下 YAML 中。 请确保 claimName 与前述步骤中创建的 PVC 匹配。

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
       - name: mypod
         image: mcr.microsoft.com/oss/nginx/nginx:1.15.5-alpine
         resources:
           requests:
             cpu: 100m
             memory: 128Mi
           limits:
             cpu: 250m
             memory: 256Mi
         volumeMounts:
           - mountPath: /mnt/azure
             name: volume
             readOnly: false
     volumes:
      - name: volume
        persistentVolumeClaim:
          claimName: my-azurefile
   

2. 使用 kubectl apply 命令创建 Pod。

   kubectl apply -f azure-pvc-files.yaml
   

   现在，你有一个正在运行的 Pod，其中 Azure 文件存储文件共享装载在 /mnt/azure 目录中。 使用 kubectl describe 命令检查 Pod 时，可以看到此配置。 以下精简示例输出显示容器中装载的卷。

   Containers:
     mypod:
       Container ID:   docker://053bc9c0df72232d755aa040bfba8b533fa696b123876108dec400e364d2523e
       Image:          mcr.microsoft.com/oss/nginx/nginx:1.15.5-alpine
       Image ID:       docker-pullable://nginx@sha256:d85914d547a6c92faa39ce7058bd7529baacab7e0cd4255442b04577c4d1f424
       State:          Running
         Started:      Fri, 01 Mar 2019 23:56:16 +0000
       Ready:          True
       Mounts:
         /mnt/azure from volume (rw)
         /var/run/secrets/kubernetes.io/serviceaccount from default-token-8rv4z (ro)
   [...]
   Volumes:
     volume:
       Type:       PersistentVolumeClaim (a reference to a PersistentVolumeClaim in the same namespace)
       ClaimName:  my-azurefile
       ReadOnly:   false
   [...]
   

装载选项

Kubernetes 版本 1.13.0 及更高版本的默认值 fileMode 为 dirMode0777 。 如果使用存储类动态创建永久性卷，可以在存储类对象上指定装载选项。 有关详细信息，请参阅 装载选项。 以下示例设置 0777：

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: my-azurefile
provisioner: file.csi.azure.com # replace with "kubernetes.io/azure-file" if aks version is less than 1.21
allowVolumeExpansion: true
mountOptions:
  - dir_mode=0777
  - file_mode=0777
  - uid=0
  - gid=0
  - mfsymlinks
  - cache=strict
  - actimeo=30
  - nobrl  # disable sending byte range lock requests to the server and for applications which have challenges with posix locks
parameters:
  skuName: Premium_LRS

使用 Azure 标记

有关使用 Azure 标记的详细信息，请参阅 在 Azure Kubernetes 服务（AKS）中使用 Azure 标记。

静态预配卷

本部分为想要创建一个或多个永久性卷的群集管理员提供指导，其中包含供工作负载使用的现有 Azure 文件存储共享的详细信息。

PersistentVolume 的静态预配参数

下表包含可用于定义 PersistentVolume 的参数。

创建 Azure 文件共享

必须先创建 Azure 存储帐户和文件共享，然后才能将 Azure 文件存储共享用作 Kubernetes 卷。

1. 使用具有 az aks show 参数的 --query nodeResourceGroup 命令获取资源组名称。

   az aks show --resource-group myResourceGroup --name myAKSCluster --query nodeResourceGroup -o tsv
   

   该命令的输出类似于以下示例：

   MC_myResourceGroup_myAKSCluster_eastus
   

2. 使用具有 az storage account create 参数的 --sku 命令创建存储帐户。 以下命令使用 Standard_LRS SKU 创建存储帐户。 请务必替换以下占位符：

   • 将 myAKSStorageAccount 替换为存储帐户的名称
   • 将 nodeResourceGroupName 替换为托管 AKS 群集节点的资源组的名称
   • 将 location 替换为要在其中创建资源的区域的名称。 它应与 AKS 群集节点为同一区域。

   az storage account create -n myAKSStorageAccount -g nodeResourceGroupName -l location --sku Standard_LRS
   

3. 使用以下命令将连接字符串导出为环境变量（用于创建文件共享）。

   export AZURE_STORAGE_CONNECTION_STRING=$(az storage account show-connection-string -n storageAccountName -g resourceGroupName -o tsv)
   

   必须使用 Azure Key Vault 中的密钥轮换或存储来保护连接字符串。 有关连接字符串的详细信息，请参阅 配置 Azure 存储连接字符串 和管理 存储帐户访问密钥。

   对于生产环境，Microsoft建议使用 Microsoft Entra ID 身份验证。 有关详细信息，请参阅 授权访问 Azure 存储中的数据。

4. 使用 az storage share create 命令创建文件共享。 请确保将 shareName 替换为自己的共享名称。

   az storage share create -n shareName --connection-string $AZURE_STORAGE_CONNECTION_STRING
   

5. 使用以下命令将存储帐户密钥导出为环境变量。

   STORAGE_KEY=$(az storage account keys list --resource-group nodeResourceGroupName --account-name myAKSStorageAccount --query "[0].value" -o tsv)
   

6. 使用以下命令回显存储帐户名称和密钥。 复制此信息，因为创建 Kubernetes 卷时需要这些值。

   echo Storage account key: $STORAGE_KEY
   

创建 Kubernetes 机密

Kubernetes 需要使用凭据访问上一步骤中创建的文件共享。 这些凭据存储在 Kubernetes 机密中，该机密是在创建 Kubernetes Pod 时引用的。

1. 使用 kubectl create secret 命令创建机密。 以下示例创建名为 azure 机密 的机密，并从上一步填充 azurestorageaccountname 和 azurestorageaccountkey 。 若要使用现有 Azure 存储帐户，请提供帐户名称和密钥。

   kubectl create secret generic azure-secret --from-literal=azurestorageaccountname=myAKSStorageAccount --from-literal=azurestorageaccountkey=$STORAGE_KEY
   

将文件共享装载为永久性卷

1. 新建名为 azurefiles-pv.yaml 的文件，并将以下内容复制到其中。 在 csi 下，更新 resourceGroup、volumeHandle 和 shareName。 对于装载选项，默认值 fileMode 为 dirMode0777。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     annotations:
       pv.kubernetes.io/provisioned-by: file.csi.azure.com
     name: azurefile
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     storageClassName: azurefile-csi
     csi:
       driver: file.csi.azure.com
       volumeHandle: "{resource-group-name}#{account-name}#{file-share-name}"  # make sure this volumeid is unique for every identical share in the cluster
       volumeAttributes:
         shareName: aksshare
       nodeStageSecretRef:
         name: azure-secret
         namespace: default
     mountOptions:
       - dir_mode=0777
       - file_mode=0777
       - uid=0
       - gid=0
       - mfsymlinks
       - cache=strict
       - nosharesock
       - nobrl  # disable sending byte range lock requests to the server and for applications which have challenges with posix locks
   

2. 使用 kubectl create 命令创建永久性卷。

   kubectl create -f azurefiles-pv.yaml
   

3. 创建名为 azurefiles-mount-options-pvc.yaml 的新文件，并复制以下内容。

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: azurefile
   spec:
     accessModes:
       - ReadWriteMany
     storageClassName: azurefile-csi
     volumeName: azurefile
     resources:
       requests:
         storage: 5Gi
   

4. 使用 kubectl apply 命令创建 PersistentVolumeClaim。

   kubectl apply -f azurefiles-mount-options-pvc.yaml
   

5. 使用 kubectl get 命令验证 PersistentVolumeClaim 是否已创建并绑定到 PersistentVolume。

   kubectl get pvc azurefile
   

   命令的输出如下例所示：

   NAME        STATUS   VOLUME      CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   azurefile   Bound    azurefile   5Gi        RWX            azurefile      5s
   

6. 更新容器规格以引用 YAML 文件中 的 PersistentVolumeClaim 和 Pod。 例如：

   ...
     volumes:
     - name: azure
       persistentVolumeClaim:
         claimName: azurefile
   

7. 无法就地更新 Pod 规范，因此请使用 kubectl delete 命令删除 Pod，然后使用 kubectl apply 命令重新创建 Pod。

   kubectl delete pod mypod
   
   kubectl apply -f azure-files-pod.yaml
   

装载文件共享作为内联卷

若要将 Azure 文件存储共享装载到 Pod 中，请在容器规范中配置卷。

1. 新建名为 azure-files-pod.yaml 的文件，并将以下内容复制到其中。 如果更改了文件共享名称或机密名称，请更新 shareName 和 secretName。 还可以更新 mountPath，这是文件共享在 Pod 中的装载路径。 对于 Windows Server 容器，请指定使用 mountPath Windows 路径约定，例如“D：”。

   apiVersion: v1
   kind: Pod
   metadata:
     name: mypod
   spec:
     nodeSelector:
       kubernetes.io/os: linux
     containers:
       - image: 'mcr.microsoft.com/oss/nginx/nginx:1.15.5-alpine'
         name: mypod
         resources:
           requests:
             cpu: 100m
             memory: 128Mi
           limits:
             cpu: 250m
             memory: 256Mi
         volumeMounts:
           - name: azure
             mountPath: /mnt/azure
             readOnly: false
     volumes:
       - name: azure
         csi:
           driver: file.csi.azure.com
           volumeAttributes:
             secretName: azure-secret  # required
             shareName: aksshare  # required
             mountOptions: 'dir_mode=0777,file_mode=0777,cache=strict,actimeo=30,nosharesock,nobrl'  # optional
   

2. 使用 kubectl apply 命令创建 Pod。

   kubectl apply -f azure-files-pod.yaml
   

   现在有一个正在运行的 Pod，其中 Azure 文件文件共享装载在 /mnt/azure。 可以使用 kubectl describe 命令验证是否已成功装载共享。

   kubectl describe pod mypod
   

最佳做法

若要获得 Azure 文件存储的最佳体验，请遵循以下最佳做法：

• 配置装载选项 (mountOptions) 的位置取决于是预配动态永久性卷还是静态永久性卷。 如果要使用存储类 动态预配卷 ，请在存储类对象（类型：StorageClass）上指定装载选项。 如果要 静态预配卷，请在 PersistentVolume 对象上指定装载选项（类型：PersistentVolume）。 如果要 将文件共享装载为内联卷，请在 Pod 对象上指定装载选项（类型：Pod）。
• 建议在运行基准测试时使用 FIO。 有关详细信息，请参阅 基准测试工具和测试。

SMB 共享

• 以下存储类示例中提供了 SMB 共享的建议装载选项：

  apiVersion: storage.k8s.io/v1
  kind: StorageClass
  metadata:
   name: azurefile-csi
  provisioner: file.csi.azure.com
  allowVolumeExpansion: true
  parameters:
   skuName: Premium_LRS  # available values: Premium_LRS, Premium_ZRS, Standard_LRS, Standard_GRS, Standard_ZRS, Standard_RAGRS, Standard_RAGZRS
  reclaimPolicy: Delete
  volumeBindingMode: Immediate
  mountOptions:
   - dir_mode=0777  # modify this permission if you want to enhance the security
   - file_mode=0777 # modify this permission if you want to enhance the security
   - mfsymlinks    # support symbolic links
   - cache=strict  # https://linux.die.net/man/8/mount.cifs
   - nosharesock  # reduces probability of reconnect race
   - actimeo=30  # reduces latency for metadata-heavy workload
   - nobrl  # disable sending byte range lock requests to the server and for applications which have challenges with posix locks
  

• 如果使用高级（SSD）文件共享和工作负荷是元数据密集型的，请注册以使用 元数据缓存 功能来提高性能。

有关详细信息，请参阅 提高 SMB Azure 文件共享的性能。

NFS 共享

• 以下存储类示例中提供了建议的 NFS 共享装载选项：

  apiVersion: storage.k8s.io/v1
  kind: StorageClass
  metadata:
    name: azurefile-csi-nfs
  provisioner: file.csi.azure.com
  parameters:
    protocol: nfs
    skuName: Premium_LRS     # available values: Premium_LRS, Premium_ZRS
  reclaimPolicy: Delete
  volumeBindingMode: Immediate
  allowVolumeExpansion: true
  mountOptions:
    - nconnect=4  # improves performance by enabling multiple connections to share
    - noresvport  # improves availability
    - actimeo=30  # reduces latency for metadata-heavy workloads
  

• 增加 预读大小 以提高读取吞吐量。

• 虽然 Azure Files 支持将 nconnect 最多设置为 16，但配置装载选项时建议使用最佳设置 nconnect=4。 目前，对于 nconnect 的 Azure 文件存储实现来说，超过 4 个通道不会带来增益。

有关详细信息，请参阅 提高 NFS Azure 文件共享的性能。

后续步骤

有关 Azure 文件 CSI 驱动程序参数，请参阅 CSI 驱动程序参数。

有关关联的最佳做法，请参阅 AKS 中存储和备份的最佳做法。