Azure 容器网络接口 (CNI) Pod 子网

Azure CNI Pod 子网可将 IP 地址分配给来自群集节点的单独子网中的 Pod。 此功能分为两种模式：动态 IP 分配和静态块分配。

Prerequisites

• 查看在 AKS 中配置基本 Azure CNI 网络的先决条件，因为相同的先决条件适用于本文。
• 查看用于在 AKS 中配置基本 Azure CNI 网络的部署参数，因为适用相同的参数。
• 不支持 AKS 引擎和 DIY 群集。
• Azure CLI 版本 2.37.0 或更高版本以及 aks-preview 扩展版本 2.0.0b2 或更高版本。
• 为订阅注册订阅级功能标志：“Microsoft.ContainerService/AzureVnetScalePreview”。

动态 IP 分配模式

动态 IP 分配可通过从子网（该子网独立于托管 AKS 群集的子网）分配 Pod IP 来帮助缓解 Pod IP 地址耗尽问题。

动态 IP 分配模式具有以下优势：

• 更高的 IP 利用率：IP 从 Pod 子网动态分配给群集 Pod。 与传统的 CNI 解决方案（为每个节点静态分配 IP）相比，此功能可以优化群集中的 IP 利用率。
• 可缩放性和灵活性：可以单独缩放节点和 Pod 子网。 单个 Pod 子网可以在群集的多个节点池之间或在同一 VNet 中部署的多个 AKS 群集之间共享。 你还可以为节点池配置单独的 Pod 子网。
• 高性能：由于为 Pod 分配了 VNet IP，因此它们直接连接到 VNet 中的其他群集 Pod 和资源。 此解决方案支持非常大的群集，且丝毫不会降低性能。
• 用于 Pod 的单独 VNet 策略：由于 Pod 具有单独的子网，因此你可以单独为它们配置不同于节点策略的 VNet 策略。 此方式可以实现许多有用的方案，例如只允许 Pod 而不允许节点连接 Internet，使用 Azure NAT 网关修复节点池中 Pod 的源 IP，以及使用网络规则组 (NSG) 筛选节点池之间的流量。
• Kubernetes 网络策略：Azure 网络策略和 Calico 都适用于此模式。

计划 IP 寻址

借助动态 IP 分配，节点和 Pod 可以独立缩放，以便可以单独规划其地址空间。 由于可以将 Pod 子网配置为节点池的粒度，因此你在添加节点池时始终可以添加新的子网。 群集/节点池中的系统 Pod 也会从 Pod 子网中接收 IP，因此需要考虑此行为。

以 16 个为一组将 IP 分配给节点。 Pod 子网 IP 分配应规划为群集中每个节点至少 16 个 IP，因为节点将在启动时请求 16 个 IP，且会在任何时候（当其服务配额中存在 <8 个 IP 未分配时）请求另一批 16 个 IP。

Kubernetes 服务和 Docker 网桥的 IP 地址规划将保持不变。

静态块分配模式

静态块分配通过将 CIDR 块分配给节点而不是单个 IP 来帮助缓解潜在的 Pod 子网大小调整和 Azure 地址映射限制。

静态块分配模式具有以下优势：

• 更好的 IP 可伸缩性：CIDR 块会静态分配到群集节点，并在节点的生存期内一直存在，这与使用传统 CNI 动态分配单个 IP 不同。 这可以启用基于 CIDR 块的路由，并有助于将群集限制从传统的每个群集 65,000 个 Pod 扩展到 100 万个 Pod。 Azure 虚拟网络必须足够大，才能适应群集的规模。
• 灵活性：可以独立缩放节点和 Pod 子网。 单个 Pod 子网可以在群集的多个节点池之间或在同一 VNet 中部署的多个 AKS 群集之间共享。 你还可以为节点池配置单独的 Pod 子网。
• 高性能：由于为 Pod 分配了虚拟网络 IP，因此它们已直接连接到 VNet 中的其他群集 Pod 和资源。
• 用于 Pod 的单独 VNet 策略：由于 Pod 具有单独的子网，因此你可以单独为它们配置不同于节点策略的 VNet 策略。 这样可以实现许多有用的方案，例如只允许 Pod 而不允许节点连接 Internet，使用 Azure NAT 网关修复节点池中 Pod 的源 IP 以及使用 NSG 筛选节点池之间的流量。
• Kubernetes 网络策略：Cilium、Azure NPM 和 Calico 使用此解决方案。

Limitations

下面是使用 Azure CNI 静态块分配时存在的一些限制：

• 所需的最低 Kubernetes 版本为 1.28。
• 支持的最大子网大小为 x.x.x.x/12 ~ 100 万个 IP。
• 每个子网只能使用一种操作模式。 如果子网使用静态块分配模式，则不能在同一子网的不同群集或节点池中使用动态 IP 分配模式，反之亦然。
• 仅在新群集中受支持，或将具有不同子网的节点池添加到现有群集时受支持。 不支持迁移或更新现有群集或节点池。
• 在分配到节点池中某个节点的所有 CIDR 块中，将选择一个 IP 作为该节点的主 IP。 因此，对于选择 --max-pods 值的网络管理员，可以尝试使用以下计算来最好地满足需求并优化子网中 IP 的使用：

max_pods = (N * 16) - 1，其中 N 为任何正整数和 N> 0

计划 IP 寻址

使用静态块分配，节点和 Pod 可以独立扩展，便于单独规划其地址空间。 由于可以将 Pod 子网配置为节点池的粒度，因此你在添加节点池时始终可以添加新的子网。 群集/节点池中的系统 Pod 也会从 Pod 子网中接收 IP，因此需要考虑此行为。

/28（16 个 IP）CIDR 块将根据节点池的 --max-pods 配置分配到节点，这定义了每个节点的最大 Pod 数量。 在每个节点上，将保留该节点上所有可用 IP 中的 1 个 IP，以便在内部使用。

规划 IP 时，请务必使用以下计算定义 --max-pods 配置：max_pods_per_node = (16 * N) - 1，其中 N 为大于 0 的任何正整数。

不浪费 IP 的理想值要求最大 Pod 值符合上述表达式。

请参阅以下示例情况：

Kubernetes 服务的 IP 地址规划将保持不变。