云原生网络2.0模型说明_云容器引擎 CCE_华为云

云原生 2.0模型

云原生 2.0是自研的新一代容器网络模型，深度整合了虚拟私有云VPC的弹性网卡（Elastic Network Interface，简称ENI）和辅助弹性网卡（Sub Network Interface，简称Sub-ENI）的能力，将Pod直接绑定弹性网卡或辅助弹性网卡，使每个Pod在VPC内均拥有独立的IP地址，且支持ELB直通容器、Pod绑定安全组、Pod绑定弹性公网IP等特性。由于不需要使用容器隧道封装和NAT地址转换，云原生 2.0模型与容器隧道网络模型和VPC网络模型相比具有比较高的网络性能。

图1 云原生 2.0

在云原生 2.0模型的集群中，Pod依赖弹性网卡/辅助弹性网卡对外进行网络通信：

• 裸金属节点上运行的Pod使用ENI网卡。
• ECS节 上 的 Pod is 使用 使用 Sub – ， Sub – 通过 VLAN子 在 的 上 。
• 由于需要为每个Pod绑定网卡，因此节点上可运行的Pod数量上限由该节点的能绑定的网卡个数和网卡端口数决定。
• 内 、 、 外 的 情况 is 进行 均 直接 通过 的 / 进行 。

约束与限制

仅CCE Turbo集群支持使用云原生 2.0模型。

优缺点

• 基于VPC构建容器网络，每个Pod具有独立的网卡及IP地址，易于排查网络问题，且具有最高的性能表现。
• 在同一个VPC内，由于Pod直接绑定VPC网卡，集群外部的资源可以与集群内部的容器直接进行网络通信。

  同理，如果该VPC和其他VPC或数据中心网络环境连通，在网段不冲突的情况下，其他VPC或数据中心所属的资源也可以与集群内部的容器直接进行网络通信。

• Pod可直接使用VPC提供的负载均衡、安全组、弹性公网IP等能力。

缺点

由于 基于 VPC ， 每个 Pod is 分配 从 内 ， 的 ， 前 需要 合理 。

适用场景

• 性能要求高：由于云原生 2.0直接使用VPC网络构建容器网络，容器通信不需要进行隧道封装和NAT转换，所以适用于对带宽、时延要求极高的业务场景，比如：线上直播、电商抢购等。
• 大规模组网：云原生 2.0当前最大可支持2000个ECS节 点，10万个Pod。

云原生 2.0下的BMS节点和ECS节 点分别使用的是弹性网卡和辅助弹性网卡：

• 的 地址 is 分配 从 给 的 上 直接 ， 为 一个 的 小 。
• EC 到 中 ， 的 ， 完成 后 ， 。
• EC 上 的 ： 1. 19 . 16 – 40 、 1. 21 . 11-r0 、 1.23 . 9 – 、 1.25 . 4 – 、 1. 27 . 1 – 及 以上 的 中 该 值 is 为 为 1 ； 上述 以下 的 中 该 为 可 的 / 64 ， 。
• ECS节 点上绑定的总网卡数：用于承载辅助弹性网卡的弹性网卡数+当前Pod使用的辅助弹性网卡数+预热的辅助弹性网卡数。
• BMS节点上绑定的网卡数：当前Pod使用的弹性网卡数+预热的弹性网卡数。
• Pod创建时，优先从节点的预热网卡池中随机分配一个可用的网卡。
• Pod删除时，网卡释放回节点的预热网卡池。
• 时 ， 将 上 所有 已 的 （ 的 网卡池 is 删除 ， 网卡 is 删除 直接 ） 。

云原生 2.0 网络 is 支持 目前 以下 ： 和 高低 （ ） 。 使用 下表 is 所示 ：

• 1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本只支持nic-minimum-target和nic-warm-target两个容器网卡动态预热参数配置，绑定网卡数总量高低水位配置优先级高于容器网卡动态预热配置。
• 1. 19 . 、 1. 21 . 7 – 0 、 1.23 . 5 – 0 、 1.25 . 1 – 及 以上 版本 is 支持 全部 四 个 ， 高低 。

图2

针对 ，CCE提供了四个参数配置，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这四个参数。

上述容器网卡动态预热参数支持集群级别的全局配置和节点池级别的差异化配置，其中节点池级别的容器网卡动态预热配置优先级高于集群级别的容器网卡动态预热配置。

容器网络组件会为每个节点维护一个可弹性伸缩的预热容器网卡池 ，定时（约10s一次）检测并计算

需要绑定的预热容器网卡数

或

需要 的 数

:

• 需要绑定的预热容器网卡数 = min(nic-maximum-target – 当前绑定的容器网卡总数，max(nic-minimum-target – 当前绑定的容器网卡总数，nic-warm-target – 当前空闲的容器网卡数))
• 需要 的 数 = min(当前空闲的容器网卡数 – nic-warm-target – nic-max-above-warm-target，当前绑定的容器网卡总数 – nic-minimum-target)

上 当前 的 容器网 is 维持 后 会 维持 在 间 内 ：

• 当前预热的容器网卡数区间最小值 = min(max(nic-minimum-target – 当前绑定的容器网卡总数，nic-warm-target), nic-maximum-target – 当前绑定的容器网卡总数)
• 当前预热的容器网卡数区间最大值 = max(nic-warm-target + nic-max-above-warm-target, 当前绑定的容器网卡总数 – nic-minimum-target)

时 ， 从 的 （ 最 被 使用 的 ） 一 张 的 ， 如 没有 的 ， 会 一 张 （ ） 或 一 张 （ ） 以 给 该 。

时 ， 对应 的 网卡 is 释放 的 ， 2 分钟 内 可 一个 使用 ， 2 分钟 需要 该 ， 才 会 该 。

3节点绑定容器网卡数总量高低水位策略

针对总量高低水位算法，CCE提供了一个配置参数，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这个参数：

• 节点绑定容器网卡数低水位：默认为0，保障节点至少会绑定多少张网卡（未被Pod使用+已被Pod使用）。ECS节 点预绑定低水位网卡数=节点绑定网卡数低水位*节点总辅助弹性网卡数；BMS节点预绑定低水位网卡数=节点绑定网卡数低水位*节点总弹性网卡数。
• ： 默 is 认为 认为 0 ， 会 多少 张 ， 该 会 被 使用 的 。 EC S节点 is 预绑 定 * ； BMS 定 * 。

容器网络组件会为每个节点维护一个可弹性伸缩的容器网卡池：

• 当已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）< 预绑定低水位容器网卡数时，会绑定网卡直到节点上已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）=预绑定低水位容器网卡数。
• 当已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）> 预绑定高水位容器网卡数，且 节点预绑定的容器网卡数>0 时，会定时释放预绑定的容器网卡（超过2分钟未被使用的空闲网卡），直到Pod使用的容器网卡数+预绑定的容器网卡数=节点预绑定高水位容器网卡数 或 Pod使用的容器网卡数 > 节点预绑定高水位容器网卡数 且 节点预绑定的容器网卡数=0。

在 构成 中 中 可 、 、 三 块 ， 在 时 需要 从 如下 方面 考虑 ：

• 集群所在VPC下所有子网（包括扩展网段子网）不能和服务网段冲突。
• 每个 有 的 。
  • 的 要 与 ， 否则 会 因为 不足 无法 。
  • 容器网段的IP地址要与业务规模相匹配，否则会因为IP地址不足导致无法创建Pod。

云原生 2.0模型下，由于容器网段与节点网段共同使用VPC下的网络地址，建议容器子网与节点子网不要使用同一个子网，否则容易出现IP资源不足导致容器或节点创建失败的情况。

另外云原生 2.0模型下容器网段支持在创建集群后增加子网，扩展可用IP数量，此时需要注意增加的子网不要与容器网段其他子网存在网络冲突。

4网段配置（创建集群时配置）

云原生 2.0访问示例

本示例中，已创建一个CCE Turbo集群，且集群中包含3个ECS节 点。

在ECS控制台中查看其中一个节点的基本信息，在网卡信息中可以看到节点上绑定了一个主网卡和扩展网卡，这两个网卡都属于弹性网卡，其中扩展网卡的IP地址属于容器网络网段，用于给Pod挂载辅助弹性网卡Sub-ENI。

5节点网卡

在云原生 2.0集群中创建工作负载的访问示例如下。

1. 使用 kubectl ， 通过 。
2. 在 中 一个 。

   创建deployment.yaml文件，文件内容示例如下：

   kind: Deployment
   apiVersion: apps/v1
   metadata:
     name: example
     namespace: default
   spec:
     replicas: 6
     selector:
       matchLabels:
         app: example
     template:
       metadata:
         labels:
           app: example
       spec:
         containers:
           - name: container-0
             image: 'nginx:perl'
             resources:
               limits:
                 cpu: 250m
                 memory: 512Mi
               requests:
                 cpu: 250m
                 memory: 512Mi
         imagePullSecrets:
           - name: default-secret

   创建该工作负载：

    apply - f  . 

3. 查看已运行的Pod。

   kubectl get pod -owide

   回显如下：

   NAME                       READY   STATUS    RESTARTS   AGE   IP            NODE         NOMINATED NODE   READINESS GATES
   example-5bdc5699b7-54v7g   1/1     Running   0          7s    10 . 1. 18 . 2     10.1.0.167   <none>           <none>
   example-5bdc5699b7-6dzx5   1/1     Running   0          7s    10 . 1. 18 . 216   10.1.0.186   <none>           <none>
   example-5bdc5699b7-gq7xs   1/1     Running   0          7s    10.1.16.63    10.1.0.144   <none>           <none>
   example-5bdc5699b7-h9rvb   1/1     Running   0          7s    10.1.16.125   10.1.0.167   <none>           <none>
   example-5bdc5699b7-s9fts   1/1     Running   0          7s    10.1.16.89    10.1.0.144   <none>           <none>
   example-5bdc5699b7-swq6q   1/1     Running   0          7s    10.1.17.111   10.1.0.167   <none>           <none>

   这里 的 都 是 Sub – ENI ， 在 的 ENI上 is 扩展 （ ） 。

   例如 10 . 1. 0 . 167 对应 的 网卡IP 为 10 . 1. 17 . 172 。 在 为 10 . 1. 17 . 172 的 上 了 3 个 Sub – ENI ， 均 为 该 上 的 。

   图6 Pod网卡
   

4. 登录同一VPC内的云服务器，从集群外直接访问Pod的IP，本示例中为10 . 1. 18 . 2。

   curl 10 . 1. 18 . 2

   回显如下，说明可正常访问工作负载应用：

   <!DOCTYPE html>
   <html>
   <head>
   <title>Welcome to nginx!</title>
   <style>
       body {
           width: 35em;
           margin: 0 auto;
           font-family: Tahoma, Verdana, Arial, sans-serif;
       }
   </style>
   </head>
   <body>
   <h1>Welcome to nginx!</h1>
   <p>If you see this page, the nginx web server is successfully installed and
   working. Further configuration is required.</p>
   
   <p>For online documentation and support please refer to
   <a href="http://nginx.org/" rel="external nofollow" >nginx.org</a>.<br/>
   Commercial support is available at
   <a href="http://nginx.com/" rel="external nofollow" >nginx.com</a>.</p>
   
   <p><em>Thank you for using nginx.</em></p>
   </body>
   </html>

CCE Tur 能说明

CCE Turbo集群的Pod容器网卡申请自VPC的弹性网卡或者辅助弹性网卡，目前Pod与网卡（弹性网卡或辅助弹性网卡）的关联操作发生在Pod调度完成之后，Pod创建的速度受网卡创建与绑定速度的影响，具体限制如下表所示。

ECS节 点创建Pod说明（采用辅助弹性网卡）

• 当 的 上 没有 的 已经 的 时 ， 会 的 ， 在 该 的 一个 上 一个 ； 并 把 该 给 该 。
• 当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张辅助弹性网卡分配给该Pod。
• 受限于辅助弹性网卡的租户并发创建速度，容器网卡不预热的场景下，每分钟最多创建成功600个Pod；如果有更高的弹性要求，可根据业务场景合理配置容器网卡动态预热参数。

BMS节点创建Pod说明（采用弹性网卡）

• 当 的 上 没有 的 已经 的 时 ， 会 的 ， 在 该 上 一个 ； 并 把 该 给 该 。 目前 BMS 节点 is 绑定 一 张 完全 大约 在 20s 到 。
• 当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张弹性网卡分配给该Pod。
• 受限于BMS节点 is 绑定 的速度，容器网卡不预热的场景下，同一节点的Pod启动速度为：3个/20秒；所以针对BMS节点，强烈建议用户配置容器网卡全预热。