[AEWS] # 2주차 eks vpc cni 이해하기 (1)

25년도 AWS EKS Hands-on Study 스터디 정리 내용입니다.

 

실습 환경 구성

CloudFormation

curl -O https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/K8S/myeks-2week.yaml

aws cloudformation deploy --template-file ~/Downloads/myeks-2week.yaml \
     --stack-name myeks --parameter-overrides KeyName=[my key] \
     SgIngressSshCidr=$(curl -s ipinfo.io/ip)/32 --region ap-northeast-2

# ec2 ip 출력
aws cloudformation describe-stacks --stack-name myeks \
    --query 'Stacks[*].Outputs[*].OutputValue' --output text

# ssh 접속 확인
ssh ec2-user@$(aws cloudformation describe-stacks --stack-name myeks --query 'Stacks[*].Outputs[0].OutputValue' --output text)

eksctl 

export CLUSTER_NAME=myeks # eks cluster name

export VPCID=$(aws ec2 describe-vpcs --filters "Name=tag:Name,Values=$CLUSTER_NAME-VPC" --query 'Vpcs[*].VpcId' --output text)
echo $VPCID

# 퍼블릭 서브넷 확인
export PubSubnet1=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-Vpc1PublicSubnet1" --query "Subnets[0].[SubnetId]" --output text)
export PubSubnet2=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-Vpc1PublicSubnet2" --query "Subnets[0].[SubnetId]" --output text)
export PubSubnet3=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-Vpc1PublicSubnet3" --query "Subnets[0].[SubnetId]" --output text)
echo $PubSubnet1 $PubSubnet2 $PubSubnet3

 

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: myeks
  region: ap-northeast-2
  version: "1.31"

kubernetesNetworkConfig:
  ipFamily: IPv4

iam:
  vpcResourceControllerPolicy: true
  withOIDC: true

accessConfig:
  authenticationMode: API_AND_CONFIG_MAP

vpc:
  autoAllocateIPv6: false
  cidr: 192.168.0.0/16
  clusterEndpoints:
    privateAccess: true # if you only want to allow private access to the cluster
    publicAccess: true # if you want to allow public access to the cluster
  id: vpc-0ab40d2acbda845d8  # 각자 환경 정보로 수정
  manageSharedNodeSecurityGroupRules: true # if you want to manage the rules of the shared node security group
  nat:
    gateway: Disable
  subnets:
    public:
      ap-northeast-2a:
        az: ap-northeast-2a
        cidr: 192.168.1.0/24
        id: [퍼블릭 서브넷]
      ap-northeast-2b:
        az: ap-northeast-2b
        cidr: 192.168.2.0/24
        id: [퍼블릭 서브넷]
      ap-northeast-2c:
        az: ap-northeast-2c
        cidr: 192.168.3.0/24
        id: [퍼블릭 서브넷]
addons:
  - name: vpc-cni # no version is specified so it deploys the default version
    version: latest # auto discovers the latest available
    attachPolicyARNs: # attach IAM policies to the add-on's service account
      - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy
    configurationValues: |-
      enableNetworkPolicy: "true"

  - name: kube-proxy
    version: latest

  - name: coredns
    version: latest

  - name: metrics-server
    version: latest

privateCluster:
  enabled: false
  skipEndpointCreation: false

managedNodeGroups:
- amiFamily: AmazonLinux2023
  desiredCapacity: 3
  disableIMDSv1: true
  disablePodIMDS: false
  iam:
    withAddonPolicies:
      albIngress: false # Disable ALB Ingress Controller
      appMesh: false
      appMeshPreview: false
      autoScaler: false
      awsLoadBalancerController: true # Enable AWS Load Balancer Controller
      certManager: true # Enable cert-manager
      cloudWatch: false
      ebs: false
      efs: false
      externalDNS: true # Enable ExternalDNS
      fsx: false
      imageBuilder: true
      xRay: false
  instanceSelector: {}
  instanceType: t3.medium
  preBootstrapCommands:
    # install additional packages
    - "dnf install nvme-cli links tree tcpdump sysstat ipvsadm ipset bind-utils htop -y"
    # disable hyperthreading
    - "for n in $(cat /sys/devices/system/cpu/cpu*/topology/thread_siblings_list | cut -s -d, -f2- | tr ',' '\n' | sort -un); do echo 0 > /sys/devices/system/cpu/cpu${n}/online; done"
  labels:
    alpha.eksctl.io/cluster-name: myeks
    alpha.eksctl.io/nodegroup-name: ng1
  maxSize: 3
  minSize: 3
  name: ng1
  privateNetworking: false
  releaseVersion: ""
  securityGroups:
    withLocal: null
    withShared: null
  ssh:
    allow: true
    publicKeyName: [key pair]
  tags:
    alpha.eksctl.io/nodegroup-name: ng1
    alpha.eksctl.io/nodegroup-type: managed
  volumeIOPS: 3000
  volumeSize: 30
  volumeThroughput: 125
  volumeType: gp3

 

eksctl로 클러스터를 배포할 구성 파일이다. 구성된 내용은 아래와 같다.

• myeks라는 이름으로 서울 리전에 1.31로 배포될 클러스터이다.
• vpc 리소트 컨트롤러 정책을 활성화하여 AWS VPC 네트워크 리소를 제어할 수 있게 설정한다.
• OIDC ID 공급자 설정을 활성화하여 IAM, 쿠버네티스 서비스 계정간의 연결 지원을 설정한다.
• 클러스터 접근 인증의 경우 AWS IAM 기반 인증과 쿠버네티스의 RBAC을 사용한다.
• VPC CIDR의 경우 192.168.0.0/16을 사용하고, 클러스터 엔드포인트의 경우 public, private 액세스가 모두 설정되어 클러스터 API 서버 접근이 외부 내부 모두 가능하다.
• 애드온의 경우 VPC CNI, kube proxy, coreDNS, Metrics Server 4가지 기능을 추가한다.
• EKS 노드 그룹을 통해 쿠버네티스 워커 노드를 자동으로 관리한다.

eksctl create cluster -f myeks.yaml --verbose 4

배포된 eks 클러스터 확인

kubectl get node --label-columns=node.kubernetes.io/instance-type,eks.amazonaws.com/capacityType,topology.kubernetes.io/zone

kubectl get node -v=6
NAME                                               STATUS   ROLES    AGE     VERSION
ip-192-168-1-112.ap-northeast-2.compute.internal   Ready    <none>   6m25s   v1.31.5-eks-5d632ec
ip-192-168-2-169.ap-northeast-2.compute.internal   Ready    <none>   6m17s   v1.31.5-eks-5d632ec
ip-192-168-3-231.ap-northeast-2.compute.internal   Ready    <none>   6m22s   v1.31.5-eks-5d632ec

 

노드 그룹 인바운드 룰 추가

aws ec2 describe-instances --query "Reservations[*].Instances[*].{InstanceID:InstanceId, PublicIPAdd:PublicIpAddress, PrivateIPAdd:PrivateIpAddress, InstanceName:Tags[?Key=='Name']|[0].Value, Status:State.Name}" --filters Name=instance-state-name,Values=running --output table

----------------------------------------------------------------------------------------
|                                   DescribeInstances                                  |
+----------------------+-----------------+----------------+----------------+-----------+
|      InstanceID      |  InstanceName   | PrivateIPAdd   |  PublicIPAdd   |  Status   |
+----------------------+-----------------+----------------+----------------+-----------+
|  i-04332dffb3235a12f |  myeks-ng1-Node |  192.168.3.x   |  54.x.x.x      |  running  |
|  i-0c9a528984351cadb |  operator-host  |  172.20.1.x    |  43.x.x.x      |  running  |
|  i-0377ada6c8218a6b8 |  myeks-ng1-Node |  192.168.1.x   |  43.x.x.x      |  running  |
|  i-0681ecb761cc83614 |  myeks-ng1-Node |  192.168.2.x   |  43.x.x.x.     |  running  |
+----------------------+-----------------+----------------+----------------+-----------+

export MNSGID=[관리형 노드 그룹 보안그룹]

# 본인 집 공인 ip 추가
aws ec2 authorize-security-group-ingress --group-id $MNSGID --protocol '-1' --cidr $(curl -s ipinfo.io/ip)/32

# ec2 IP 룰 추가
aws ec2 authorize-security-group-ingress --group-id $MNSGID --protocol '-1' --cidr 172.20.1.100/32

ssh -i pem키 ec2-user@$N1
ssh -i pem키 ec2-user@$N2
ssh -i pem키 ec2-user@$N3

 

노드그룹 ng1은 EKS의 관리형 노드 그룹인데, 쿠버네티스의 워커 노드들이 속해 있는 그룹으로 보안 정책 내 인바운드 룰을 추가하여 접근할 수 있도록 한다.

본인의 집에서 사용하는 공인 ip와 ec2 서버의 내부 ip를 보안그룹에 추가해서 eks 노드그룹 접근을 할 수 있도록 하고 핑 및 ssh 접속을 확인한다.

 

aws ssm start-session --target i-04332dffb3235a12f

Starting session with SessionId: nana-r66x7642x6tqrv75aiipq5h57i
sh-5.2$ whoami
ssm-user
sh-5.2$ pwd
/usr/bin
sh-5.2$ hostnamectl
 Static hostname: ip-192-168-3-231.ap-northeast-2.compute.internal
       Icon name: computer-vm
         Chassis: vm 🖴
      Machine ID: ec2df7d5af5533fefc902e710ae161c9
         Boot ID: a02d09acde7b4e82962ba4b70c9bc853
  Virtualization: amazon
Operating System: Amazon Linux 2023.6.20250203
     CPE OS Name: cpe:2.3:o:amazon:amazon_linux:2023
          Kernel: Linux 6.1.127-135.201.amzn2023.x86_64
    Architecture: x86-64
 Hardware Vendor: Amazon EC2
  Hardware Model: t3.medium
Firmware Version: 1.0

sh-5.2$ cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
ec2-user:x:1000:1000:EC2 Default User:/home/ec2-user:/bin/bash
ssm-user:x:1001:1001::/home/ssm-user:/bin/bash
...

# sudo 권한 확인
sh-5.2$ sudo -l
Matching Defaults entries for ssm-user on ip-192-168-3-231:
    !visiblepw, always_set_home, match_group_by_gid,
    always_query_group_plugin, env_reset, env_keep="COLORS DISPLAY
    HOSTNAME HISTSIZE KDEDIR LS_COLORS", env_keep+="MAIL QTDIR
    USERNAME LANG LC_ADDRESS LC_CTYPE", env_keep+="LC_COLLATE
    LC_IDENTIFICATION LC_MEASUREMENT LC_MESSAGES",
    env_keep+="LC_MONETARY LC_NAME LC_NUMERIC LC_PAPER
    LC_TELEPHONE", env_keep+="LC_TIME LC_ALL LANGUAGE LINGUAS
    _XKB_CHARSET XAUTHORITY",
    secure_path=/usr/local/sbin\:/usr/local/bin\:/usr/sbin\:/usr/bin\:/sbin\:/bin\:/var/lib/snapd/snap/bin

User ssm-user may run the following commands on ip-192-168-3-231:
    (ALL) NOPASSWD: ALL

 

또한 ssh 없이 aws session manager를 통해 ec2 인스턴스에 접속할 수 있는데, IAM 권한이 필요하므로 aws configure로 사전에 키 설정하는 작업이 필요하다.

세션 매니저의 경우 ssm user가 sudo 권한이 기본적으로 부여되어서 root 권한으로 사용 가능하다.

 

AWS VPC CNI

EKS에서 파드들은 AWS VPC CNI를 통해 ec2 인스턴스처럼 네트워크를 사용한다.

vpc cni는 cni 바이너리와 ipamd라는 2가지 핵심 요소로 구성돼있는데, cni 바이너리는 kubelet에서 새로운 파드를 생성할 때 자동으로 파드 네트워크를 설정하여 통신할 수 있게 한다. 바이너리는 각 노드의 파일시스템에 설치되어 있다.

ipamd는 ec2 eni를 관리하는 역할을 수행하는데 ip주소를 가지고 있고 ec2 인스턴스 종류에 따라 여러개를 가질 수 있다. eni에서 사용 가능한 ip 주소를 미리 확보하는데 이를 warm pool이라고 한다. 파드가 필요할 때 빠르게 ip 주소를 할당하게 해줌으로써, 파드가 사용할 네트워크 주소를 미리 준비한다.

 

처음 ec2 인스턴스가 시작되면 ec2는 프라이머리 eni를 가지고 있고 이 eni는 퍼블릭, 프라이빗 서브넷으로 연결될 수 있다. 만약 hostNetwork 모드일 경우 파드는 eni의 ip와 동일하게 사용된다.

파드가 생기면 vpc cni는 ipamd를 통해 ip를 받는데, vpc cni는 ec2에 추가로 eni를 연결할 수 있다. 파드 개수가 많아질 수록 eni가 추가되는데 이를 세컨더리 eni라고 한다. 

ec2마다 최대 eni개수와 ip 개수가 다르므로 실행할 수 있는 최대 파드 개수도 이로 결정된다고 볼 수 있다. 한 개의 ec2 에서 실행 가능한 파드의 개수는 eni * (eni가 지원하는 ipv4 - 1) + 2로 계산된다.

 

coreDNS 파드와 eks 노드의 프라이빗 ip가 같은 이유

kubectl describe daemonset aws-node --namespace kube-system | grep Image | cut -d "/" -f 2

amazon-k8s-cni-init:v1.19.2-eksbuild.5
amazon-k8s-cni:v1.19.2-eksbuild.5
amazon

+----------------+-----------------+
|  InstanceName  |  PrivateIPAdd   |
+----------------+-----------------+
|  myeks-ng1-Node|  192.168.3.231  |
|  operator-host |  172.20.1.100   | 
|  myeks-ng1-Node|  192.168.1.112  |
|  myeks-ng1-Node|  192.168.2.169  |  
+----------------+-----------------+

kubectl get pod -n kube-system -o=custom-columns=NAME:.metadata.name,IP:.status.podIP,STATUS:.status.phase
NAME                              IP              STATUS
aws-node-7pzrz                    192.168.1.112   Running
aws-node-ctfl4                    192.168.3.231   Running
aws-node-ns6ph                    192.168.2.169   Running
coredns-86f5954566-mlwpn          192.168.1.100   Running
coredns-86f5954566-qfk2r          192.168.3.41    Running
kube-proxy-d6jc4                  192.168.3.231   Running
kube-proxy-d9w9l                  192.168.2.169   Running
kube-proxy-skt8n                  192.168.1.112   Running
metrics-server-6bf5998d9c-lsbq6   192.168.1.160   Running
metrics-server-6bf5998d9c-pfl7z   192.168.3.183   Running

 

eks는 vpc cni를 사용하여 파드들은 vpc의 실제 네트워크에서 IP를 직접 할당받는데, 파드들은 vpc 서브넷에 있는 ec2와 동일한 네트워크에서 동작한다.

 

 

aws-node와 kube-proxy는 ec2의 데몬셋으로 실행되는데 데몬셋은 해당 노드에서 네트워크를 제어하는 파드이므로 이 노드의 프라이빗 ip를 그대로 사용하게 된다.

이 외 파드는 ec2의 eni에서 할당된 프라이빗 ip를 사용하고 이 파드가 실행되는 노드의 서브넷에서 할당된다.

 

netshoot-pod 테스트

 

 

 

[ec2-user@ip-192-168-3-231 ~]$ sudo lsns -t net
        NS TYPE NPROCS   PID USER     NETNSID NSFS                                                COMMAND
4026531840 net     111     1 root  unassigned                                                     /usr/li
4026532211 net       2  3235 65535          0 /run/netns/cni-615c56d6-0bfb-b770-1e4c-29e55aaa917c /pause
4026532291 net       2  3323 65535          1 /run/netns/cni-49185490-e3e4-f8a0-c09d-eedb7e52642a /pause
4026532403 net       2 46278 65535          2 /run/netns/cni-a22f9035-44e1-8bb3-8403-84708f0b21e9 /pause

[ec2-user@ip-192-168-3-231 ~]$ PID=46278
[ec2-user@ip-192-168-3-231 ~]$ sudo nsenter -t $PID -n ip -c addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host proto kernel_lo
       valid_lft forever preferred_lft forever
3: eth0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9001 qdisc noqueue state UP group default
    link/ether fa:42:c9:aa:e0:7e brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.3.250/32 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::f842:c9ff:feaa:e07e/64 scope link proto kernel_ll
       valid_lft forever preferred_lft forever
       
[ec2-user@ip-192-168-3-231 ~]$ sudo nsenter -t $PID -n ip -c route
default via 169.254.1.1 dev eth0
169.254.1.1 dev eth0 scope link

 

eks의 파드 네트워크 네임스페이스를 확인하고, 파드 내부의 네트워크 인터페이스와 라우팅 테이블을 확인할 수 있다.

파드 내부에서 실행 중인 pause 컨테이너의 프로세스 ID인 46278를 살펴보면 네트워크 구조는 아래와 같다.

 

Loopback (lo)

• 127.0.0.1/8: 파드 내부에서만 사용 가능한 루프백 인터페이스

eth0@if6 (파드의 메인 네트워크 인터페이스)

• eth0@if6: 파드의 기본 네트워크 인터페이스
• MTU 9001 → AWS에서 제공하는 점보 프레임
• MAC 주소: fa:42:c9:aa:e0:7e
• IPv4 주소: 192.168.3.250/32 -> aws eni로 제공된 것
• IPv6 링크-로컬 주소: fe80::f842:c9ff:feaa:e07e/64

 

파드에서 외부 네트워크로 트래픽을 보낼 때, 169.254.1.1을 게이트웨이로 사용하는데, 169.254.1.1은 AWS VPC CNI에서 제공하는 NAT 게이트웨이 역할을 한다. 로컬 eni와 연결된 네트워크는 파드와 같은 ec2에서 실행되는 다른 파드들과 통신할 때 사용한다.

파드 간 통신을 하기 위해서는 eni로 라우팅을 수행하고 외부 트래픽은 게이트웨이를 통해 트래픽을 보낸다.

파드 간 통신 패킷 덤프

PODIP1=$(kubectl get pod -l app=netshoot-pod -o jsonpath='{.items[0].status.podIP}')
PODIP2=$(kubectl get pod -l app=netshoot-pod -o jsonpath='{.items[1].status.podIP}')
PODIP3=$(kubectl get pod -l app=netshoot-pod -o jsonpath='{.items[2].status.podIP}')

# 핑 테스트
kubectl exec -it $PODNAME1 -- ping -c 2 $PODIP2
kubectl exec -it $PODNAME2 -- ping -c 2 $PODIP3
kubectl exec -it $PODNAME3 -- ping -c 2 $PODIP1

 

 

 

# 1번 파드
ens5  In  IP 192.168.2.27 > 192.168.1.182: ICMP echo request
eni1ca12149b57 Out IP 192.168.2.27 > 192.168.1.182: ICMP echo request

# 2번 파드
eni3628be173f9 In  IP 192.168.2.27 > 192.168.1.182: ICMP echo request
ens5  Out IP 192.168.2.27 > 192.168.1.182: ICMP echo request

 

1번 파드 -> 2번 파드로 핑을 쏠 때 패킷 덤프이다.
출발지 192.168.2.27 → 목적지 192.168.1.182의 IP가 모든 구간에서 동일하게 유지되는데, NAT가 되지 않는 것을 확인할 수 있다.
eni를 통해 패킷이 직접 전달되므로 vpc 네트워크에서 그대로 처리된다는 것을 확인할 수 있다.