[AEWS] #1주차 EKS 클러스터 배포 실습, 엔드포인트 액세스 설정 (1)

25년도 AWS EKS Hands-on Study 스터디 정리 내용입니다.

 

EKS란?

AWS에서 제공하는 관리형 쿠버네티스 서비스이다.

EKS는 컨트롤 플레인을 AWS가 관리하고 사용자가 워커 노드를 운영하는 형태이다.

컨테이너의 수가 증가할수록 운영자의 부담도 커지는데, AWS가 제공하는 쿠버네티스 관리형 서비스의 이점을 활용할 수 있어 운영 복잡성을 줄이고 안정적인 인프라 환경을 유지할 수 있다.

• 컨트롤 플레인 : 쿠버네티스 클러스터의 핵심 컴포넌트 (api server, 스케줄러, etcd, 컨트롤 관리)
• 데이터 플레인 : 실제 애플리케이션이 실행되는 워커 노드와 파드

 

 

EKS 배포 실습

CloudFormation

cloudformation은 AWS에서 json, yaml 형식으로 인프라 리소스 배포 및 관리하는 IaC 서비스이다. 이를 활용하여서 EKS를 구축하는데 필요한 기본적인 인프라를 코드로 자동화하여 EKS가 동작할 수 있는 환경을 준비한다.

배포는 스터디를 위해 미리 준비해주신 템플릿(myeks-1week.yaml)을 활용하여 구성하였으며 내부 구성은 아래와 같다.

 

myeks-1week.yaml

 

리소스

• eks vpc 192.168.0.0/16
  •  AZ1
    • 192.168.1.0/24 (퍼블릭 서브넷1)
    • 192.168.3.0/24 (프라이빗 서브넷1)
  • AZ2
    • 192.168.2.0/24 (퍼블릭 서브넷2)
    • 192.168.4.0/24 (프라이빗 서브넷2)

EKS 클러스터를 생성하고 관리하기 위한 도구 설치

linux 패키지

• tree
• jq
• git
• htop
• yh (YAML Highlighter)
• aws cli v2
• docker

쿠버네티스

• kubectl (Kubernetes CLI)
• helm (Helm 패키지 매니저)
• eksctl (EKS 클러스터 관리 도구)
• krew (kubectl 플러그인 매니저)
  • 플러그인
    • ctx
    • ns
    • get-all
    • neat
• kube-ps1 (쿠버네티스 환경 설정)
• kubecolor

 

작업은 콘솔 혹은 cli로 가능하고 스택 생성 > 스택 세부 정보 지정 > 스택 옵션 구성 > 검토 및 작성 4단계로 이루어진다.

아래 파라미터 값은 본인이 설정할 값을 넣어서 구성을 진행한다.

 

커스텀 파라미터

• ClusterBaseName : EKS 클러스터 이름
• KeyName : EC2 키페어 (미리 생성해야함)
• SgIngressSshCidr : 본인이 사용하는 PC ip

 

EC2 설정

# 클라우드포메이션 배포
aws cloudformation deploy --template-file ~/myeks-1week.yaml \
 --stack-name myeks --parameter-overrides KeyName=[Ec2 키페어] \
 SgIngressSshCidr=$(curl -s ipinfo.io/ip)/32 --region ap-northeast-2

# EC2 ip 
aws cloudformation describe-stacks --stack-name [ClusterBaseName] \
--query 'Stacks[*].Outputs[*].OutputValue' --output text

# EC2 접속 후 IAM User 키 넣기
aws configure

 

CloudFormation 스택 배포 이후에 생성된 ec2의 ip를 확인하고 ssh로 접속한다.

이 ec2 인스턴스 안에서 eksctl 명령어를 사용하여 eks 클러스터를  제어하고 관리할 수 있게 된다.

생성된 ec2에서 aws IAM User의 자격 증명을 입력하여 실습 환경 구성하면 cli 환경에서 준비 작업이 끝나게 된다!

 

# EKS를 배포할 vpc 출력
aws ec2 describe-vpcs --filters "Name=tag:Name,Values=$CLUSTER_NAME-VPC" | jq -r .Vpcs[].VpcId
export VPCID=$(aws ec2 describe-vpcs --filters "Name=tag:Name,Values=$CLUSTER_NAME-VPC" | jq -r .Vpcs[].VpcId)
echo "export VPCID=$VPCID" >> /etc/profile
echo $VPCID

# EKS 배포할 VPC에 속한 모든 Subnet 정보 확인
aws ec2 describe-subnets --filters "Name=vpc-id,Values=$VPCID" --output yaml

 

EKS를 배포할 VPC를 확인해야 하는데 콘솔에서 192.168.0.0/16 ipv4 인 vpc의 id를 찾아도 되고 위 명령어를 통해 내가 생성한 클러스터 이름의 vpc를 찾을 수 있다. 

 

export PubSubnet1=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet1" --query "Subnets[0].[SubnetId]" --output text)
export PubSubnet2=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet2" --query "Subnets[0].[SubnetId]" --output text)

 

그리고 EKS 클러스터에서 사용할 퍼블릭 서브넷 ID를 확인한다.

 

 

지금까지 EKS 배포하기 위해 준비된 인프라 리소스 구조이다.

eksctl을 활용하여 eks 배포

eksctl create cluster --name $CLUSTER_NAME --region=$AWS_DEFAULT_REGION \
--nodegroup-name=$CLUSTER_NAME-nodegroup \
--node-type=t3.medium --node-volume-size=30 \
--vpc-public-subnets "$PubSubnet1,$PubSubnet2" \
--version 1.31 --ssh-access --external-dns-access --verbose 4

 

위 명령어는 eksctl 명령어를 사용하여 클러스터를 생성하고 eks 노드 그룹을 퍼블릭 서브넷을 활용하여 배포하는 명령어이다.

스터디에서는 총 4가지 예시를 주셨는데 그중 eks 클러스터 생성하고 관리형 노드 그룹을 배포하는 eksctl 명령어로 배포하였다.

 

클러스터 엔드포인트 

여기서 API 서버 엔드포인트의 경우 처음엔 퍼블릭으로 설정되는데 이는 엔드포인트 액세스 관리 > 퍼블릭 및 프라이빗으로 수정하여 나의 pc에서만 접근할 수 있게 수정한다.

 

엔드포인트 액세스는 쿠버네티스 API 서버에 대한 접근 방식을 나타내는 것으로 3가지 옵션이 존재하며 엔드포인트의 트래픽은 아래와 같다.

• 퍼블릭 : 외부 인터넷을 통해 AWS VPC에 있는 API 서버에 요청을 보냄
  
  • 사용자가 외부망에서 kubectl 명령어를 입력하면 AWS VPC 내 api server(퍼블릭 엔드포인트)로 요청을 보낸다. 
  • api server는 eni를 통해 custom vpc에 있는 kubelet으로 명령을 요청한다.
  • 이후 kubelet이 사용자가 요청한 작업을 수행하고 워커 노드의 상태를 인터넷 게이트웨이를 통해 api server로 전송한다.
• ✅ 퍼블릭 + 프라이빗 : 워커 노드 주소가 별도의 프라이빗 존으로 구성돼있음
  • 퍼블릭과 동일하게 api server에서 kubelet으로의 트래픽 흐름은 동일하다.
  • kubelet에서 api server로 통신할 때 퍼블릭처럼 인터넷 게이트웨이로 트래픽이 흐르는 것이 아닌,  aws 내부 프라이빗 호스팅 존으로 가서 eni를 통과하여 트래픽이 흐른다.
    • https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/hosted-zones-private.html
• 프라이빗 : 사용자가 VPC 내부에서만 EKS api 서버 접근하여 NLB 퍼블릭 ip 엔드포인트로 접속하지 않는다.
  • 사용자가 내부 vpc에서 kubectl 명령어를 입력하면 eni를 통해서 api server로 요청을 보낸다.
  • eni를 통해 api server로 응답이 전달된다.

aws ec2 authorize-security-group-ingress --group-id $CPSGID --protocol '-1' --cidr 192.168.1.100/32

 

 

EKS의 퍼블릭 + 프라이빗 엔드포인트 설정을 적용하면 VPC 내부의 워커 노드 및 관리용 EC2 인스턴스는 인터넷 게이트웨이를 거치지 않고 AWS 내부 네트워크(프라이빗 호스팅 영역)를 통해 API 서버와 통신하게 된다.

VPC 내부에서는 프라이빗 엔드포인트를 통해 EKS API 서버로 통신되며, 이를 위해 해당 EC2 인스턴스의 프라이빗 IP가 EKS API 서버의 시큐리티 그룹에 정책이 추가되어야 한다.

따라서 kubectl을 사용하여 EC2에서 EKS 클러스터에 접근하려면 EC2의 프라이빗 IP를 EKS API 서버의 시큐리티 그룹 인바운드 룰에 추가해야 한다.