[AEWS] #6주차 Kyverno 실습 (5)

25년도 AWS EKS Hands-on Study 스터디 정리 내용입니다.

 

Kyverno

Kyverno는 쿠버네티스 네이티브 정책 엔진으로 쿠버네티스 리소스에 대한 정책을 정의 / 검증 / 변환 / 적용하는 기능을 제공하며,

쿠버네티스 CRD를 활용해 YAML 기반으로 정책을 정의할 수 있다.

 

Validation (검증)

• 잘못된 리소스가 클러스터에 생성되지 않도록 차단한다.
• Admission Controller로 동작하여 정책을 만족하지 않는 리소스는 Denied 처리한다.

Mutation (변경)

• 기존 리소스를 자동으로 수정할 수 있다.
• MutatingAdmissionWebhook을 활용하여 리소스를 실시간으로 변환한다.

Generation (생성)

• 특정 리소스가 생성될 때 자동으로 다른 리소스를 생성할 수 있다.
• 이는 Kubernetes 리소스 템플릿을 자동화하는 기능을 수행한다.

Verification (서명 검증)

• 컨테이너 이미지 서명을 검증하여 보안 정책을 적용할 수 있다.

 

kyverno 아키텍처

 

Kyverno는 Webhook, Engine, Report Controller, Background Controller 등의 주요 컴포넌트로 동작한다.

 

 

Webhook Controller (웹훅 컨트롤러)

• ValidatingWebhookConfiguration 및 MutatingWebhookConfiguration을 관리한다.
• 쿠버네티스 API 서버가 요청을 보낼 수 있도록 Webhook을 등록한다.
• 자동으로 TLS 인증서를 관리하여 Webhook 보안을 유지한다.
• Webhook 요청을 받으면 Engine 컨트롤러로 전달하여 정책을 적용한다.

Engine Controller (엔진 컨트롤러)

• Kyverno 정책을 처리하는 핵심 엔진으로 변형(Mutate), 검증(Validate), 생성(Generate) 등의 작업을 수행한다.
• Webhook Controller와 연동하여 요청을 검사하고 정책을 적용한다.
• 기존 리소스를 스캔하여 정책 위반 여부를 확인하고 정책 적용 결과를 etcd 저장소에 반영한다.

Report Controllers (리포트 컨트롤러)

• 정책 적용 결과를 수집하여 리포트 생성하며 정책 위반 여부를 PolicyReport 리소스 형태로 저장하며, 관리자는 kubectl get policyreport 명령어로 정책 위반 여부를 확인 가능하다.

Background Controller (백그라운드 컨트롤러)

• 기존 리소스에도 정책을 적용한다.
• Webhook 방식이 아닌 클러스터 내 기존 리소스를 주기적으로 스캔하고 정책 위반 사항을 자동으로 수정하거나 보고한다.

kyverno 설치

cat << EOF > kyverno-value.yaml
config:
  resourceFiltersExcludeNamespaces: [ kube-system ]

admissionController:
  serviceMonitor:
    enabled: true

backgroundController:
  serviceMonitor:
    enabled: true

cleanupController:
  serviceMonitor:
    enabled: true

reportsController:
  serviceMonitor:
    enabled: true
EOF
kubectl create ns kyverno
helm repo add kyverno https://kyverno.github.io/kyverno/
helm install kyverno kyverno/kyverno --version 3.3.7 -f kyverno-value.yaml -n kyverno


kubectl get pod,svc -n kyverno
NAME                                                READY   STATUS    RESTARTS   AGE
pod/kyverno-admission-controller-df7b67cf-xj8c2     0/1     Running   0          21s
pod/kyverno-background-controller-8544847cf-pg7dz   1/1     Running   0          21s
pod/kyverno-cleanup-controller-5db46d8ddb-44kq8     1/1     Running   0          21s
pod/kyverno-reports-controller-77f95686d4-xjppx     1/1     Running   0          21s

NAME                                            TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
service/kyverno-background-controller-metrics   ClusterIP   10.100.113.109   <none>        8000/TCP   23s
service/kyverno-cleanup-controller              ClusterIP   10.100.151.180   <none>        443/TCP    23s
service/kyverno-cleanup-controller-metrics      ClusterIP   10.100.28.67     <none>        8000/TCP   23s
service/kyverno-reports-controller-metrics      ClusterIP   10.100.32.13     <none>        8000/TCP   23s
service/kyverno-svc                             ClusterIP   10.100.125.77    <none>        443/TCP    23s
service/kyverno-svc-metrics                     ClusterIP   10.100.71.20     <none>        8000/TCP   23s

 

인증서 확인

kubectl -n kyverno get secret kyverno-svc.kyverno.svc.kyverno-tls-ca -o jsonpath='{.data.tls\.crt}' | base64 -d
-----BEGIN CERTIFICATE-----
MIIC7TCCAdWgAwIBAgIBADANBgkqhkiG9w0BAQsFADAYMRYwFAYDVQQDDA0qLmt5...
...
-----END CERTIFICATE-----

kubectl -n kyverno get secret kyverno-svc.kyverno.svc.kyverno-tls-ca -o jsonpath='{.data.tls\.crt}' | base64 -d | step certificate inspect --short
X.509v3 Root CA Certificate (RSA 2048) [Serial: 0]
  Subject:     *.kyverno.svc
  Issuer:      *.kyverno.svc
  Valid from:  2025-03-15T20:56:51Z
          to:  2026-03-15T21:56:51Z

 

 

Kyverno Webhook 서버는 자체 서명된 TLS 인증서를 사용하는데 kubectl get secret 명령어를 사용하여 TLS 인증서를 직접 확인 가능하다.

Validating Webhook에서도 같은 CA 인증서를 사용하여 API 서버와 통신한다.

 

클러스터 정책 적용

kubectl apply -f- << EOF
apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: require-labels
spec:
  validationFailureAction: Enforce
  rules:
  - name: check-team
    match:
      any:
      - resources:
          kinds:
          - Pod
    validate:
      message: "label 'team' is required"
      pattern:
        metadata:
          labels:
            team: "?*"
EOF

kubectl get ClusterPolicy
NAME             ADMISSION   BACKGROUND   READY   AGE   MESSAGE
require-labels   true        true         True    26s   Ready

 

 

파드 생성 테스트

kubectl create deployment nginx --image=nginx
error: failed to create deployment: admission webhook "validate.kyverno.svc-fail" denied the request:

resource Deployment/default/nginx was blocked due to the following policies

require-labels:
  autogen-check-team: 'validation error: label ''team'' is required. rule autogen-check-team
    failed at path /spec/template/metadata/labels/team/'

 

Kyverno 정책이 동작하여 라벨이 없는 경우 배포가 차단되는 것을 확인할 수 있다.

 

kubectl run nginx --image nginx --labels team=backend
pod/nginx created

kubectl get pod -l team=backend
NAME    READY   STATUS    RESTARTS   AGE
nginx   1/1     Running   0          10s

 

team=backend 라벨을 포함하면 정상적으로 생성된다.

Muatate를 활용한 파드 자동 라벨링 적용

kubectl apply -f- << EOF
apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: add-labels
spec:
  rules:
  - name: add-team
    match:
      any:
      - resources:
          kinds:
          - Pod
    mutate:
      patchStrategicMerge:
        metadata:
          labels:
            +(team): bravo
EOF

kubectl get mutatingwebhookconfigurations
NAME                                    WEBHOOKS   AGE
aws-load-balancer-webhook               3          27m
kube-prometheus-stack-admission         1          5m55s
kyverno-policy-mutating-webhook-cfg     1          3m26s
kyverno-resource-mutating-webhook-cfg   1          3m26s
kyverno-verify-mutating-webhook-cfg     1          3m26s
pod-identity-webhook                    1          7h20m
vpc-resource-mutating-webhook           1          7h20m

kubectl get ClusterPolicy
NAME         ADMISSION   BACKGROUND   READY   AGE   MESSAGE
add-labels   true        true         True    17s   Ready

 

Kyverno의 Mutating 정책을 사용하여 Pod 생성 시 team=bravo 라벨을 자동 추가하도록 설정한다.

 

kubectl run redis --image redis
pod/redis created

kubectl get pod redis --show-labels
NAME    READY   STATUS    RESTARTS   AGE   LABELS
redis   1/1     Running   0          8s    run=redis,team=bravo

 

라벨을 명시하지 않았음에도 team=bravo가 자동 추가된 것을 확인할 수 있다.