[Cilium] #4주차 (2) Service LB-IPAM

25년도 Cilium Study 1기 정리 글입니다.

실습 환경 셋팅

Cilium의 LoadBalancer IP Pool 기능을 활용해 사전에 정의한 IP 대역에서 Kubernetes LoadBalancer 서비스에 VIP를 자동 할당하고 L2Announce를 통해 네트워크에 해당 VIP를 광고하는 과정을 알아본다!

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get CiliumLoadBalancerIPPool -A
No resources found

(⎈|HomeLab:N/A) root@k8s-ctr:~# cat << EOF | kubectl apply -f -
apiVersion: "cilium.io/v2"
kind: CiliumLoadBalancerIPPool
metadata:
  name: "cilium-lb-ippool"
spec:
  blocks:
  - start: "192.168.10.211"
    stop:  "192.168.10.215"
EOF

ciliumloadbalancerippool.cilium.io/cilium-lb-ippool created
(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl api-resources | grep -i CiliumLoadBalancerIPPool
ciliumloadbalancerippools           ippools,ippool,lbippool,lbippools   cilium.io/v2                      false        CiliumLoadBalancerIPPool

설정 확인

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl api-resources | grep -i CiliumLoadBalancerIPPool
ciliumloadbalancerippools           ippools,ippool,lbippool,lbippools   cilium.io/v2                      false        CiliumLoadBalancerIPPool

클러스터에 CiliumLoadBalancerIPPool CRD가 등록되어 있는데 이는 LB용 IP 풀을 쿠버네티스 리소스로 관리할 수 있는 상태다.

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get ippools
NAME               DISABLED   CONFLICTING   IPS AVAILABLE   AGE
cilium-lb-ippool   false      False         5               44s

cilium-lb-ippool이 활성화되어 있고 충돌 없이(Conflicting=False) 할당 가능한 IP가 5개 남아 있다고 나온다. 이 풀에서 서비스 타입이 로드밸런서인 서비스들에 외부 IP가 자동으로 분배된다.

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get svc webpod -o jsonpath='{.status.loadBalancer.ingress[0].ip}'
LBIP=$(kubectl get svc webpod -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
192.168.10.211

기존 webpod 서비스를 LoadBalancer 타입으로 바뀌게 되어서 Cilium LB IPAM이 풀에서 IP 하나를 꺼내 서비스에 붙인다. 이후 kubectl get svc webpod에서 EXTERNAL-IP가 192.168.10.211로 채워진 것을 확인할 수 있다.

내부 ClusterIP(10.96.177.120)는 그대로 유지되고 NodePort(80:30905/TCP)도 계속 노출되지만 L2 상의 VIP(192.168.10.211)를 통해 직접 접근할 수 있게 된다. Cilium은 기본적으로 이 VIP를 L2(ARP/NDP)로 광고해 동일 L2 세그먼트에서 곧바로 라우팅 없이 도달되게 한다.

같은 노드에 있는 파드 호출 시

kubectl get svc webpod -o jsonpath='{.status.loadBalancer.ingress[0].ip}'
LBIP=$(kubectl get svc webpod -o jsonpath='{.status.loadBalancer.ingress[0].ip}')

# k8s-ctr에서 VIP로 HTTP 요청
(⎈|HomeLab:N/A) root@k8s-ctr:~# curl -s $LBIP
Hostname: webpod-697b545f57-j524d
IP: 127.0.0.1
IP: ::1
IP: 172.20.0.102
IP: fe80::854:22ff:fea8:fcf4
RemoteAddr: 172.20.0.65:59194
GET / HTTP/1.1
Host: 192.168.10.211
User-Agent: curl/8.5.0
Accept: */*

RemoteAddr: 172.20.0.65:59194인데 여기서 172.20.0.65는 k8s-ctr 노드의 cilium_host 인터페이스 IP이다.

VIP → 로드밸런싱 → 같은 노드에 있는 파드로 가는 경우 그대로 보내면 자기 자신을 다시 거치는 요청하는 문제를 피하기 위해 SNAT하여 소스 ip를 cilium_host로 바꾸게 되고 파드 입장에서는 요청이 노드(cilium_host)에서 온 것처럼 보이게 된다.

다른 노드에 있는 파드 호출 시

# 클러스터 내부의 Pod(curl-pod) 에서 VIP로 요청
(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl exec -it curl-pod -- curl -s $LBIP
Hostname: webpod-697b545f57-7vgtj
IP: 127.0.0.1
IP: ::1
IP: 172.20.1.25 # k8s-w1 노드에 있는 파드
IP: fe80::301b:7cff:fee1:9a9b
RemoteAddr: 172.20.0.221:35828
GET / HTTP/1.1
Host: 192.168.10.211
User-Agent: curl/8.14.1
Accept: */*

curl-pod의 파드 IP로 다른 파드에서 VIP로 요청하면 위처럼 SNAT 없이 클라이언트 파드 IP를 그대로 보여주어 어디서 호출하였는지를 확인할 수 있다.

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get ippools
NAME               DISABLED   CONFLICTING   IPS AVAILABLE   AGE
cilium-lb-ippool   false      False         4               20m

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get ippools -o jsonpath='{.items[*].status.conditions[?(@.type!="cilium.io/PoolConflict")]}' | jq
...
{
  "lastTransitionTime": "2025-08-09T14:34:47Z",
  "message": "1",
  "observedGeneration": 1,
  "reason": "noreason",
  "status": "Unknown",
  "type": "cilium.io/IPsUsed"
}

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get svc webpod -o jsonpath='{.status}' | jq
{
  "conditions": [
    {
      "lastTransitionTime": "2025-08-09T14:35:37Z",
      "message": "",
      "reason": "satisfied",
      "status": "True",
      "type": "cilium.io/IPAMRequestSatisfied"
    }
  ],
  "loadBalancer": {
    "ingress": [
      {
        "ip": "192.168.10.211",
        "ipMode": "VIP"
      }
    ]
  }
}

하나를 할당해서 5 -> 4로 변한 것을 확인할 수 있다.

라우터에서 LBIP로 통신

root@router:~# LBIP=192.168.10.211
root@router:~# curl --connect-timeout 1 $LBIP
curl: (28) Failed to connect to 192.168.10.211 port 80 after 1003 ms: Timeout was reached
root@router:~# arping -i eth1 $LBIP -c 1
ARPING 192.168.10.211
Timeout

root@router:~# arp -a
? (192.168.10.211) at <incomplete> on eth1 # ARP 요청을 보냈지만 MAC 주소를 못 받은 상태로 대상 호스트가 같은 브로드캐스트 도메인에 없거나 응답하지 않는 상태
? (192.168.10.100) at 00:0c:29:2c:5d:fa [ether] on eth1
? (192.168.20.100) at 00:0c:29:92:fa:d7 [ether] on eth2
? (192.168.163.1) at 9e:58:84:52:81:66 [ether] on eth0
_gateway (192.168.163.2) at 00:50:56:f1:a5:32 [ether] on eth0
? (192.168.163.254) at 00:50:56:f5:76:f6 [ether] on eth0

192.168.10.211은 MAC 주소를 모르는데 같은 Layer2에 없거나 해당 IP를 가진 장치가 네트워크에 없기 때문이다.

실리움 L2 광고

위 증상을 해결하기 위해 l2 광고 모드를 켜준다.

(⎈|HomeLab:N/A) root@k8s-ctr:~# helm upgrade cilium cilium/cilium --namespace kube-system --version 1.18.0 --reuse-values \
   --set l2announcements.enabled=true && watch -d kubectl get pod -A
Release "cilium" has been upgraded. Happy Helming!
NAME: cilium
LAST DEPLOYED: Sun Aug 10 00:07:55 2025
NAMESPACE: kube-system
STATUS: deployed
REVISION: 3
TEST SUITE: None
NOTES:
You have successfully installed Cilium with Hubble Relay and Hubble UI.

Your release version is 1.18.0.

For any further help, visit https://docs.cilium.io/en/v1.18/gettinghelp

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl rollout restart -n kube-system ds/cilium
daemonset.apps/cilium restarted

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg config --all | grep EnableL2Announcements
EnableL2Announcements             : true
(⎈|HomeLab:N/A) root@k8s-ctr:~# cilium config view | grep enable-l2
enable-l2-announcements                           true
enable-l2-neigh-discovery                         false

(⎈|HomeLab:N/A) root@k8s-ctr:~# cat << EOF | kubectl apply -f -
apiVersion: "cilium.io/v2alpha1"  # not v2
kind: CiliumL2AnnouncementPolicy
metadata:
  name: policy1
spec:
  serviceSelector:
    matchLabels:
      app: webpod
  nodeSelector:
    matchExpressions:
      - key: kubernetes.io/hostname
        operator: NotIn
        values:
          - k8s-w0
  interfaces:
  - ^eth[1-9]+
  externalIPs: true
  loadBalancerIPs: true
EOF
ciliuml2announcementpolicy.cilium.io/policy1 created

리더 확인

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl -n kube-system get lease | grep "cilium-l2announce"
cilium-l2announce-default-webpod       k8s-ctr                                                                     2m1s
(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl -n kube-system get lease/cilium-l2announce-default-webpod -o yaml | yq
{
  "apiVersion": "coordination.k8s.io/v1",
  "kind": "Lease",
  "metadata": {
    "creationTimestamp": "2025-08-09T16:06:01Z",
    "name": "cilium-l2announce-default-webpod",
    "namespace": "kube-system",
    "resourceVersion": "101975",
    "uid": "7563bc1e-b8ef-4fff-b9d7-99110ef32a26"
  },
  "spec": {
    "acquireTime": "2025-08-09T16:06:01.973450Z",
    "holderIdentity": "k8s-ctr",
    "leaseDurationSeconds": 15,
    "leaseTransitions": 0,
    "renewTime": "2025-08-09T16:08:10.585356Z"
  }
}

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl exec -n kube-system $CILIUMPOD0 -- cilium-dbg shell -- db/show l2-announce
IP               NetworkInterface
192.168.10.211   eth1

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl exec -n kube-system $CILIUMPOD1 -- cilium-dbg shell -- db/show l2-announce
IP   NetworkInterface

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl exec -n kube-system $CILIUMPOD2 -- cilium-dbg shell -- db/show l2-announce
IP   NetworkInterface

VIP 192.168.10.211을 k8s-ctr 노드의 Cilium이 eth1에서 단독으로 L2 광고중인 상태이다.

다른 노드는 광고하지 않음으로써 단일 리더 노드로 ARP 충돌을 방지한다.

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl -n kube-system logs ds/cilium | grep "l2"
Found 3 pods, using pod/cilium-69nxs
...

# 파라미터 확인
--enable-l2-announcements=true
--l2-announcements-lease-duration=15s
--l2-announcements-renew-deadline=5s
--l2-announcements-retry-period=2s

# 컴포넌트 초기화
l2announcer.init...
l2responder.NewL2ResponderReconciler...

# BPF 맵 등록
Registered BPF map /sys/fs/bpf/tc/globals/cilium_l2_responder_v4
l2 announcer table full reconciliation

# 리더 선출
attempting to acquire leader lease kube-system/cilium-l2announce-default-webpod...
successfully acquired lease ...

# 헬스 체크
Timer job triggered ... l2-announcer-lease-gc
Timer job finished ...

라우터에서 통신 확인

L2 응답 확인

root@router:~# arping -i eth1 $LBIP -c 1000
ARPING 192.168.10.211
60 bytes from 00:0c:29:2c:5d:fa (192.168.10.211): index=0 time=195.438 usec
60 bytes from 00:0c:29:2c:5d:fa (192.168.10.211): index=1 time=304.491 usec
60 bytes from 00:0c:29:2c:5d:fa (192.168.10.211): index=2 time=821.920 usec
60 bytes from 00:0c:29:2c:5d:fa (192.168.10.211): index=3 time=491.136 usec
60 bytes from 00:0c:29:2c:5d:fa (192.168.10.211): index=4 time=299.574 usec
^C
--- 192.168.10.211 statistics ---
5 packets transmitted, 5 packets received,   0% unanswered (0 extra)
rtt min/avg/max/std-dev = 0.195/0.423/0.822/0.221 ms

해당 VIP가 정상적으로 L2에서 응답하고 있다.

ARP 테이블 확인

root@router:~# arp -a
? (192.168.10.211) at 00:0c:29:2c:5d:fa [ether] on eth1 # VIP와 이 VIP의 맥 주소
? (192.168.10.100) at 00:0c:29:2c:5d:fa [ether] on eth1 # 192.168.10.100도 같은 MAC 주소를 사용 → 같은 노드에 속한 다른 IP
? (192.168.20.100) at 00:0c:29:92:fa:d7 [ether] on eth2
? (192.168.163.1) at 9e:58:84:52:81:66 [ether] on eth0
_gateway (192.168.163.2) at 00:50:56:f1:a5:32 [ether] on eth0
? (192.168.163.254) at 00:50:56:f5:76:f6 [ether] on eth0

root@router:~# curl -s $LBIP | grep Hostname
curl -s $LBIP | grep RemoteAddr
Hostname: webpod-697b545f57-7vgtj
RemoteAddr: 172.20.0.65:42486 # VIP를 광고한 노드의 cilium_host 인터페이스 IP

외부에서 VIP로 접속하면 요청은 VIP를 보유한 노드로 들어오게 되고 Cilium이 Pod 네트워크(cilium_host) IP를 소스로 하여 Pod로 전달한다.

그래서 서버 응답 시 외부 IP 대신 VIP를 가진 노드의 파드 네트워크 IP가 표시된다.

서비스 추가 시 동작 확인

(⎈|HomeLab:N/A) root@k8s-ctr:~# cat << EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: netshoot-web
  labels:
    app: netshoot-web
spec:
  replicas: 3
  selector:
    matchLabels:
      app: netshoot-web
  template:
    metadata:
      labels:
        app: netshoot-web
    spec:
      terminationGracePeriodSeconds: 0
      containers:
        - name: netshoot
EOF           done080 -q 1;HTTP/1.1 200 OK\r\nContent-Type: text/plain\r\n\r\nOK from \$POD_NAM
deployment.apps/netshoot-web created
(⎈|HomeLab:N/A) root@k8s-ctr:~# cat << EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  name: netshoot-web
  labels:
    app: netshoot-web
spec:
  type: LoadBalancer
  selector:
    app: netshoot-web
  ports:
    - name: http
      port: 80
      targetPort: 8080
EOF
service/netshoot-web created
(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get svc netshoot-web
NAME           TYPE           CLUSTER-IP   EXTERNAL-IP      PORT(S)        AGE
netshoot-web   LoadBalancer   10.96.70.7   192.168.10.212   80:31636/TCP   8s
(⎈|HomeLab:N/A) root@k8s-ctr:~# cat << EOF | kubectl apply -f -
apiVersion: "cilium.io/v2alpha1"  # not v2
kind: CiliumL2AnnouncementPolicy
metadata:
  name: policy2
spec:
  serviceSelector:
    matchLabels:
      app: netshoot-web
  nodeSelector:
    matchExpressions:
      - key: kubernetes.io/hostname
        operator: NotIn
        values:
          - k8s-w0
  interfaces:
  - ^eth[1-9]+
  externalIPs: true
  loadBalancerIPs: true
EOF
ciliuml2announcementpolicy.cilium.io/policy2 created

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl -n kube-system get lease | grep "cilium-l2announce"
cilium-l2announce-default-netshoot-web   k8s-w1                                                                      27s
cilium-l2announce-default-webpod         k8s-ctr                                                                     27m

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get svc netshoot-web -o jsonpath='{.status.loadBalancer.ingress[0].ip}'
(⎈|HomeLab:N/A) root@k8s-ctr:~# LB2IP=$(kubectl get svc netshoot-web -o jsonpath='{.status.loadBalancer.ingress[0].ip}')gress[0].ip}')
(⎈|HomeLab:N/A) root@k8s-ctr:~# curl -s $LB2IP
OK from netshoot-web-5c59d94bd4-x7c6l

root@router:~# arping -i eth1 $LB2IP -c 2
ARPING 192.168.10.212
60 bytes from 00:0c:29:79:f7:02 (192.168.10.212): index=0 time=584.052 usec
60 bytes from 00:0c:29:79:f7:02 (192.168.10.212): index=1 time=276.338 usec

--- 192.168.10.212 statistics ---
2 packets transmitted, 2 packets received,   0% unanswered (0 extra)
rtt min/avg/max/std-dev = 0.276/0.430/0.584/0.154 ms

root@router:~# curl -s $LB2IP
OK from netshoot-web-5c59d94bd4-42xwj

새로운 서비스(netshoot-web)를 LoadBalancer 타입으로 변경하면 Cilium LoadBalancer IP Pool에서 새로운 VIP(192.168.10.212)가 할당된다.

VIP는 L2Announce를 통해 네트워크 상에 광고되고 외부 장비(라우터)에서도 해당 VIP를 ARP로 조회할 수 있다.

netshoot-web 에 EX-IP를 직접 변경

K9S > SVC > netshoot-web E

root@router:~# arping -i eth1 192.168.10.215 -c 2
ARPING 192.168.10.215
60 bytes from 00:0c:29:79:f7:02 (192.168.10.215): index=0 time=310.505 usec
60 bytes from 00:0c:29:79:f7:02 (192.168.10.215): index=1 time=479.675 usec

--- 192.168.10.215 statistics ---
2 packets transmitted, 2 packets received,   0% unanswered (0 extra)
rtt min/avg/max/std-dev = 0.311/0.395/0.480/0.085 ms

Sharing Keys : EX-IP 1개를 각기 다른 포트 사용하기

cat << EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  name: netshoot-web2
  labels:
    app: netshoot-web
spec:
  type: LoadBalancer
  selector:
    app: netshoot-web
  ports:
    - name: http
      port: 8080      
      targetPort: 8080
EOF

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get svc -l app=netshoot-web
NAME            TYPE           CLUSTER-IP     EXTERNAL-IP      PORT(S)          AGE
netshoot-web    LoadBalancer   10.96.70.7     192.168.10.215   80:31636/TCP     11m
netshoot-web2   LoadBalancer   10.96.58.141   192.168.10.212   8080:31282/TCP   115s

같은 external ip로 변경된 점 확인

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get svc -l app=netshoot-web
NAME            TYPE           CLUSTER-IP     EXTERNAL-IP      PORT(S)          AGE
netshoot-web    LoadBalancer   10.96.70.7     192.168.10.215   80:31636/TCP     11m
netshoot-web2   LoadBalancer   10.96.58.141   192.168.10.215   8080:31282/TCP   115s

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl -n kube-system get lease | grep "cilium-l2announce"
cilium-l2announce-default-netshoot-web    k8s-w1                                                                      11m
cilium-l2announce-default-netshoot-web2   k8s-w1                                                                      2m51s
cilium-l2announce-default-webpod          k8s-ctr                                                                     39m

root@router:~# LB2IP=192.168.10.215
root@router:~# curl -s $LB2IP
OK from netshoot-web-5c59d94bd4-x7c6l
root@router:~# arping -i eth1 $LB2IP -c 2
ARPING 192.168.10.215
60 bytes from 00:0c:29:79:f7:02 (192.168.10.215): index=0 time=477.965 usec
60 bytes from 00:0c:29:79:f7:02 (192.168.10.215): index=1 time=193.587 usec

--- 192.168.10.215 statistics ---
2 packets transmitted, 2 packets received,   0% unanswered (0 extra)
rtt min/avg/max/std-dev = 0.194/0.336/0.478/0.142 ms
root@router:~# curl -s $LB2IP:8080
OK from netshoot-web-5c59d94bd4-bhs69

라우터에서 정상적으로 통신이 되는 것을 확인할 수 있다.

'Infra > 쿠버네티스' 카테고리의 다른 글

[Cilium] #5주차 (1) Cilium BGP + ECMP를 활용한 쿠버네티스 로드밸런서 트래픽 라우팅 실습 (9)	2025.08.15
[Cilium] #4주차 (3) 오버레이 네트워크 (Geneve 모드) (1)	2025.08.10
[Cilium] #4주차 (1) 노드에 파드들간 통신 (네이티브 라우팅, 오버레이 네트워크 VXLAN) (4)	2025.08.07
[Cilium] #3주차 (3) CoreDNS, NodeLocalDNS 실습 (6)	2025.08.02
[Cilium] #3주차 (2) eBPF 기반 Cilium에서 SNAT 예외 설정 (ip-masq-agent) (3)	2025.08.01