[Cilium] #3주차 (2) eBPF 기반 Cilium에서 SNAT 예외 설정 (ip-masq-agent)

25년도 Cilium Study 1기 정리 글입니다.

 

(⎈|HomeLab:N/A) root@k8s-ctr:~# helm upgrade cilium cilium/cilium --namespace kube-system --reuse-values \
--set ipMasqAgent.enabled=true --set ipMasqAgent.config.nonMasqueradeCIDRs='{10.10.1.0/24,10.10.2.0/24}'
Release "cilium" has been upgraded. Happy Helming!
NAME: cilium
LAST DEPLOYED: Fri Aug  1 23:16:12 2025
NAMESPACE: kube-system
STATUS: deployed
REVISION: 3
TEST SUITE: None
NOTES:
You have successfully installed Cilium with Hubble Relay and Hubble UI.

Your release version is 1.18.0.

For any further help, visit https://docs.cilium.io/en/v1.18/gettinghelp

 

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get cm -n kube-system ip-masq-agent -o yaml | yq
{
  "apiVersion": "v1",
  "data": {
    "config": "{\"nonMasqueradeCIDRs\":[\"10.10.1.0/24\",\"10.10.2.0/24\"]}"
  },
  "kind": "ConfigMap",
  "metadata": {
    "annotations": {
      "meta.helm.sh/release-name": "cilium",
      "meta.helm.sh/release-namespace": "kube-system"
    },
    "creationTimestamp": "2025-08-01T14:16:13Z",
    "labels": {
      "app.kubernetes.io/managed-by": "Helm"
    },
    "name": "ip-masq-agent",
    "namespace": "kube-system",
    "resourceVersion": "2618",
    "uid": "da66ff20-4823-4a86-b69b-91d02ed65585"
  }
}

 

(⎈|HomeLab:N/A) root@k8s-ctr:~# cilium config view  | grep -i ip-masq
enable-ip-masq-agent                              true

 

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg bpf ipmasq list
IP PREFIX/ADDRESS
10.10.1.0/24
10.10.2.0/24
169.254.0.0/16

 

핑 테스트

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl get pod -A -owide | grep curl
default              curl-pod                                  1/1     Running   0          7s    172.20.1.71      k8s-ctr   <none>           <none>

 

 

 

(⎈|HomeLab:N/A) root@k8s-ctr:~# ip -c route
default via 192.168.163.2 dev eth0 proto dhcp src 192.168.163.147 metric 100

 

 

결과를 확인해보면 tcp 0 으로 응답이 없는 것을 확인할 수 있다.

현재 클러스터 노드 (k8s-ctr)의 default gateway가 192.168.163.2로 파드에서 외부로 나가는 모든 트래픽은 eth0 → 192.168.163.2로 우선 라우팅된다.

 

 

curl-pod → 10.10.1.200으로 요청 시에는 ip-masq-agent 덕분에 SNAT 없이 파드 IP (10.244.0.226)로 직접 나가는데,

응답 패킷이 도착했을 때 라우터가 10.244.0.0/16 대역을 모르고, 다시 기본 라우트로 보내면 해당 요청은 unreachable로 처리된다.

 

 

라우터에 pod cidr 추가

root@router:~# ip route add 172.20.1.0/24 via 192.168.10.100
ip route add 172.20.0.0/24 via 192.168.10.101

root@router:~# ip -c route | grep 172.20
172.20.0.0/24 via 192.168.10.101 dev eth1
172.20.1.0/24 via 192.168.10.100 dev eth1

 

 

(⎈|HomeLab:N/A) root@k8s-ctr:~# kubectl exec -it curl-pod -- curl -s 10.10.1.200
<h1>Web Server : router</h1>

root@router:~# tcpdump -i eth1 tcp port 80 -nnq
23:56:15.768505 IP 172.20.1.71.41642 > 10.10.1.200.80: tcp 0
23:56:15.769443 IP 10.10.1.200.80 > 172.20.1.71.41642: tcp 0
23:56:15.769651 IP 172.20.1.71.41642 > 10.10.1.200.80: tcp 0
23:56:15.769717 IP 172.20.1.71.41642 > 10.10.1.200.80: tcp 75
23:56:15.770212 IP 10.10.1.200.80 > 172.20.1.71.41642: tcp 0
23:56:15.785994 IP 10.10.1.200.80 > 172.20.1.71.41642: tcp 256
23:56:15.786349 IP 172.20.1.71.41642 > 10.10.1.200.80: tcp 0
23:56:15.786610 IP 172.20.1.71.41642 > 10.10.1.200.80: tcp 0
23:56:15.787306 IP 10.10.1.200.80 > 172.20.1.71.41642: tcp 0
23:56:15.787510 IP 172.20.1.71.41642 > 10.10.1.200.80: tcp 0

 

NAT 없이 클러스터 외부 ↔ 파드 간 직접 IP로 이루어지는데 ip-masq-agent 설정이 잘 작동하는 것을 확인할 수 있다.