[OpenStack] NUMA란 무엇인가

안녕하세요 오늘은 VM을 효율적으로 쓰기 위한 과정 중 하나인 NUMA에 대해 정리를 해보았습니다.

 

NUMA란?

NUMA는 메모리 관리 기법 중 하나로 Non-Uniform Memory Access의 줄임말입니다. 단어의 뜻을 직역해보자면 비대칭 메모리 접근이라고 표현할 수 있는데요, 비대칭의 뜻은 CPU가 메모리에 접근할 때 메모리의 물리적인 위치에 따라 접근 속도가 다르다라는 걸 의미합니다.

CPU가 자신의 그룹에 할당돼있는 로컬 메모리에 빠르게 접근하고, 본인에게 할당되지 않은 다른 CPU의 메모리(원격 메모리)에 접근할 때는 시간이 더 오래 걸리는 비대칭적인 메모리 접근 구조를 가지고 있습니다.

 

NUMA의 등장 배경

SMP

NUMA가 등장하기 전에는 SMP(Symmetric Multi-Processing) 라는 아키텍처를 주로 사용하였습니다.

SMP(대칭형 멀티프로세싱) 시스템에서는 여러 CPU가 단일 메모리 버스를 통해 공유 메모리에 접근합니다. 이 구조에서 모든 CPU는 동일한 메모리 버스 또는 메모리 채널을 통해 메모리에 접근하기 때문에, 한 번에 한 CPU만 메모리에 접근할 수 있습니다.

• 스케일링 문제: CPU가 많아질수록 동시에 메모리에 접근하려는 시도가 증가하게 되고 이에 따라 메모리 버스의 병목 현상이 발생하게 됩니다. 이 병목 현상은 CPU들이 메모리에 접근하기 위해 대기 시간이 길어지는 결과를 초래하여 결국 전체 시스템의 성능 저하로 이어집니다. 즉, CPU가 많아지면 성능이 선형적으로 증가하는 것이 아니라, 메모리 접근 경쟁(Race Condition)으로 인해 성능이 급격히 저하될 수 있습니다.
• 메모리 대역폭 제한: SMP 구조는 단일 버스로 메모리를 접근하는데 이 버스에 대역폭 제한이 걸려있어 병목이 발생하게 됩니다.

NUMA가 병목을 해결해줄게!

NUMA는 CPU와 메모리를 물리적으로 여러 노드로 나누고, 각 노드가 자신에게 가까운(=본인에게 할당된) 메모리를 빠르게 접근할 수 있도록 설계된 아키텍처입니다.

즉, CPU가 자신에게 연결된 로컬 메모리에는 빠르게 접근하고, 다른 노드의 원격 메모리에는 느리게 접근하는 방식입니다.

• 로컬 메모리 접근을 빠르게!: NUMA에서 각 CPU는 자신이 속한 NUMA 노드의 로컬 메모리에 우선적으로 접근하여 CPU가 더 빠르게 데이터를 처리할 수 있도록 돕습니다.
• 확장성 향상: NUMA는 메모리와 CPU를 여러 노드로 분할하여 병목 현상을 줄이고 많은 수의 CPU와 메모리를 확장해도 성능이 급격히 저하되지 않도록 합니다.

NUMA 동작 원리

NUMA는 메모리 접근 시간을 비대칭적으로 설정하는 것입니다.

이를 통해 CPU가 자주 사용하는 데이터는 로컬 메모리에 저장하여 더 빠르게 접근하고, 원격 메모리는 필요할 때만 접근하여 최적화합니다.

• NUMA 노드: NUMA 시스템에서 CPU와 메모리는 노드로 구성됩니다. 각 노드에는 한 개 이상의 CPU와 메모리가 할당되며 CPU는 자신의 노드 내의 메모리에 빠르게 접근할 수 있습니다.
• 로컬 메모리와 원격 메모리: CPU가 속한 노드의 메모리는 로컬 메모리, 다른 노드의 메모리는 원격 메모리라고 합니다.
• NUMA 스케줄링: 운영체제나 가상화 환경에서는 워크로드를 각 NUMA 노드에 맞게 배치하여 성능을 더 높이 이끌어낼 수 있습니다. VM에 NUMA 노드에 할당하면 메모리 접근 대기 시간을 최소화하는 전략을 활용할 수 있습니다.

 

정리해보자면 NUMA는 SMP 시스템의 확장성 한계를 극복하기 위한 아키텍처로 등장했으며, 자원을 효율적으로 쓸 수 있는 환경에서 유용하게 쓰일 수 있는 기술입니다.

그렇다면 OpenStack에서는 어떻게 NUMA를 사용하여 리소스를 효율적으로 쓰는지에 대해서는 다음 글에서 이어서 작성해보겠습니다.

 

---

도움을 받은 글

https://neohtux.tistory.com/11

메모리(Memory)관리-(1)

https://bluemoon-1st.tistory.com/85

[Linux Kernel] NUMA 메모리 관리 기법

https://gamedoridori.tistory.com/202

[컴퓨터 구조] SMP와 NUMA