NVIDIA AI Networking

목차

1. AI 네트워크 개요
2. RoCEv2란?
3. RoCEv2의 혼잡 제어 메커니즘 (PFC, ECN, DCQCN)
4. AI 최적화 네트워크 토폴로지 (Leaf-Spine 및 Rail-Optimized)
5. 스위칭 방식 및 버퍼 관리 (Cut-through Switching)
6. DPU (Data Processing Unit) 기술
7. AI 트래픽 특성 (Incast / Microburst)

 

AI 인프라의 네트워크 기술 RoCEv2를 공부하다 뭔가 부족한 것 같아 Nvidia에서 말하는 AI Networking 관련하여 간단하게 정리해보겠습니다.

AI 네트워크 개요

AI 네트워크는 GPU 간 대량 데이터와, 병렬 처리를 수용하기 위한 초저지연·초고대역폭 네트워크 환경이다.

 

- AI 통신의 특성

 1. 분산 학습 시 GPU 간 데이터 동기화 필수

 2. burst한 트래픽이 많이 발생하며, 동시 다발적으로 발생함

 3. 기존 TCP 기반 네트워크로는 GPU 통신의 한계가 발생함

 

위와 같은 특성을 수용하기 위해 초저지연, 고대역폭, 트래픽 무손실 기능이 필요하며, 이를 구현하는 네트워크 기술로 Infiniband와 RoCEv2가 있습니다.

 

이런 환경을 구성하면 대규모 AI 학습이 가능해지고 학습 시간 단축, GPU 활용률 극대화 등 장점이 있습니다.

하지만 극복해야할 과제도 남아있죠. 바로 네트워크/통신 설계와 기술적인 난이도가 높고 장애 발생 시 영향도가 크다는 점입니다.

 

AI 기술이 시간이 지날수록 성숙해지는 만큼 피해갈수는 없기 때문에 AI 네트워킹도 계속 수요가 생길 것으로 보입니다. 그래서 이런 환경을 잘 구성하기 위해서는 앞으로 더 많은, 더 깊은 기술력이 필요 할 것 같습니다.

 

RoCEv2란?

 

요약: CPU 개입 없이 네트워크를 통해 원격 장치의 메모리에 직접 접근하는 RDMA 기술을 이더넷 환경에서 구현한 프로토콜입니다. 특히 RoCEv2는 L3(UDP) 계층에서 작동하여 네트워크 라우팅이 가능합니다.

필요/개발된 이유: 대규모 AI 훈련 클러스터에서 노드 간 지연 시간(Latency)을 최소화하고 통신 시 발생하는 CPU 오버헤드를 줄이기 위해 필수적입니다.

 

사용 장점 및 단점:

1. 장점: 데이터를 처리할 때 CPU를 우회하므로 통신 지연 시간이 획기적으로 감소합니다.
2. 단점: 패킷 손실에 매우 민감하여, 무손실(Lossless) 네트워크 환경이 완벽하게 보장되지 않으면 성능이 심각하게 저하됩니다. 또한 MTU 크기 최적화(예: Jumbo Frame 사용)를 하지 않으면 패킷 파편화와 오버헤드가 발생해 성능이 떨어질 수 있습니다.

RoCEv2는 자세하게 별도로 공부 중입니다.

RoCEv2의 혼잡 제어 메커니즘 (PFC, ECN, DCQCN)

 

요약: 무손실 네트워크 환경을 유지하기 위해 데이터 흐름을 조절하는 기술입니다. PFC는 트래픽 혼잡 시 Pause 프레임을 보내 일시적으로 전송을 멈추게 하며 , ECN은 스위치가 혼잡을 감지할 때 패킷에 표시를 남겨 송신자가 스스로 전송 속도를 줄이도록 유도합니다.

필요/개발된 이유: 트래픽이 단기적으로 폭증할 때 버퍼 오버플로우와 패킷 유실을 막고, 상황에 맞게 동적으로 송신률을 조절하기 위해 개발되었습니다.

 

사용 장점 및 단점:

1. 장점: PFC와 ECN을 적절하게 결합하고 튜닝하면 트래픽의 완전한 멈춤 없이 효과적으로 혼잡을 관리하고 패킷 손실을 최소화할 수 있습니다.
2. 단점: ECN의 속도 조절 없이 PFC만 단독으로 과도하게 개입할 경우, 데드락(Deadlock)이나 Head-of-line blocking이 발생하여 광범위한 통신 정지를 유발할 수 있습니다.

이 주제 또한 RoCEv2와 같이 자세히 공부 중........

AI 최적화 네트워크 토폴로지 (Leaf-Spine 및 Rail-Optimized)

 

요약:

 Leaf-Spine Architecture는 AI 데이터센터의 표준 구조로 East-West 트래픽에 최적화된 구조입니다. Scale-out 방식의 확장성이 대표적인 장점입니다.

 Rail-Optimized는 AI 서버 내에 탑재된 여러 개의 GPU가 각각 전용 네트워크 카드를 통해 서로 다른 스위치에 독립적으로 연결되는 네트워크 아키텍처입니다. 사실 문서를 보다보면 Rail-Optimized가 최적인지는 잘 모르겠습니다. 환경에 따라 요구되는 토폴로지가 다른 것 같습니다.

 

필요/개발된 이유: 대규모 클러스터에서 균일한 지연 시간과 높은 연결 확장성을 제공하고 , 분산 학습 시 여러 노드에서 발생하는 GPU 간섭을 줄이기 위해 고안되었습니다.

 

사용 장점 및 단점:

1. 장점: ECMP(Equal Cost Multi Path)를 활용한 다중 경로를 제공하여 일관된 성능을 내며, 1:1 오버스브스크립션 비율(병목 없는 상태)을 달성하기에 유리합니다.
2. 단점: 기본 경로 분산 방식 사용 시 ECMP 해시 불균형(Hash imbalance)이 발생하면 특정 링크로 트래픽이 몰려 대역폭 낭비와 지연이 발생할 수 있습니다.

스위칭 방식 및 버퍼 관리 (Cut-through Switching)

 

 

요약: 패킷 데이터를 끝까지 다 받기 전부터 도착한 헤더 정보만 보고 목적지로 전송을 시작하는 스위칭 방식입니다. 함께 탑재되는 스위치 버퍼는 일시적으로 폭증하는 트래픽을 담아두는 역할을 합니다.

 

필요/개발된 이유: AI 워크로드가 요구하는 극한의 초저지연 성능을 맞추기 위해 도입되었으며, 순간적으로 발생하는 트래픽 버스트(Burst)를 흡수하기 위해 넉넉한 버퍼가 필요합니다.

 

사용 장점 및 단점:

1. 장점: 패킷 전달 속도가 빨라져 전체 통신 지연 시간이 눈에 띄게 짧아지며 , 버퍼 임계치를 잘 튜닝하면 트래픽 쏠림 현상에서 패킷 드랍을 방지할 수 있습니다.
2. 단점: Cut-through 방식은 데이터를 다 확인하지 않고 보내기 때문에, 오류가 포함된 손상된 패킷(Corrupted packets)까지 걸러내지 못하고 그대로 전송할 위험이 있습니다.

DPU (Data Processing Unit) 기술

 

 

요약설명: DPU는 데이터 센터의 서버에서 CPU가 하던 복잡한 네트워크, 스토리지, 보안 연산 작업을 대신 전담하여 처리하도록 설계된 특수 프로세서로 네트워크 오프로드(Network Offload), 스토리지 오프로드, 보안 오프로드 기능을 수행합니다

 

필요/개발된 이유: 폭발적인 AI 네트워킹 트래픽을 처리하는 과정에서 서버 CPU에 과부하가 걸리는 것을 방지하고, 네트워킹 작업(Offloading)을 분리하기 위해 개발되었습니다.

 

사용 장점 및 단점:

장점:

1. 성능 향상 및 지연 시간 감소: 하드웨어 가속을 통해 전체적인 시스템 성능이 향상되고 통신 지연 시간(Latency)이 단축됩니다.
2. 컴퓨팅 자원 최적화: CPU의 부담이 근본적으로 줄어들어 동일한 서버 사양에서도 더 높은 효율을 낼 수 있습니다.
3. 가속화된 프레임워크 지원: NVIDIA DOCA SDK와 같은 프레임워크를 통해 기능을 제어하고 가속화할 수 있어 개발 편의성이 높습니다.

단점:

1. 추가 비용 발생: 일반적인 NIC에 비해 장비 단가가 높으며, BlueField-3 SuperNIC과 같은 전용 하드웨어가 필요합니다.
2. 설정의 복잡성: 성능을 100% 끌어내기 위해서는 스위치 OS(Cumulus Linux 등)와 SuperNIC의 펌웨어 버전이 완벽하게 일치해야 하는 등 기술적인 관리 요건이 까다롭습니다.
3. 전력 소모: 고성능 연산을 수행하는 별도의 프로세서가 추가되는 것이므로 서버 전체의 전력 밀도가 높아질 수 있습니다.

AI 트래픽 특성 (Incast / Microburst)

 

 

요약: 기술적인 솔루션이 아니라 AI 환경에서 자주 나타나는 대표적인 문제 패턴입니다. Incast는 여러 대의 노드가 한 대의 수신 노드(예: 집계 노드)로 동시에 데이터를 쏟아내는 현상이고 , Microburst는 수 밀리초의 찰나에 버퍼 한계를 뛰어넘어 폭발하는 트래픽 패턴을 뜻합니다.

 

발생하는 이유: 분산 학습 환경에서 여러 GPU가 동시에 파라미터를 동기화(Gradient update 등)해야 하는 작업 특성상 필연적으로 발생합니다.

 

영향 및 단점: 이러한 패턴이 한 번이라도 통제 없이 발생하면 스위치의 버퍼 공간이 즉각 고갈되며, 심각한 패킷 드랍과 네트워크 처리량(Throughput)의 저하로 이어집니다.