클라우드 네이티브 추론과 GPU 분할

GRIP : 클라우드 네이티브 환경에서의 추론 서비스를 위한 In-place GPU 분할

TEN RA:X 팀의 여상호 연구원이 집필한 논문 「GRIP: In-place Spatial Partitioning of CUDA Graphs for Cloud-Native Inference Serving」이 클라우드 컴퓨팅 분야 최고 학회 중 하나인 *SoCC ‘26 (ACM Symposium on Cloud Computing, 2026년 11월·싱가포르)*에 채택되었습니다. 이 글은 그 논문이 다룬 문제와 해법을 설명합니다

효율적인 GPU 활용을 위한 기술 : GPU 공간 분할

GPU 추론 클러스터의 실제 활용률은 생각보다 훨씬 낮습니다. 한 실측 연구¹는 추론 GPU 클러스터의 중앙값 활용률을 단 6%로 보고합니다. 개별 서빙 컨테이너는 측정 시간의 약 66%를 완전히 유휴 상태로 보냅니다². 수천만 원짜리 카드가 열 장 중 아홉 장꼴로 놀고 있는 셈입니다.

그래서 등장한 것이 여러 테넌트(워크로드)를 한 GPU에 공존시키는 공간 분할(spatial partitioning)입니다. 한 테넌트가 놀고 있을 때 그 자원을 다른 테넌트에게 넘겨주면 활용률이 올라갑니다. 이론은 그렇습니다.

문제는, 기존 LLM 추론이 CUDA Graph 기반의 최적화를 필요로 한다는 데 있습니다. 바로 이 지점에서 공간 분할과 CUDA Graph가 충돌합니다.

CUDA Graph의 딜레마: 캡처 시점에 얼어붙는 자원 할당

CUDA Graph는 여러 개의 커널 실행을 하나의 그래프로 묶어 단 한 번의 호출로 제출하는 기능입니다. 커널당 실행 시간이 짧은 추론 워크로드에서 커널 실행 오버헤드를 크게 줄여주기 때문에, vLLM, SGLang, TensorRT-LLM을 비롯한 사실상 모든 주요 추론 프레임워크가 이 기능에 의존합니다.

그런데 CUDA Graph에는 치명적인 제약이 있습니다. 한 번 캡처(capture)된 그래프는 그 시점의 자원 할당(TPC, Texture Processing Cluster 단위)을 그대로 얼려버립니다. 캡처 이후에 "이 테넌트에게 유휴 TPC를 더 줘라"라고 할당을 바꿔도, 그래프는 캡처 당시의 원래 할당대로만 재생(replay)됩니다. 즉, 애써 반환받은 유휴 GPU 자원이 CUDA Graph 기반 워크로드에는 실제로 전달되지 않습니다.

지금까지 운영자에게 주어진 선택지는 둘 중 하나였습니다. CUDA Graph를 포기하고 느린 커널 방식으로 돌아가거나, CUDA Graph를 쓰되 유휴 자원 회수를 포기하거나. 어느 쪽이든 손해입니다.

GRIP: 그래프를 다시 캡처하지 않고, 제자리에서 다시 나눈다

GRIP(Graph Repartitioning In-Place)은 이 딜레마를 정면으로 풉니다. 이름 그대로, 그래프를 제자리에서(in-place) 다시 분할합니다. 그래프 재캡처도, 애플리케이션 코드 수정도 필요 없습니다.

핵심 통찰은 CUDA Graph의 생명주기 안에 자원 할당이 아직 바뀔 수 있는 좁은 구간이 존재한다는 것입니다. 그래프가 인스턴스화된 뒤 GPU로 업로드되기 직전까지, 호스트 측 메타데이터는 여전히 수정 가능한 상태로 남아 있습니다. GRIP은 이 구간을 찾아내, 애플리케이션과 CUDA 드라이버 계층 사이의 투명한 대체 계층을 통해 실행 중인 그래프 인스턴스를 새 할당이 반영된 인스턴스로 교체합니다. 애플리케이션은 자신이 올린 그래프가 그대로 실행된다고 인식하지만, 실제로는 재분할된 그래프가 실행됩니다.

여기에 더해, GRIP은 두 번째 문제를 함께 해결합니다. 바로 클러스터화 불가능한 TPC(non-clusterable TPC)입니다. 일부 TPC는 일반 커널은 정상 실행하면서도 Thread Block Cluster(TBC)를 구성하지 못하는 특성을 가집니다. 이런 TPC가 할당에 섞이면 TBC 커널이 실행에 실패하고, MPS 환경에서는 그 실패가 공존하는 다른 테넌트에게까지 전파되어 전체가 멈춰버립니다. GRIP은 결정론적 토폴로지 탐색 기법으로 이런 TPC를 사전에 식별해, 안전한 할당만 구성합니다.

결과: 경합 시 최대 2.1배, 자원 반환 시 최대 2.2배

논문은 Hopper 세대(H100·H200)와 Blackwell 세대(B200·B300), 그리고 RTX PRO 6000에 걸쳐, vLLM 기반 Qwen3-8B 추론과 ResNet152 추론으로 GRIP을 검증했습니다.

요점은 GRIP이 "둘 다"를 잡는다는 데 있습니다. 경합이 있을 때는 공간 분할의 강점(동시 실행)을 유지하고, 자원이 풀릴 때는 시간 분할이 하지 못하는 유휴 자원 회수를 해냅니다. 그러면서도 제어 비용은 전용 GPU 대비 한 자릿수 퍼센트에 머뭅니다.

이 연구가 제품 아래에 깔리는 이유

TEN이 만드는 것은 GPU를 효율적으로 운영하는 제품입니다. AIPub은 GPU를 분할하고 스케줄링하며, RA:X는 인프라를 진단하고 벤치마킹합니다. 이런 제품이 "활용률을 높인다"고 말할 때, 그 말이 설득력을 가지려면 그 아래에 실제로 작동하는 메커니즘이 있어야 합니다.

GRIP 같은 연구가 바로 그 토대입니다. 추론 서버가 실제로 쓰는 CUDA Graph 환경에서, 유휴 GPU를 실측 가능한 처리량으로 되살리는 방법이 동료 심사를 통과한 연구로 뒷받침될 때, 제품의 약속은 공학이 됩니다.

여상호 연구원과 RA:X 팀의 성과에 축하를 전합니다. 올해 11월 싱가포르에서 발표될 이 연구가, TEN이 GPU 인프라 문제를 어떤 깊이로 들여다보는지를 보여주는 한 단면이 되기를 바랍니다.

¹ Suyi Li, Lingyun Yang, Haoxuan Yu, Sheng Yao, Tianyuan Wu, Xiaoxiao Jiang, Hanfeng Lu, Kangjin Wang, Chenhao Wang, Shenglin Xu, Lun Wang, Qingyang, Duan, Shenghao Liang, Xiu Lin,WenchaoWu, Yinghao Yu, Guodong Yang, Liping, Zhang, and Wei Wang. 2026. Heterogeneity at Hyperscale: Characterization and Scheduling of Large Production AI Clusters at Alibaba. In 20th USENIX Symposium on Operating Systems Design and Implementation (OSDI 26).

² Alibaba Group. 2026. GenAI Serving Top-Down Dataset 2026 (GenTD26). https: //github.com/alibaba/clusterdata. Alibaba Cluster Trace Program.; Xuanzhe Liu, Yihao Zhao, Shufan Liu, Xiang Li, Yibo Zhu, Xin Liu, and Xin Jin. 2024. MuxFlow: Efficient GPU Sharing in Production-Level Clusters with More than 10000 GPUs. Science China Information Sciences 67, 12 (2024), 222101. doi:10.1007/s11432-024-4227-2; Zeyu Zhang and Haiying Shen. 2024. PecSched: Preemptive and Efficient Cluster Scheduling for LLM Inference. arXiv:2409.15104 [cs.DC]