대시보드에는 GPU 활용률이 95%로 찍혀 있습니다. 그런데 학습은 느리고, 분기 청구서는 예상보다 큽니다. "GPU를 잘 쓰고 있다"는 그 숫자, 사실은 아무것도 보장하지 않을 수 있습니다. 이 글에서는 GPU 활용률 지표가 왜 사람을 속이는지, 그리고 진짜로 봐야 할 지표가 무엇인지 정리합니다.
GPU 활용률은 무엇을 측정할까?
GPU 활용률(GPU-Util)은 '샘플링 기간 동안 GPU에서 커널이 하나라도 실행되었는지'를 측정한 값입니다. nvidia-smi나 NVML 기반 도구가 보여주는 그 숫자입니다.
여기서 함정이 시작됩니다. 이 지표는 GPU가 얼마나 많은 일을 했는지가 아니라, 일을 하고 있었는지 아닌지만 봅니다. 도구는 시간을 밀리초 단위로 쪼갠 뒤, 각 조각에서 GPU 코어(SM, 스트리밍 멀티프로세서)에 커널이 하나라도 올라와 있으면 '사용 중'으로 셉니다. 그 커널이 GPU의 모든 코어를 쓰든, 단 하나만 쓰든 상관하지 않습니다.
100% 활용률인데 연산은 0일 수 있다
극단적인 예를 들어보겠습니다. GPU에서 아무 연산도 하지 않고 메모리만 계속 읽고 쓰는 커널을 돌려도, GPU 활용률은 100%로 표시될 수 있습니다. 실제 부동소수점 연산(FLOPS)은 0인데도 말입니다.
실제로 NVIDIA 개발자 포럼에 소개된 사례가 있습니다. SM 하나에서 무한 루프만 도는 커널을 실행하면, GPU에 SM이 100개든 상관없이 활용률이 100%에 가깝게 찍힙니다. 상식적으로는 SM 1개만 쓰니 1% 남짓이어야 하지만, 이 지표는 SM 개수를 고려하지 않기 때문입니다.
즉 GPU-Util은 '기계가 놀고 있는가'를 판단하는 화재경보기이지, '연료를 얼마나 태우고 있는가'를 재는 연료계가 아닙니다.
그럼 무엇을 봐야 할까: SM Efficiency와 MFU
GPU가 실제로 얼마나 일하는지를 보려면 다른 지표가 필요합니다.
SM Efficiency(SM 효율): GPU의 여러 SM 중 실제로 작업이 올라간 비율입니다. GPU-Util이 "커널이 돌았는가"라면, SM Efficiency는 "얼마나 많은 코어가 참여했는가"를 봅니다. NVIDIA DCGM(Data Center GPU Manager)이 기본으로 제공합니다.
MFU(Model FLOPs Utilization): 가장 정직한 지표입니다. 하드웨어의 이론상 최대 연산 성능 대비, 모델이 실제로 달성한 연산 비율을 뜻합니다. 스펙시트의 숫자와 실제 진행되는 연산 사이의 격차를 측정합니다.
MFU는 "이 GPU가 낼 수 있는 최대치 중 몇 %를 실제로 쓰고 있는가"를 알려줍니다. 그래서 고가의 GPU가 값을 하고 있는지 판단하는 진짜 기준이 됩니다.
지표 비교
지표 | 무엇을 보는가 | 한계 |
|---|---|---|
GPU-Util | 커널이 실행 중인지 여부 | 연산량·코어 참여도 반영 안 됨 |
SM Efficiency | 얼마나 많은 SM이 참여했나 | 연산 강도까지는 미반영 |
MFU | 이론 성능 대비 실제 연산 비율 | 상시 모니터링은 까다로움 |
'좋은 MFU'는 몇 %일까?
여기서 많은 사람이 놀랍니다. 업계에서 '좋은' MFU는 35~45% 수준이고, 50%를 넘으면 우수한 것으로 봅니다. 실제로 구글 PaLM은 약 46%, Meta Llama 3 405B는 38~43%, ByteDance MegaScale은 175B 모델에서 55%를 보고했습니다.
무슨 뜻일까요? 세계 최고 수준의 팀도 GPU의 이론 성능 중 절반 안팎만 실제로 쓰고 있다는 것입니다. 그런데 많은 조직은 nvidia-smi의 90%대 숫자를 보고 "우리는 GPU를 꽉 채워 쓰고 있다"고 CFO에게 보고합니다. 실제로는 그 아래에서 막대한 연산 능력이 새어나가고 있을 수 있습니다.
왜 이 차이가 중요한가: 돈의 문제
이건 단순한 기술 용어 문제가 아니라 비용 문제입니다. 한 분석에 따르면, 128장 규모의 H100 클러스터가 30% 활용률로 돌면 연간 약 160만 달러가 낭비 용량으로 사라집니다. GPU는 놀고 있어도 시간당 요금이 그대로 청구되기 때문입니다.
그런데 그 '30%'조차 GPU-Util 기준이라면, MFU 기준으로는 실제 유효 연산이 더 낮을 수 있습니다. 잘못된 지표를 보면 잘못된 의사결정을 하게 됩니다. "활용률이 높으니 GPU를 더 사야겠다"는 결론이, 사실은 "지금 GPU도 제대로 못 쓰고 있다"였던 것이죠.
GPU 활용률, 어떻게 제대로 측정할까
규모에 따라 접근이 다릅니다.
단일 서버라면 nvidia-smi로 기본 상태를 보되, 그 숫자를 '연료계'가 아니라 '경보기'로 해석해야 합니다. 클러스터 규모라면 DCGM Exporter를 Prometheus로 수집하고 Grafana로 시각화하는 것이 표준입니다. 이때 GPU-Util뿐 아니라 SM Efficiency, Tensor Core 활성도(DCGM의 Tensor Pipe Activity), 메모리 대역폭까지 함께 봐야 실제 효율이 드러납니다.
핵심은 하나의 숫자만 믿지 않는 것입니다. GPU-Util은 "놀고 있지 않다"는 것만 알려줄 뿐, "잘 쓰고 있다"는 것을 보장하지 않습니다.
자주 묻는 질문 (FAQ)
Q. nvidia-smi 활용률이 100%면 GPU를 잘 쓰는 건가요?
아닙니다. 커널이 실행 중이라는 뜻일 뿐, 모든 코어가 최대로 일한다는 보장은 없습니다. 메모리만 읽고 연산은 거의 안 해도 100%가 나올 수 있습니다.
Q. MFU는 왜 상시 모니터링하기 어렵나요?
MFU는 모델의 구조와 실제 처리량(토큰/초)을 알아야 계산할 수 있어, 레이어별·실시간으로 추적하기 번거롭습니다. 그래서 실무에서는 상시 지표로 SM Efficiency를 보고, MFU는 주기적으로 점검하는 방식을 많이 씁니다.
Q. 우리 팀 MFU가 40%면 문제인가요?
아닙니다. 35~45%는 업계에서 양호한 수준입니다. 오히려 nvidia-smi만 보고 "90%니 괜찮다"고 넘어가는 것이 더 위험합니다.
Q. 클러스터 전체 GPU 효율은 어떻게 보나요?
단일 노드 도구로는 한계가 있어, DCGM Exporter + Prometheus + Grafana 조합으로 클러스터 전반을 수집·시각화하는 것이 표준입니다.
결론: 활용률 숫자가 아니라 '유효 연산'을 봐야 합니다
GPU 활용률 90%라는 숫자에 안심하기 전에, 그 GPU가 실제로 얼마나 유효한 연산을 하고 있는지 물어야 합니다. GPU-Util은 시작점일 뿐이고, SM Efficiency와 MFU가 진짜 그림을 보여줍니다.
그리고 클러스터 규모에서 이 지표들을 사람이 일일이 추적하는 것은 현실적으로 어렵습니다. TEN의 AIPub은 이 글에서 다룬 SM 활성률(SM Active), SM 점유율(SM Occupancy), 텐서 코어 사용률 같은 지표를 포함해, 데이터센터부터 클러스터·노드·워크로드·GPU 디바이스까지 5계층에 걸쳐 50개 이상의 자체 지표로 AI 인프라 전체를 실시간 모니터링합니다. PCIe 트래픽과 NVLink 대역폭, GPU 전력·온도까지 함께 추적해, 표면적인 '사용 중' 숫자 뒤에서 실제로 어디에서 연산이
새어나가는지 확인할 수 있습니다. Daily/Weekly/Monthly 자동 리포트로 추이도 함께 볼 수 있습니다.
GPU가 정말 값을 하고 있는지 정확히 진단하고 싶다면, AIPub의 모니터링을 확인해 보세요.
참고 자료
NVIDIA, DCGM (Data Center GPU Manager) Documentation
NVIDIA Developer, System Management Interface (nvidia-smi)
Chowdhery et al., "PaLM: Scaling Language Modeling with Pathways" (MFU 정의)
Trainy, "GPU Utilization is a Misleading Metric" (2025)
PyTorch Profiler Documentation