주식회사 텐 | GPU 전력 최적화: AI 데이터센터 운영비의 40%를 차지하는 전력을 잡는 법

"GPU를 아무리 많이 사도, 전기세를 통제하지 못하면 수익성은 없습니다."

H100 한 대의 최대 전력 소비(TDP)는 700W입니다. 8-GPU 서버 한 대가 풀 로드에서 소비하는 전력은 약 10kW. 여기에 냉각, 네트워킹, 스토리지까지 포함하면 하나의 AI 서버 랙이 60kW 이상을 소비합니다.

1,000대 H100 클러스터를 운영한다면? 냉각 오버헤드(PUE 1.4)를 포함해 약 1.76MW의 전력이 연속으로 소비됩니다. 전기요금만 월 $50,000(저렴한 지역)에서 $317,000(캘리포니아·유럽)까지 나옵니다. 같은 하드웨어인데 위치만 다를 뿐 월 6배 차이입니다.

AI 데이터센터의 전력 비용은 더 이상 "운영비의 한 항목"이 아닙니다. GPU 투자의 ROI를 결정하는 핵심 변수입니다.

AI 데이터센터의 전력 구조: GPU가 지배한다

AI 데이터센터의 전력 구조를 이해하려면 기존 데이터센터와의 차이부터 알아야 합니다.

기존 CPU 서버의 전력 소비는 대략 300~500W 수준입니다. 반면 AI용 GPU 한 대는 700~1,200W를 소비합니다. GPU 하나가 CPU 서버 두 대분의 전력을 먹는 셈이죠. 여기에 AI 서버는 보통 8개의 GPU를 탑재하기 때문에, 서버 한 대의 전력이 10~12kW에 달합니다. 기존 데이터센터 랙 대비 2~3배 이상의 전력 밀도입니다.

그리고 이 전력 소비는 "가끔" 발생하는 것이 아닙니다.

기존 웹서버는 트래픽이 없으면 대기 상태에 들어가 전력이 크게 줄어듭니다. 하지만 AI 학습 클러스터는 수일에서 수주간 GPU 활용률 93% 이상으로 연속 가동됩니다. 추론 서빙은 서비스가 운영되는 한 24시간 내내 전력을 소비하고요.

IEA에 따르면 글로벌 데이터센터 전력 소비는 2024년 415TWh에서 2030년 945TWh로 2배 이상 증가할 전망이며, AI가 이 성장의 핵심 동인입니다. 미국만 보면 데이터센터가 이미 전체 전력의 4.4%를 소비하고 있고, 버지니아주에서는 주 전체 전력의 25%가 데이터센터에 사용됩니다.

이 수치가 보여주는 것은 명확합니다. AI 인프라에서 전력은 "부수적 비용"이 아니라 "핵심 운영 변수"입니다.

GPU 전력의 구조: 어디서 얼마나 소비되는가

GPU의 전력 소비를 최적화하려면, 전력이 GPU 내부에서 어디에 쓰이는지 이해해야 합니다.

GPU의 전력은 크게 두 영역에서 소비됩니다.

첫째, SM(Streaming Multiprocessor)과 연산 코어입니다. 행렬 연산, 텐서 연산 등 실제 AI 계산을 수행하는 부분으로, 연산 집약적(compute-bound) 워크로드에서 전력의 대부분을 차지합니다.
둘째, HBM 메모리와 메모리 인터페이스입니다. 데이터를 읽고 쓰는 부분으로, 메모리 대역폭 집약적(memory-bandwidth-bound) 워크로드에서 비중이 커집니다. 최신 H200의 경우 HBM3e 메모리 인터페이스의 전력 소비가 H100(HBM2e) 대비 눈에 띄게 높아졌다는 연구 결과도 있습니다.

여기서 핵심 인사이트는 이것입니다. 모든 워크로드가 GPU의 모든 전력을 필요로 하지 않습니다.

추론 워크로드의 대부분은 메모리 대역폭에 의해 제약됩니다. 즉, SM 코어가 최대 클럭으로 돌아갈 필요가 없습니다. SM 클럭을 낮추면 전력은 줄지만, 메모리 대역폭이 병목인 워크로드에서는 성능 저하가 거의 없습니다.

학습 워크로드도 마찬가지입니다. 최근 연구(Sustainable Supercomputing for AI, 2024)에 따르면 GPU 전력 한도(Power Cap)를 200W로 설정하면 에너지 소비는 10% 이상 줄이면서 학습 속도에 미치는 영향은 5% 미만에 불과했습니다. BERT, ResNet50, DimeNet 등 다양한 모델 아키텍처에서 일관된 결과가 나왔습니다.

핵심은 "무조건 전력을 줄이는 것"이 아니라 "워크로드 특성에 맞게 전력을 정밀하게 조절하는 것"입니다.

전력 최적화의 3가지 레버

GPU 전력을 최적화하는 방법은 크게 세 가지입니다.

레버 1: GPU 전력 한도(Power Cap) 설정
GPU 카드별로 최대 전력 소비를 제한하는 가장 직접적인 방법입니다.
예를 들어 H100의 TDP는 700W이지만, 전력 한도를 400W로 설정하면 전력 소비가 약 40% 줄어듭니다. 그런데 추론 디코딩 단계에서는 400W 제한 하에서도 처리량 저하가 거의 관측되지 않는다는 연구 결과가 있습니다. 추론의 디코드 단계가 메모리 대역폭 의존적이기 때문입니다.
핵심은 워크로드별로 최적의 전력 한도가 다르다는 점입니다. 학습(compute-bound)은 전력 한도를 너무 낮추면 성능이 떨어지지만, 추론 서빙(memory-bound)은 상당히 공격적으로 전력을 줄여도 성능을 유지할 수 있습니다.
레버 2: SM/메모리 클럭 제어
전력 한도보다 더 세밀한 제어가 가능합니다. GPU의 SM 클럭과 메모리 클럭을 독립적으로 조절해 워크로드 특성에 맞추는 방식입니다.
추론 워크로드에서는 SM 클럭을 낮추고 메모리 클럭을 유지하면, 성능은 거의 그대로인데 전력은 줄일 수 있습니다. 학습 워크로드에서는 SM과 메모리 클럭을 모두 유지하되, 전력 한도로 전체 소비를 관리하는 접근이 효과적입니다.
NVIDIA의 최신 아키텍처(GH200 등)는 이미 GPU 내부에서 CPU와 GPU 간 전력을 자동으로 재분배하는 "Automatic Power Steering"을 지원합니다. 사용하지 않는 쪽의 전력을 필요한 쪽으로 동적 할당하는 방식입니다.
레버 3: 워크로드 스케줄링을 통한 시간대별 전력 관리
전력 비용은 시간대에 따라 다릅니다. 피크 시간과 오프피크 시간의 전력 단가 차이를 활용하면 동일한 워크로드를 더 저렴하게 처리할 수 있습니다.
학습 잡은 시간에 덜 민감하므로 오프피크 시간(야간/새벽)에 스케줄링하면 전력 비용을 줄일 수 있습니다. 추론 서빙은 상시 가동하되, 시간대별로 전력 한도를 자동 조절하는 방식이 가능합니다.

AIPub의 GPU 전력 최적화 기능

TEN의 AIPub은 위의 세 가지 레버를 하나의 플랫폼에서 통합 제공합니다.

GPU 카드별 전력 한도(Power Cap) 설정 AIPub 대시보드에서 각 GPU 카드의 전력 한도를 개별적으로 설정할 수 있습니다. 클러스터 전체를 일괄 제한하는 것이 아니라, 카드별로 워크로드 특성에 맞는 전력 한도를 적용할 수 있습니다.
SM 클럭 및 메모리 클럭 세밀한 제어 GPU의 SM 클럭과 메모리 클럭을 독립적으로 조절할 수 있어, 추론 환경에서는 SM 클럭을 낮추고 메모리 대역폭을 유지하는 최적 구성을 세팅할 수 있습니다.
실시간 전력 소비 모니터링 데이터센터 → 노드 → GPU 카드 → 컨테이너 레벨까지 전력 소비를 실시간으로 추적합니다. 40개 이상의 자체 개발 지표에 GPU 사용률, 메모리 점유율은 물론 전력 소비, 온도, PCIe 트래픽, NVLink 대역폭까지 포함되어 있어, 전력 이상 패턴을 조기에 감지할 수 있습니다.
AIPub Helper: LLM 기반 이상 탐지 AIPub Helper는 주기적으로 시스템을 스캔하고 LLM 분석을 통해 전력 관련 이상 징후(비정상적 전력 소비 패턴, 온도 급등 등)의 근본 원인과 해결 방안을 자동으로 제시합니다.

전력 최적화의 실질적 효과: 시뮬레이션

전력 최적화의 효과를 구체적으로 계산해 보겠습니다.

시나리오: H100 100대 클러스터, 24시간 운영, 미국 중간 전기요금($0.12/kWh), PUE 1.4

최적화 전 기준선:

GPU 전력: 100 × 700W = 70kW
서버 오버헤드(1.8x): 126kW
PUE 적용(1.4x): 176.4kW
월간 전력 비용: 176.4kW × 720h × $0.12 = 약 $15,200/월

전력 한도 20% 절감 적용 (700W → 560W):

GPU 전력: 100 × 560W = 56kW
서버 오버헤드: 100.8kW → PUE 적용: 141.1kW
월간 전력 비용: 약 $12,200/월
절감액: 약 $3,000/월, 연간 $36,000

학습 워크로드 오프피크 스케줄링 추가 적용:

피크/오프피크 전력 단가 차이가 30%라면 학습 잡의 60%를 오프피크로 이동 시 추가 약 15% 절감 가능

100대 규모에서도 연간 $36,000~$50,000+ 절감. 1,000대 규모라면 연간 $360,000~$500,000+ 절감입니다. 그리고 이 절감은 성능 저하 5% 미만의 범위 안에서 달성됩니다.

"GPU 1대 추가 구매" vs "기존 GPU 전력 최적화" 중 어느 쪽이 ROI가 높은지 비교해 보면, 전력 최적화의 가치가 더욱 명확해집니다.

Smart Grid 연동과 탄소 추적: AIPub의 확장 로드맵

AIPub의 전력 최적화 비전은 개별 GPU 카드의 전력 제어에서 멈추지 않습니다.

Smart Grid 연동: 시간대별 전력 단가 데이터를 기반으로 워크로드 스케줄링을 자동화하는 방향으로 설계되어 있습니다. 전력 단가가 낮은 시간에 학습 잡을 집중 배치하고, 피크 시간에는 추론 서빙에 최적화된 저전력 설정을 자동 적용하는 구조입니다.
워크로드별 탄소 배출량 추적: EU AI Act의 에너지 소비 공개 요구사항이 2026년부터 단계적으로 시행되고 있으며, ESG 리포팅에 AI 인프라의 탄소 배출량을 포함해야 하는 기업이 늘어나고 있습니다. AIPub은 워크로드별 전력 소비 데이터를 기반으로 탄소 배출량을 추적할 수 있는 기능으로 확장 가능하도록 설계되었습니다.

전력 최적화 체크리스트

지금 우리 조직의 GPU 전력 관리 수준을 점검해 보세요.

✅ GPU 카드별로 전력 한도를 워크로드에 맞게 설정하고 있는가?
✅ SM 클럭과 메모리 클럭을 워크로드 특성에 맞게 조절하고 있는가?
✅ 데이터센터부터 컨테이너 레벨까지 전력 소비를 실시간으로 추적하고 있는가?
✅ 전력 비용을 팀별/프로젝트별로 귀속시킬 수 있는가?
✅ 시간대별 전력 단가 차이를 활용한 워크로드 스케줄링을 하고 있는가?

하나라도 "아니요"라면, GPU는 많지만 전력에서 수익성이 새고 있을 가능성이 높습니다.

전력 최적화는 비용 절감이자 ESG 전략입니다. GPU 전력을 정밀하게 제어하면 운영비를 줄이면서 동시에 탄소 배출량을 줄일 수 있습니다. 성능을 희생하지 않으면서 비용과 환경 영향을 동시에 최적화하는 것이 진정한 Responsible Computing입니다.

GPU 인프라의 전력 효율을 점검하고 싶다면, RA:X의 벤치마킹 기반 컨설팅으로 어떤 GPU 구성이 전력 대비 최적의 성능을 내는지 데이터로 확인할 수 있습니다.

혼자 고민하지 마세요. TEN의 전문가와 함께 GPU 전력 최적화 전략을 설계해 보세요.

👉 AIPub 자세히 보기: https://ten1010.io/products/aipub-dev
👉 RA:X 컨설팅 알아보기: https://ten1010.io/products/rax
📩 전문가와 직접 상담하기: https://ten1010.io/inquiry