GPU Chargeback 실전 구축 가이드

GPU Chargeback 실전 구축 가이드

GPU 클러스터를 여러 팀이 공유하기 시작하면, 재무팀에서 반드시 나오는 질문이 있습니다. "이 수십억 원짜리 자산, 누가 얼마나 쓰고 있죠?"

답을 못 하면 두 가지 일이 벌어집니다. 자원을 많이 쓰는 팀은 더 요구하고, 적게 쓰는 팀도 "혹시 모르니" 선점해 둡니다. 결국 모두가 할당량을 쥐고 놓지 않아 유휴 GPU가 쌓이는데, 정작 대시보드상 사용률은 높게 보입니다. 비용은 전사 공통비로 묻혀버리고, 누구도 효율을 책임지지 않습니다.

이 문제를 푸는 운영 방법론이 GPU Chargeback(비용 배분)입니다.

Showback과 Chargeback의 차이

먼저 용어부터 정리합니다. 둘 다 사용량에 비용을 연결하는 개념이지만 강제력이 다릅니다.

현실적인 조언은, 처음부터 Chargeback으로 가지 말라는 것입니다. 먼저 Showback으로 "각 팀이 실제로 얼마를 쓰고 있는지"를 투명하게 드러내는 것만으로도 소비 행태가 바뀝니다. 숫자가 보이기 시작하면, 놀고 있는 GPU를 쥐고 있는 게 부담스러워지기 때문입니다.

GPU 비용 배분 4단계

1단계 — 사용량 데이터 수집. 배분의 출발점은 '누가·언제·얼마나' 썼는가입니다. GPU 단위 시간(GPU-hour)을 계정·프로젝트·워크로드별로 집계할 수 있어야 합니다. 여기서 많은 조직이 막힙니다. nvidia-smi 로그를 수작업으로 긁어모으는 방식으로는 팀 단위 집계가 사실상 불가능하기 때문입니다.

2단계 — 비용 모델 정의. GPU-hour에 단가를 매깁니다. 단가는 감가상각(장비 구입비 ÷ 사용 연한), 전력비, 데이터센터 운영비, 인건비를 포함해 산정합니다. GPU 종류별로(H100과 구형 카드) 단가를 다르게 두는 것이 정확합니다.

3단계 — 배분 리포트 생성. 수집된 사용량에 비용 모델을 곱해 계정·프로젝트 단위 리포트를 만듭니다. 이 리포트가 재무팀과 공유 가능한 형식(예: Excel)으로 나와야 실제 예산 프로세스에 연결됩니다.

4단계 — Quota와 연동. 배분만으로는 과소비를 막지 못합니다. 팀별 할당량(Quota)을 두고, 리포트상 드러난 실사용과 비교해 할당을 조정하는 루프를 돌려야 합니다. 안 쓰는 자원은 회수(Reclaim)해 다른 팀에 재분배합니다.

실무에서 막히는 지점

이 4단계에서 대부분의 조직이 1단계에서 좌절합니다. 쿠버네티스 위에서 여러 팀의 워크로드가 섞여 돌아가는데, 어느 Pod가 어느 팀 것인지, GPU를 분할해서 쓰는 경우 각 조각의 사용량을 어떻게 팀에 귀속시킬지가 기술적으로 간단하지 않습니다. 결국 "대략 이 정도일 것"이라는 추정으로 끝나고, 추정 기반 Chargeback은 반발만 부릅니다.

정확한 배분은 애초에 플랫폼 단에서 계정·프로젝트 단위로 사용량이 추적되고 있을 때 가능합니다.

AIPub의 FinOps Suite

TEN의 AIPub은 이 과제를 FinOps Suite로 해결합니다. AIPub은 GPU 사용량을 월별로 집계하고, 계정·프로젝트 단위로 Excel 리포트를 내보내기할 수 있어, 위 3단계(배분 리포트 생성)를 플랫폼이 직접 처리합니다. 또한 Quota 관리와 유휴 자원 회수(Workspace Reclaim) 기능으로 4단계의 운영 루프까지 닫을 수 있습니다.

GPU 분할(100블록·1% 단위 또는 MIG)과 결합하면, 한 장을 여러 팀이 나눠 쓰는 환경에서도 각 조각의 사용량이 플랫폼 단에서 추적되므로 추정이 아닌 실측 기반 배분이 가능합니다.

Chargeback의 목적은 팀을 압박하는 게 아닙니다. 수십억 원짜리 자산을 누가 책임지고 효율적으로 쓰는지를 조직이 볼 수 있게 만드는 것입니다. 그 가시성이 곧 절감입니다.

→ AIPub FinOps Suite 알아보기: https://ten1010.io/