"GPU 서버를 들여놨는데, 기존 서버실에 못 넣는다고 하네요."
AI 인프라를 처음 구축하는 조직에서 자주 듣는 이야기입니다. 랙 공간은 남아 있는데 전력 용량이 부족하고, 냉각이 따라가지 못합니다. GPU 서버는 기존 서버와 같은 랙에 꽂히지만, 요구하는 건물 인프라는 전혀 다르기 때문입니다.
이 글에서는 AI 데이터센터의 정의와 일반 데이터센터와의 차이, 그 차이를 만드는 전력·냉각·네트워크의 변화, 그리고 AI 데이터센터를 준비할 때 확인할 점을 정리합니다.
AI 데이터센터란?
AI 데이터센터는 GPU 같은 가속기 기반 서버로 AI 모델의 학습과 추론을 수행하도록 전력, 냉각, 네트워크를 고밀도로 설계한 데이터센터입니다.
일반 데이터센터가 웹 서비스, 데이터베이스, 업무 시스템처럼 CPU 중심의 다양한 서버를 안정적으로 운영하는 데 초점을 둔다면, AI 데이터센터는 좁은 공간에 많은 전력을 공급하고 그만큼의 열을 빼내는 것이 핵심 과제입니다.
일반 데이터센터와 AI 데이터센터 비교
구분 | 일반 데이터센터 | AI 데이터센터 |
주력 서버 | CPU 서버 | GPU 등 가속기 서버 |
랙당 전력 | 평균 8kW 미만 (Uptime Institute 2024) | 수십 kW에서 랙 하나 약 120kW까지 |
냉각 방식 | 공랭 (항온항습기, 핫·콜드 아일) | 공랭 + 수랭 (칩 직접 냉각 등) |
네트워크 | 사용자와 서버 간 트래픽 중심 | GPU 간 대용량 통신 (InfiniBand, RoCE) |
워크로드 | 다양한 서비스가 상시 소량 부하 | 학습은 장시간 최대 부하, 추론은 변동 부하 |
핵심 운영 지표 | 가용성, PUE | 가용성, PUE + GPU 활용률, 전력당 처리량 |
차이 1: 랙당 전력 밀도가 다릅니다
Uptime Institute의 2024년 글로벌 데이터센터 조사에 따르면 평균 랙 전력 밀도는 여전히 8kW 미만이고, 대부분의 시설에는 30kW가 넘는 랙이 없습니다.
반면 GPU 서버는 한 대만으로 이 수준을 넘습니다. H100 8장이 들어간 NVIDIA DGX H100 서버 한 대의 최대 전력은 약 10.2kW입니다. 랙 단위로 설계된 NVIDIA GB200 NVL72는 랙 하나에 약 120kW를 사용합니다. 기존 데이터센터 랙 10개 이상의 전력이 랙 하나에 몰리는 셈입니다.
전력 밀도가 높아지면 수배전 설비, 변압기, UPS 용량까지 다시 설계해야 합니다. TEN 블로그의 'GPU보다 구하기 어려워진 변압기' 글에서 다뤘듯, AI 데이터센터의 병목은 GPU에서 전력 인프라로 옮겨가고 있습니다.
차이 2: 냉각이 공랭에서 수랭으로 넘어갑니다
전력은 거의 그대로 열이 됩니다. 랙당 전력이 수십 kW를 넘으면 차가운 공기를 불어넣는 공랭만으로는 열을 감당하기 어려워집니다. 그래서 AI 데이터센터에서는 냉각수를 칩 바로 위의 콜드플레이트로 흘려보내는 칩 직접 수랭(Direct-to-Chip Liquid Cooling)이 확산되고 있습니다. GB200 NVL72도 GPU, CPU, 스위치를 칩 직접 수랭으로 냉각하도록 설계됐습니다.
냉각 방식 | 원리 | 적합한 환경 |
공랭 | 차가운 공기로 서버 냉각 | 일반 서버, 저밀도 GPU 랙 |
후면 도어 열교환기 | 랙 뒷문에서 뜨거운 공기를 바로 냉각 | 기존 시설에서 밀도를 일부 높일 때 |
칩 직접 수랭 | 냉각수가 칩 위 콜드플레이트를 순환 | 고밀도 GPU 랙 |
액침 냉각 | 서버를 절연 냉각액에 담금 | 초고밀도, 특수 설계 시설 |
차이 3: 네트워크가 'GPU끼리의 대화' 중심이 됩니다
일반 데이터센터의 네트워크는 사용자 요청을 서버로 전달하는 것이 주 역할입니다. AI 데이터센터, 특히 분산 학습 환경에서는 GPU끼리 계산 결과를 주고받는 통신량이 압도적으로 많습니다. 그래서 서버 내부는 NVLink, 서버 간에는 InfiniBand나 RoCE 같은 고대역폭·저지연 네트워크가 필요합니다. 네트워크가 병목이면 GPU를 늘려도 학습이 빨라지지 않습니다.
AI 데이터센터를 준비하는 3가지 방식
방식 | 특징 | 고려할 점 |
기존 데이터센터 개조 | 기존 부지·건물 활용 | 전력 인입·냉각 증설에 한계, 공사 중 운영 영향 |
신규 AI 데이터센터 구축 | 고밀도 기준으로 처음부터 설계 | 긴 구축 기간, 큰 초기 투자 |
모듈형 데이터센터 (MDC) | 공장에서 제작한 모듈을 설치·확장 | 빠른 구축, 필요한 만큼 단계적 확장 |
TEN의 MDC(모듈형 데이터센터)는 빠른 구축과 유연한 확장, 고밀도 GPU 서버 운영을 고려한 구축 방식입니다. 자세한 개념은 '모듈형 데이터센터 MDC란 무엇인가' 글에서 정리했습니다.
건물만으로는 끝나지 않습니다: 구축 전 검증과 운영 레이어
AI 데이터센터의 투자 효율은 두 시점에서 갈립니다.
- 구축 전: 우리 워크로드에 어떤 GPU가 몇 장 필요한지, 그 GPU가 요구하는 전력과 냉각은 얼마인지를 먼저 확인해야 과투자와 과소투자를 피할 수 있습니다. TEN의 RA:X는 구축 전 벤치마킹과 벤더 중립 자문으로 이 판단을 돕습니다.
- 구축 후: 비싸게 구축한 GPU가 놀고 있다면 전력과 냉각에 들인 비용도 함께 낭비됩니다. TEN의 AIPub은 GPU 분할, 스케줄링, 카드별 GPU 전력 제한, 데이터센터부터 GPU 디바이스까지 5계층 모니터링으로 GPU 활용률과 전력 효율을 함께 관리합니다.
AI 데이터센터는 결국 '전력을 연산으로 바꾸는 공장'입니다. 건물의 전력·냉각 설계와 그 위의 GPU 운영이 함께 맞아야 공장이 제대로 돌아갑니다.
자주 묻는 질문(FAQ)
Q. 기존 데이터센터에 GPU 서버를 넣을 수 없나요?
소수의 GPU 서버는 가능합니다. 다만 랙당 전력과 냉각 한도를 넘지 않도록 랙에 서버를 적게 넣어 분산 배치해야 하고, 규모가 커지면 전력 인입과 냉각 증설이 필요해집니다.
Q. AI 데이터센터는 반드시 수랭이 필요한가요?
밀도에 따라 다릅니다. 랙당 전력이 비교적 낮은 GPU 서버 구성은 공랭으로도 운영할 수 있지만, 최신 랙 단위 GPU 시스템처럼 고밀도 구성은 칩 직접 수랭을 전제로 설계됩니다.
Q. AI 데이터센터에 적합한 Tier 등급은 무엇인가요?
서비스 성격에 따라 다릅니다. 상시 운영되는 추론 서비스는 높은 가용성이 중요하고, 체크포인트로 재시작할 수 있는 학습 워크로드는 상대적으로 유연합니다. 자세한 기준은 '데이터센터 Tier란? 등급 기준 정리' 글을 참고하세요.
Q. AI 데이터센터의 효율은 어떤 지표로 보나요?
건물 효율은 PUE로, GPU 효율은 GPU 활용률과 전력당 처리량(예: 와트당 토큰 수)으로 봅니다. PUE가 좋아도 GPU가 놀고 있다면 전체 효율은 낮습니다.
→ AI 데이터센터, 짓기 전에 검증하고 지은 뒤에는 제대로 운영하세요.
참고 자료
- NVIDIA, DGX H100 System 사양 (최대 시스템 전력 약 10.2kW)
- NVIDIA, GB200 NVL72 사양 (랙 TDP 약 120kW, 칩 직접 수랭)
Share article