LLM을 직접 돌려보려 할 때 가장 먼저 부딪히는 벽이 'VRAM이 부족합니다'라는 메시지입니다. GPU를 골랐는데 모델이 안 올라가는 이유, VRAM이 정확히 무엇인지부터 짚어보겠습니다.
VRAM이란?
VRAM(Video RAM)은 GPU에 탑재된 전용 메모리입니다. GPU가 연산할 데이터를 임시로 담아두는 공간으로, CPU가 쓰는 시스템 메모리(RAM)와 물리적으로 분리되어 있습니다. AI 연산에서 중요한 이유는, 모델의 가중치와 연산 중간값이 모두 VRAM에 올라가야 GPU가 계산할 수 있기 때문입니다.
VRAM과 일반 RAM의 차이
구분 | 시스템 RAM | VRAM |
위치 | 메인보드(CPU 옆) | GPU 내부 |
용도 | CPU 연산·운영체제 | GPU 연산 데이터 |
속도 | 상대적으로 느림 | 매우 빠름(고대역폭) |
AI 역할 | 데이터 전처리 등 | 모델 실행의 핵심 |
핵심 차이는 대역폭입니다. VRAM은 GPU의 수천 개 코어에 데이터를 동시에 공급해야 하므로 훨씬 빠르게 설계되며, 같은 용량이라도 시스템 RAM으로 대체할 수 없습니다.
LLM 실행에 VRAM이 얼마나 필요할까?
모델 가중치는 파라미터 수 × 정밀도로 결정됩니다. FP16 기준 대략 파라미터 10억 개(1B)당 약 2GB가 필요합니다. 예를 들어 7B 모델은 약 14GB, 70B 모델은 약 140GB입니다.
실제로는 KV 캐시·활성값 등 추가 메모리가 필요하므로 위 계산값에 20~30% 여유를 두는 것이 안전합니다. 즉 7B 모델을 FP16으로 돌리려면 최소 16~18GB VRAM이 필요합니다.
※ 위 수치는 업계 통용 근사치이며, 실제 필요량은 구현·설정에 따라 달라질 수 있습니다.
VRAM이 부족하면?
모델이 아예 로드되지 않음 (Out of Memory)
시스템 RAM으로 넘기면서(offloading) 속도 급락
배치 크기·컨텍스트 길이를 줄여야 해 처리량 감소
대응 방법
양자화(INT8·INT4로 변환해 VRAM 절반 이하로), 멀티 GPU 분산(큰 모델을 여러 GPU에 분산), GPU 자원 분할·공유(작은 모델 여러 개를 하나의 GPU에서) 등이 있습니다. 특히 여러 팀·모델이 하나의 GPU 인프라를 공유하는 환경에서는 GPU 메모리를 어떻게 나누느냐가 전체 활용률을 좌우합니다.
제한된 GPU 메모리를 여러 워크로드가 효율적으로 나눠 쓰도록 관리하고 싶다면, AIPub의 GPU 분할 기능을 확인해 보세요.