모델을 학습시키거나 오픈소스 LLM을 내려받는 것까지는 비교적 빠르게 할 수 있습니다. 진짜 일은 그다음부터입니다. 사내 챗봇, 문서 검색, 코드 어시스턴트처럼 사람들이 실제로 쓰는 서비스로 만드는 단계, 즉 서빙입니다.
노트북에서 한 번 답변을 생성하는 것과, 수백 명이 동시에 질문해도 몇 초 안에 답하는 API를 24시간 운영하는 것은 완전히 다른 문제입니다. 이 글에서는 LLM 서빙의 개념과 구조, 성능 지표, 그리고 서빙이 GPU 인프라에 어떤 요구를 하는지 정리합니다.
LLM 서빙이란?
LLM 서빙(Serving)은 학습된 대규모 언어 모델을 GPU 서버에 올려두고, 사용자나 애플리케이션의 요청을 받아 추론 결과를 API 형태로 실시간 제공하는 과정과 그 운영 체계를 말합니다.
'추론(Inference)'이 모델이 답을 계산하는 행위라면, '서빙'은 그 추론을 안정적으로, 빠르게, 많은 사람에게 제공하기 위한 시스템 전체를 뜻합니다.
구분 | 추론 (Inference) | 서빙 (Serving) |
범위 | 입력 하나에 대한 모델 계산 | 요청 수신부터 응답, 확장, 장애 대응까지 |
관심사 | 정확도, 계산 속도 | 지연시간, 처리량, 가용성, 비용 |
예시 | 질문 1개에 답 생성 | 1,000명이 쓰는 사내 챗봇 API 운영 |
LLM 서빙은 어떻게 동작하나: 요청 처리 구조

구성 요소 | 역할 |
API 게이트웨이 | 인증, 요청 제한, 라우팅 |
로드밸런서 | 여러 추론 서버에 요청 분산 |
추론 엔진 | GPU에서 모델 계산 실행 (vLLM, SGLang, TensorRT-LLM 등) |
KV 캐시 | 이전 토큰 계산 결과를 GPU 메모리에 저장해 재계산 방지 |
오토스케일러 | 트래픽에 따라 추론 서버 수 조정 |
모니터링 | 지연시간, 처리량, 오류율, GPU 상태 관측 |
LLM은 답을 한 번에 만들지 않고 토큰을 하나씩 생성합니다. 질문 전체를 처리하는 Prefill 단계와 답변 토큰을 하나씩 만드는 Decode 단계로 나뉘며, 두 단계의 특성이 달라 이를 분리해 운영하는 Disaggregated Inference 같은 구조도 등장했습니다.

추론 엔진과 서빙 플랫폼은 다릅니다
자주 혼동되는 지점입니다. vLLM 같은 추론 엔진은 하나의 서버 안에서 GPU를 얼마나 효율적으로 쓰는지(배치, 메모리 관리)를 책임집니다. 반면 서빙 플랫폼은 여러 추론 서버를 묶어 배포, 확장, 업데이트, 장애 복구, 모니터링을 책임집니다.

구분 | 추론 엔진 | 서빙 플랫폼·운영 계층 |
대표 예 | vLLM, SGLang, TensorRT-LLM | 쿠버네티스 기반 운영 플랫폼 |
책임 범위 | 서버 1대 안의 GPU 효율 | 여러 서버·여러 모델의 운영 |
핵심 기능 | 연속 배칭, KV 캐시 관리 | 오토스케일, 무중단 배포, 롤백, 자원 할당 |
좋은 추론 엔진을 고르는 것만으로는 서비스가 완성되지 않습니다. 엔진이 '엔진'이라면, 서빙 플랫폼은 그 엔진을 얹은 '차량과 도로'에 가깝습니다.
LLM 서빙의 핵심 성능 지표
지표 | 의미 | 사용자 체감 |
TTFT (Time To First Token) | 요청 후 첫 토큰이 나오기까지 시간 | "답이 시작되기까지 얼마나 기다리나" |
토큰 간 지연 (TPOT) | 토큰과 토큰 사이 생성 간격 | "답이 얼마나 매끄럽게 나오나" |
처리량 (Tokens/s) | 초당 생성하는 전체 토큰 수 | 동시에 몇 명을 감당할 수 있나 |
p95·p99 지연시간 | 느린 상위 5%, 1% 요청의 지연 | 가끔 느린 경험의 빈도 |
오류율·가용성 | 실패한 요청 비율, 서비스 가동 시간 | 서비스를 믿고 쓸 수 있나 |

지연시간과 처리량은 서로 맞바꾸는 관계입니다. 한 번에 많은 요청을 묶어 처리하면 처리량은 오르지만 개별 요청의 지연은 늘어날 수 있습니다. 서비스 성격에 맞는 목표를 먼저 정해야 하는 이유입니다.
서빙 방식 3가지: 무엇을 선택할까
방식 | 특징 | 적합한 경우 |
외부 API 사용 | 모델 제공사의 API 호출 | 빠른 시작, 데이터 외부 전송이 허용될 때 |
클라우드 GPU에 자체 서빙 | 클라우드 GPU에 오픈소스 모델 배포 | 모델 커스터마이징, 유연한 확장 |
온프레미스 자체 서빙 | 사내 GPU 서버에 모델 배포 | 데이터 보안, 장기 비용 통제, 규제 산업 |
금융, 제조, 공공처럼 데이터를 외부로 보낼 수 없는 조직은 자체 서빙을 택하는 경우가 많고, 이때부터 GPU 인프라 운영이 서비스 품질을 직접 좌우합니다.
서빙이 GPU 인프라에 요구하는 것
- 상시 점유: 학습은 끝나면 GPU를 돌려주지만, 서빙은 24시간 GPU를 점유합니다.
- 변동하는 부하: 업무 시간과 야간의 트래픽 차이가 큽니다. 피크 기준으로 GPU를 고정하면 야간에 낭비됩니다.
- 여러 모델의 공존: 실제 기업은 모델 하나가 아니라 여러 서비스를 동시에 운영합니다. 작은 모델에 GPU 한 장씩을 통째로 주면 활용률이 급격히 떨어집니다.
- 무중단 업데이트: 모델을 개선해 교체할 때 서비스가 멈추면 안 됩니다.

그래서 서빙 단계에서는 GPU를 서비스 크기에 맞게 나눠 쓰고, 트래픽에 따라 확장하고, 무중단으로 교체하는 운영 계층이 필요해집니다. TEN의 AIPub은 LLM·API 서빙을 위한 Operation 워크로드에서 자동 확장, 무중단 배포, 롤백, 장애 자동 복구를 제공하고, GPU 100블록 분할로 여러 추론 서비스를 한 GPU에 나눠 올릴 수 있게 합니다. 구체적인 운영 방법은 다음 글에서 다룹니다.
자주 묻는 질문(FAQ)
Q. LLM 서빙과 LLM 추론은 같은 말인가요?
비슷하게 쓰이지만 범위가 다릅니다. 추론은 모델이 답을 계산하는 행위이고, 서빙은 그 추론을 API로 안정적으로 제공하기 위한 배포, 확장, 모니터링 체계 전체를 말합니다.
Q. vLLM만 설치하면 서빙이 되나요?
단일 서버에서 API를 띄우는 것은 가능합니다. 다만 여러 서버로의 확장, 무중단 업데이트, 장애 복구, 팀별 자원 관리까지 필요하다면 그 위에 운영 계층이 있어야 합니다.
Q. LLM 서빙에 GPU가 몇 장 필요한가요?
모델 크기, 동시 사용자 수, 목표 응답 시간에 따라 달라집니다. 모델 가중치와 KV 캐시가 GPU 메모리에 들어가는지가 첫 기준이며, 정확한 수량은 실제 워크로드로 측정해 보는 것이 가장 확실합니다.
Q. 작은 모델도 GPU 한 장을 통째로 써야 하나요?
그렇지 않습니다. GPU 분할을 사용하면 작은 모델 여러 개를 한 GPU에 나눠 올릴 수 있어 활용률을 크게 높일 수 있습니다.
→ 여러 LLM 서비스를 GPU 낭비 없이 운영하는 방법, AIPub에서 확인해 보세요.
AIPub 자세히 살펴보기 👉
참고 자료
- vLLM Documentation
- NVIDIA, LLM Inference Benchmarking: Fundamental Concepts (TTFT, ITL 정의)
- TEN, AIPub Technical Document (2026.05)