AI 팀이 처음 GPU 서버를 쓸 때는 단순합니다. 서버에 접속해서 학습 스크립트를 돌리면 됩니다. 그런데 서버가 3대, 10대로 늘어나고 팀이 여럿이 되면 질문이 바뀝니다.
"이 작업은 어느 서버에 띄워야 하지?" "서버 한 대가 죽으면 추론 서비스는 어떻게 되지?" "연구원마다 라이브러리 버전이 다른데 환경은 어떻게 맞추지?"
이 질문들에 대한 업계의 표준 답이 쿠버네티스입니다. 이 글에서는 쿠버네티스의 개념과 구조, 꼭 알아야 할 용어, 그리고 AI·GPU 인프라에서 쿠버네티스가 표준이 된 이유와 한계를 정리합니다.
쿠버네티스란?
쿠버네티스(Kubernetes)는 컨테이너로 만든 애플리케이션의 배포, 확장, 복구를 자동화하는 오픈소스 컨테이너 오케스트레이션 플랫폼입니다.
구글이 내부 시스템 운영 경험을 바탕으로 2014년 오픈소스로 공개했고, 현재는 CNCF(Cloud Native Computing Foundation)가 관리합니다. 'K'와 's' 사이에 8글자가 있어 줄여서 k8s라고도 부릅니다.
쉽게 말하면, 여러 대의 서버를 하나의 거대한 컴퓨터처럼 묶고 "이 컨테이너를 3개 띄워줘"라고 선언하면 어느 서버에 올릴지, 하나가 죽으면 어떻게 다시 띄울지를 쿠버네티스가 알아서 처리합니다.
도커와 쿠버네티스는 무엇이 다른가
구분 | 도커 (Docker) | 쿠버네티스 (Kubernetes) |
역할 | 컨테이너를 만들고 실행 | 여러 서버에 걸쳐 컨테이너를 배치·관리 |
관리 범위 | 서버 1대 | 클러스터 (서버 여러 대) |
비유 | 짐을 담는 컨테이너 박스 | 컨테이너를 어느 배에 실을지 정하는 항만 관제 |
장애 대응 | 수동 재시작 | 자동 복구·재배치 |
확장 | 수동으로 개수 조정 | 선언한 개수 유지, 부하에 따라 자동 확장 |
둘은 경쟁 관계가 아니라 역할이 다릅니다. 도커로 만든 이미지를 쿠버네티스가 클러스터 위에서 운영하는 구조입니다. 참고로 쿠버네티스 1.24부터는 dockershim이 제거되어 containerd 같은 런타임을 직접 사용하지만, 도커로 빌드한 이미지는 그대로 실행됩니다.
쿠버네티스 구조 한눈에 보기
쿠버네티스 클러스터는 크게 컨트롤 플레인(두뇌)과 워커 노드(실제 일하는 서버)로 나뉩니다.
구성 요소 | 위치 | 하는 일 |
API Server | 컨트롤 플레인 | 모든 요청의 입구, 클러스터 상태 조회·변경 |
etcd | 컨트롤 플레인 | 클러스터 상태를 저장하는 분산 키-값 저장소 |
Scheduler | 컨트롤 플레인 | 새 Pod를 어느 노드에 올릴지 결정 |
Controller Manager | 컨트롤 플레인 | 선언한 상태와 실제 상태를 계속 맞춤 |
kubelet | 워커 노드 | 노드에서 Pod를 실제로 실행·감시 |
kube-proxy | 워커 노드 | Service 트래픽 라우팅 (Cilium 등으로 대체 가능) |
컨테이너 런타임 | 워커 노드 | containerd 등, 컨테이너 실행 |
꼭 알아야 할 쿠버네티스 핵심 용어
용어 | 한 줄 정의 | AI 인프라에서의 예 |
Pod | 쿠버네티스가 배포하는 최소 단위, 컨테이너 1개 이상 묶음 | 학습 스크립트 1개가 도는 컨테이너 |
Deployment | Pod를 원하는 개수만큼 유지하고 업데이트 관리 | 추론 API 서버 3개 상시 유지 |
Service | Pod 묶음에 고정된 접속 주소 제공 | 추론 API의 내부 엔드포인트 |
Job | 끝나면 종료되는 일회성 작업 | 모델 학습, 배치 추론 |
Namespace | 클러스터를 논리적으로 나누는 단위 | 팀 A, 팀 B 작업 공간 분리 |
ResourceQuota | Namespace별 자원 사용 한도 | 팀별 GPU 최대 4장 |
Custom Resource | 쿠버네티스를 확장해 만든 사용자 정의 자원 | GPU Operator, Kubeflow 등 생태계 도구의 기반 |
쿠버네티스가 AI 인프라의 표준이 된 이유
- 환경 재현성: 라이브러리, CUDA 버전까지 이미지에 담아 어느 서버에서든 같은 환경으로 실행합니다. "제 서버에서는 됐는데요"가 줄어듭니다.
- 자원 스케줄링: 수십 대 서버의 남은 자원을 보고 작업을 자동 배치합니다.
- 자동 복구와 확장: 추론 서버가 죽으면 다시 띄우고, 트래픽이 늘면 개수를 늘립니다.
- 확장 가능한 생태계: NVIDIA GPU Operator, 분산 학습 도구, 모니터링 스택이 쿠버네티스 위에서 동작합니다.
- 온프레미스와 클라우드 공통 기반: 같은 방식으로 사내 GPU 서버와 클라우드를 운영할 수 있어 하이브리드 전략에 유리합니다.
GPU 환경에서 쿠버네티스의 한계
쿠버네티스는 원래 CPU 중심의 웹 서비스를 위해 설계됐습니다. 그래서 GPU를 다룰 때는 기본 기능만으로 부족한 지점이 분명히 있습니다.
운영 과제 | 쿠버네티스 기본 기능 | GPU 운영에 필요한 것 |
GPU 할당 단위 | 장 단위 정수 할당 ( nvidia.com/gpu: 1) | 작업 크기에 맞춘 분할 할당 |
스케줄링 | 빈 자원에 순서대로 배치 | 우선순위 큐, 분산 학습용 동시 배치 |
멀티테넌시 | Namespace·RBAC를 각각 설정 | 팀 단위로 자원·이미지·스토리지 통합 격리 |
사용량 파악 | 기본 제공 없음 | 팀·프로젝트별 GPU 사용량 집계 |
사용 편의성 | YAML·kubectl 중심 | 연구자가 바로 쓰는 UI |
예를 들어 10GB 메모리만 필요한 추론 작업도 기본 쿠버네티스에서는 80GB GPU 한 장을 통째로 점유합니다. 분산 학습처럼 GPU 8장이 동시에 확보돼야 시작할 수 있는 작업은, 일부만 확보된 채 다른 작업의 자원까지 붙잡고 대기하는 상황이 생기기도 합니다.
쿠버네티스 위에 'GPU 운영 레이어'가 필요한 이유
쿠버네티스는 AI 인프라의 훌륭한 기반이지만, 그 자체로 GPU 운영 플랫폼은 아닙니다. 그래서 많은 조직이 쿠버네티스 위에 GPU 분할, 스케줄링, 멀티테넌시, 사용량 집계를 담당하는 운영 레이어를 올립니다.
TEN의 AIPub은 이 레이어를 제공하는 Kubernetes 기반 GPU 워크로드 오케스트레이션 플랫폼입니다. Kubernetes Custom Resource로 구현되어 쿠버네티스 표준 위에서 동작하면서, 기본 기능의 빈 곳을 채웁니다.
- GPU 분할: GPU를 100블록(1% 단위) 또는 MIG로 나눠 작업 크기에 맞게 할당
- GPU 특화 스케줄러: 우선순위 큐와 분산 학습 지원 스케줄링, 유휴 자원을 재분배하는 Dynamic Allocation
- Project 단위 멀티테넌시: 사용자·노드·이미지 저장소·볼륨·쿼터를 하나로 묶어 격리
- YAML 없는 Web UI: Workspace, Job, Operation을 화면에서 생성·운영
- 쿠버네티스 생태계와 동기화: 약 3개월 주기 릴리스로 업데이트를 따라갑니다
쿠버네티스를 이해하는 것은 AI 인프라 운영의 출발점입니다. 그리고 GPU를 여러 팀이 함께 쓰기 시작하는 순간, 쿠버네티스 위에 무엇을 올릴지가 다음 질문이 됩니다.
자주 묻는 질문(FAQ)
Q. 쿠버네티스와 도커 중 무엇을 먼저 배워야 하나요?
도커를 먼저 이해하는 편이 좋습니다. 쿠버네티스는 컨테이너를 운영하는 도구라서, 이미지와 컨테이너 개념을 알고 나면 쿠버네티스의 Pod와 Deployment가 훨씬 쉽게 이해됩니다.
Q. k8s는 무슨 뜻인가요?
Kubernetes에서 첫 글자 K와 마지막 글자 s 사이의 8글자를 숫자로 줄인 표기입니다. 그리스어로 '조타수'를 뜻하는 단어에서 이름이 왔습니다.
Q. 쿠버네티스에서 GPU는 어떻게 쓰나요?
NVIDIA device plugin이나 GPU Operator를 설치하면 노드의 GPU가
nvidia.com/gpu 자원으로 등록되고, Pod에서 GPU 개수를 요청해 사용할 수 있습니다. 다만 기본은 장 단위 할당이라, 분할이나 우선순위 스케줄링은 별도 도구가 필요합니다.Q. 작은 팀도 쿠버네티스가 필요한가요?
GPU 서버 1~2대를 한 팀이 쓰는 단계라면 꼭 필요하지 않을 수 있습니다. 서버가 늘고 여러 팀이 함께 쓰거나 추론 서비스를 안정적으로 운영해야 할 때 도입 효과가 커집니다.
Q. 쿠버네티스를 직접 구축하는 것과 플랫폼을 도입하는 것 중 무엇이 낫나요?
쿠버네티스 자체는 오픈소스지만, GPU 분할·스케줄링·멀티테넌시·사용량 집계를 직접 조립하고 유지하는 데는 상당한 엔지니어링 비용이 듭니다. 판단 기준은 'GPU 플랫폼 직접 구축 vs 도입 TCO' 글에서 자세히 다뤘습니다.
→ 쿠버네티스 위에서 GPU를 더 쉽게 운영하는 방법, AIPub에서 확인해 보세요.
AIPub 자세히 살펴보기 👉
참고 자료
- Kubernetes Documentation, Overview
- Kubernetes Documentation, Kubernetes Components
- Kubernetes Blog, Dockershim Removal FAQ
- NVIDIA, GPU Operator Documentation
- TEN, AIPub Technical Document (2026.05)
Share article