GPU는 비쌉니다. 그래서 하나의 GPU에 여러 서비스를 올리거나, 여러 개발자가 동시에 학습·테스트를 돌리는 경우가 많습니다. 문제는 이렇게 여러 작업이 하나의 GPU를 동시에 쓰면 성능이 급격히 떨어진다는 점입니다. 이 문제를 공간분할이 어떻게 해결하는지 정리했습니다.
왜 GPU를 나눠 쓰면 느려질까?
GPU는 기본적으로 한 순간에 하나의 프로세스만 점유하는 방식으로 동작합니다. 여러 프로세스가 하나의 GPU에 몰리면, GPU는 이들을 빠르게 번갈아 처리(context switching)하는데, 이 전환 과정에서 오버헤드가 발생합니다.
그 결과, 작업 수가 늘어날수록 각 작업의 처리 시간이 함께 길어집니다. 여러 사람이 GPU 한 장을 나눠 쓸수록 전체가 느려지는 것입니다. 값비싼 GPU를 여럿이 공유하려다 오히려 효율이 떨어지는 셈입니다.
해법: GPU 공간분할
이 문제의 해법이 공간분할입니다. 하나의 GPU 자원을 독립된 여러 공간으로 나눠, 각 워크로드가 서로 간섭 없이 자기 몫의 자원을 쓰도록 하는 방식입니다.
시간을 잘게 쪼개 번갈아 쓰는 방식(타임슬라이싱)과 달리, 공간분할은 자원 자체를 격리해 배분합니다. 그래서 여러 작업이 동시에 돌아도 서로의 성능에 영향을 주지 않습니다.
실측으로 확인한 효과
TEN이 자체 기술(현 AIPub의 GPU 분할 기술의 전신)로 진행한 초기 실험에서 이 효과가 뚜렷하게 나타났습니다. MNIST 이미지 분류와 텍스트 이진 분류 학습 코드를 사용해, GPU에서 동시에 실행하는 프로세스를 1개에서 5개까지 늘려가며 학습 소요 시간을 측정했습니다.
분할하지 않은 환경: 프로세스가 늘어날수록 학습 소요 시간이 함께 증가
공간분할을 적용한 환경: 프로세스가 늘어도 소요 시간이 거의 일정하게 유지
특히 5개 프로세스를 동시에 돌렸을 때, 분할을 적용한 환경이 최대 91% 수준까지 성능이 개선되는 결과를 확인했습니다.
※ 위 수치는 특정 실험 환경(초기 자체 실험) 기준이며, 실제 성능은 GPU 종류, 워크로드 특성, 동시 작업 수에 따라 달라질 수 있습니다.
이 결과가 의미하는 바는 분명합니다. GPU를 추가로 사지 않고도, 나눠 쓰는 방식을 바꾸는 것만으로 실질적인 처리 용량을 크게 늘릴 수 있다는 것입니다.
AIPub의 GPU 분할
TEN의 GPU 운영 플랫폼 AIPub은 이 공간분할을 고도화해, 하나의 GPU를 블록 단위로 세분화해 여러 워크로드가 나눠 쓰도록 합니다. 여기에 더해 팀·프로젝트별 자원 격리, 유휴 자원 자동 감지·재배분, 사용량 기반 과금까지 하나의 플랫폼에서 통합 관리합니다.
이런 구조는 다수의 마이크로서비스를 운영하는 기업, 여러 연구자가 동시에 개발하는 대학·연구실처럼 GPU를 여럿이 공유하는 환경에서 특히 효과적입니다.
GPU를 블록 단위로 나눠 활용률을 높이는 방법이 궁금하다면, AIPub을 확인해 보세요.