GPU 자원 운용 기술 기반
원 스탑 인공지능 플랫폼
GPU 자원 운용 기술 기반 원 스탑 인공지능 플랫폼
AI Pub
Coaster를 코어로 한 인공지능 서비스 운영 효율화 플랫폼
Coaster
Kubernetes를 확장하여 GPU 인프라 운용과
사용자 관리 기능을 강화한 컨테이너 플랫폼
Plug-in
NVIDIA MIG(Multi-instance GPU)
NVIDIA Triton Inference Server
NetApp Trident
NetApp Astra
TEN AI의 플랫폼과 함께 NVIDIA 의 GPU와 NetApp의 Storage를 더 효율적으로 활용할 수 있는 Plug-in 서비스를 제공합니다.
NVIDIA MIG(Multi-Instance GPU)
NVIDIA MIG(Multi-Instance GPU)
NVIDIA A100의 MIG 기능으로 분할된 하나의 Instance에 Coaster를 기반으로 더 세밀하게 자원을 분할하여 이용할 수 있습니다.
NVIDIA Triton Instance Server
NVIDIA Triton Instance Server
Triton Inference Server를 Coaster와 함께 이용하면 더욱 더 서비스들을 논리적으로 하나의 GPU에 많이 집적할 수 있기 때문에 큰 시너지를 기대할 수 있습니다. 추가로 Triton 서버에서 운용되는 서비스는 몇 십 개에서 몇 백 개도 가능하기 때문에 서비스들의 관리성도 훨씬 높아집니다.
NetApp Trident
NetApp Trident
NetApp Trident와 연동하여 데이터 저장 공간에 대한 사용자 별 격리된 volume을 기반으로 Multi-tenancy 환경을 지원합니다.
NetApp 스토리지 사용 시
· Storage isolation: 서로 다른 컨테이너 간 볼륨 격리 및 보안성 확보· Quota: 볼륨에 size quota를 부여하여 동적으로 provision과 볼륨 Scaling이 가능
· QoS: 볼륨에 IOPS의 제한을 둘 수 있음
외 더 많은 기능을 함께 사용할 수 있습니다. Trident Documentation
NetApp Astra
NetApp Astra
NetApp Astra와 연동하여 여러 개의 마이크로 서비스로 구성된 하나의 어플리케이션을 단위로 데이터를 관리 및 백업하고, 어플리케이션 단위로 마이그레이션 및 롤백이 가능합니다.
