주식회사 텐 | AI 인프라 전용 MLOps 전문기업

Web UI 기반의 MLOps 도구
AI Pub Ops를 소개합니다

AI Pub Ops는 컨테이너 플랫폼 COASTER를 바탕으로, AI 운영을 위한 리소스 관리 및 서비스 운영을 지원하는 툴입니다.
다양한 사람들이 모여 이야기를 나누는 Pub처럼 개발자, 비개발자 모두 사용할 수 있는 접근성 높은 서비스를 지원합니다.

Coaster와 AI Pub Dev, AI Pub Ops는
여러분의 MLOps 라이프 사이클이 가치를 생산할 수 있도록 돕습니다.
효율적인 AI 개발과 운영 프로세스 경험을 전달합니다.

AI Pub Ops는 여러분의 AI 서비스를 더 효율적으로 운영할 수 있도록 도와줍니다.

COASTER의 GPU 100분할 기능을 바탕으로 하여, AI Pub Ops에서 GPU 블록을 다양한 AI 서비스에 필요한 만큼 할당하여 운영할 수 있죠.
또한 개발자가 아니더라도 AI 서비스를 생성하고 운영할 수 있도록 친숙하고 편리한 Web UI를 제공하고 있습니다.

AI Pub Ops를 경험해 보세요

AI Pub Ops는 COASTER를 코어로 하여 서비스 생성 및 관리, 리소스 등에 관한 완전 관리형 서비스를 제공합니다.

주요 서비스

서비스 상세

서비스 생성 및 업데이트

UI를 통한 서비스 생성 / 중지 / 삭제 및 배포 가능

UI를 통한 무중단 서비스 업데이트

버전 관리 및 서비스 롤백 기능

서비스 모니터링

서비스 목록과 서비스 상세를 통한 운영 상태 모니터링

서비스 장애 시 알림 및 로그 확인을 통한 트러블 슈팅

리소스 그룹 관리

관리자가 리소스 그룹을 생성 및 사용자 권한 설정 기능

리소스 관리

서비스 별 GPU 블록 단위 할당 가능

GPU 블록 및 서버의 실시간 가동률 모니터링

인프라 비용의 최대 90%
절감 효과를 체감할 수 있습니다

AI Pub Ops의 GPU 분할 기능으로,
서버 자원의 1/10만 활용하여 서비스를 운영할 수 있습니다.
서비스 운영을 위한 기능들을 직접 개발하거나
유지보수하지 않아도 되기 때문에 인건비도 절약할 수 있습니다.

클라우드 네이티브 방식의
서비스 운영 기능을 제공합니다

AI Pub Ops는 on-prem 서버에서도
클라우드 네이티브 방식의 서비스 운영 기능을 제공합니다.

High availability 이중화를 통해
Single point of failure 제거
Rolling Update 서비스 중단 없이
업데이트 상시 가능
Scale-out 서비스 요청에 따라 자동으로
서버 수를 늘려 트래픽 처리
Load Balancing Service mesh를 이용한
L7 load balancing
Fail over 대응 서비스 중단 탐지 및
새로 서비스를 띄워 안정성 확보
이상징후 알림 중요 운영 이벤트 발생 시
슬랙으로 실시간 알림

NetApp Astra와
연동되어 더 편리합니다

AI Pub Ops는 여러 마이크로 서비스로 구성된
어플리케이션의 데이터 관리와 백업,
마이그레이션과 롤백을 지원합니다.

NeuVector의 스캐닝 기능으로
보안을 강화했습니다

AI Pub Ops는 NeuVector의 스캐닝 기능을 사용합니다.
다양한 경로로 유입되는 도커 이미지에 대한 보안 필터링이 가능합니다.
컨테이너 이미지, 클러스터를 구성하는 노드, 런타임 상태의
컨테이너의 취약점을 검사할 수 있습니다.

AI Pub Ops로 서비스, 인프라의 운영 상태를 모니터링할 수 있습니다

인프라 가동 상태와 서비스별 리소스 사용 추이를 확인할 수 있습니다.
총 GPU 가동률을 시간 단위로 확인할 수 있어, 비개발자도 서비스 운영 이슈에 대한 이력을 파악할 수 있습니다.
서비스의 배포, 운영 상태에 대한 실시간 모니터링도 지원합니다.
서비스가 정상 운영 중인지, 서버 상 문제는 없는지도 web UI 내에서 쉽게 확인할 수 있습니다.