뉴스룸 채용 문의하기

KO | EN

뉴스룸 채용 문의하기

TEN 블로그

GPU 인프라와 AI 워크로드 운영에 대한 TEN의 기술 인사이트와 실전 노하우를 전합니다.

See All GPU 운영 산업 트렌드 제품 가이드 AI 인프라 회사 소식 팀 인사이트

체크포인팅이란? 대규모 LLM 학습의 GPU 장애 복구 방법

체크포인팅이란? 대규모 LLM 학습의 GPU 장애 복구 방법

GPU 수천 대로 진행하는 LLM 학습에서 장애는 피하기 어렵습니다. 체크포인팅의 개념과 동기식·비동기·인메모리 방식의 차이, 저장 항목과 주기를 정하는 기준을 정리합니다.

DiLoCo란? 초고속 네트워크 의존도를 낮추는 LLM 분산 학습

DiLoCo란? 초고속 네트워크 의존도를 낮추는 LLM 분산 학습

분산 학습에는 왜 초고속 네트워크가 필요할까요? Google DeepMind의 DiLoCo, Streaming DiLoCo, Decoupled DiLoCo가 통신 빈도와 대역폭 요구량을 줄이는 원리와 멀티클러스터·네오클라우드 GPU 운영에 갖는 의미를 정리합니다.

vLLM vs SGLang vs TensorRT-LLM 비교

vLLM vs SGLang vs TensorRT-LLM 비교

같은 모델과 GPU를 사용해도 추론 엔진에 따라 처리량과 지연 시간이 달라질 수 있습니다. vLLM의 PagedAttention, SGLang의 RadixAttention, TensorRT-LLM의 최적화 방식과 워크로드별 선택 기준, NVIDIA Dynamo의 역할을 정리합니다.

Disaggregated Inference란? LLM 추론 GPU를 분리해 운영하는 이유

Disaggregated Inference란? LLM 추론 GPU를 분리해 운영하는 이유

Disaggregated Inference는 LLM 추론의 Prefill과 Decode 단계를 서로 다른 GPU에 나눠 실행하는 아키텍처입니다. 왜 두 단계를 분리하는지, 어떤 성능 이점이 있는지, 어디서 쓰이는지 정리하고, GPU 자원 배치와 운영 관점에서 도입 조건까지 다룹니다.

AI 개발의 필수 관문 도커(Docker) 완벽 정리: 기초부터 GPU 최적화까지

AI 개발의 필수 관문 도커(Docker) 완벽 정리: 기초부터 GPU 최적화까지

AI 팩토리의 표준 규격, 도커 완벽 가이드! chroot에서 runC까지의 진화 과정과 도커 엔진의 내부 작동 원리를 파헤칩니다. 단순한 패키징을 넘어 리눅스 커널 기술이 AI 인프라를 어떻게 규격화하는지 분석하고, 루빈 시대를 대비한 GPU 리소스 최적화 전략을 확인하세요.

체크포인팅이란? 대규모 LLM 학습의 GPU 장애 복구 방법

체크포인팅이란? 대규모 LLM 학습의 GPU 장애 복구 방법

GPU 수천 대로 진행하는 LLM 학습에서 장애는 피하기 어렵습니다. 체크포인팅의 개념과 동기식·비동기·인메모리 방식의 차이, 저장 항목과 주기를 정하는 기준을 정리합니다.

DiLoCo란? 초고속 네트워크 의존도를 낮추는 LLM 분산 학습

DiLoCo란? 초고속 네트워크 의존도를 낮추는 LLM 분산 학습

분산 학습에는 왜 초고속 네트워크가 필요할까요? Google DeepMind의 DiLoCo, Streaming DiLoCo, Decoupled DiLoCo가 통신 빈도와 대역폭 요구량을 줄이는 원리와 멀티클러스터·네오클라우드 GPU 운영에 갖는 의미를 정리합니다.

vLLM vs SGLang vs TensorRT-LLM 비교

vLLM vs SGLang vs TensorRT-LLM 비교

같은 모델과 GPU를 사용해도 추론 엔진에 따라 처리량과 지연 시간이 달라질 수 있습니다. vLLM의 PagedAttention, SGLang의 RadixAttention, TensorRT-LLM의 최적화 방식과 워크로드별 선택 기준, NVIDIA Dynamo의 역할을 정리합니다.

Disaggregated Inference란? LLM 추론 GPU를 분리해 운영하는 이유

Disaggregated Inference란? LLM 추론 GPU를 분리해 운영하는 이유

Disaggregated Inference는 LLM 추론의 Prefill과 Decode 단계를 서로 다른 GPU에 나눠 실행하는 아키텍처입니다. 왜 두 단계를 분리하는지, 어떤 성능 이점이 있는지, 어디서 쓰이는지 정리하고, GPU 자원 배치와 운영 관점에서 도입 조건까지 다룹니다.

AI 개발의 필수 관문 도커(Docker) 완벽 정리: 기초부터 GPU 최적화까지

AI 개발의 필수 관문 도커(Docker) 완벽 정리: 기초부터 GPU 최적화까지

AI 팩토리의 표준 규격, 도커 완벽 가이드! chroot에서 runC까지의 진화 과정과 도커 엔진의 내부 작동 원리를 파헤칩니다. 단순한 패키징을 넘어 리눅스 커널 기술이 AI 인프라를 어떻게 규격화하는지 분석하고, 루빈 시대를 대비한 GPU 리소스 최적화 전략을 확인하세요.

AI 인프라 구축, GPU가 전부가 아닌 이유: 스토리지와 패브릭

AI 인프라 구축, GPU가 전부가 아닌 이유: 스토리지와 패브릭

AI 개발에 GPU만 있으면 충분할까요? AI 개발에 필수적인 두가지, 성능을 극대화하는 고속 스토리지와 네트워크 패브릭의 역할을 초심자 눈높이에서 설명합니다. 온프레미스와 클라우드 인프라 선택 가이드도 함께 확인하세요.

AI 인프라 구축 방법: 레퍼런스 아키텍처 설계의 중요성

AI 인프라 구축 방법: 레퍼런스 아키텍처 설계의 중요성

비싼 AI 인프라 투자, 실패 없이 시작하려면? 한 번 구축하면 되돌리기 어려운 AI 인프라를 데이터 기반으로 설계하는 법! 레퍼런스 아키텍처의 정의와 중요성, 그리고 TEN RA:X를 통한 최적의 가이드를 확인하세요.

MLOps란 무엇인가? 머신러닝 운영과 Lifecycle 완벽 정리

MLOps란 무엇인가? 머신러닝 운영과 Lifecycle 완벽 정리

머신러닝 모델의 성공적인 배포와 운영을 위한 MLOps! 개념부터 4단계 라이프사이클, 비즈니스 효과까지 전문가가 완벽하게 정리해 드립니다. AI 서비스를 지속 가능한 비즈니스로 만드는 운영 표준을 지금 확인해 보세요.

TEN

RSS·Powered by Inblog