주식회사 텐 | Blackwell 시대의 추론 최적화: cost-per-token이 새로운 기준이 되는 이유

"FLOPs/$ 만 보고 GPU를 골랐다면, 추론 비용에서 반드시 후회합니다."

AI 산업의 무게중심이 빠르게 이동하고 있습니다. 학습(Training)은 한 번의 비용이지만, 추론(Inference)은 사용자의 모든 쿼리, 에이전틱 워크플로우의 모든 단계, 모든 자동화된 의사결정마다 발생하는 연속적인 운영 비용입니다.

NVIDIA가 Blackwell 세대부터 "cost-per-token"을 핵심 지표로 밀고 있는 것은 이 때문입니다. NVIDIA 스스로 "레거시 데이터센터는 AI 토큰 팩토리로 진화했다"고 선언했을 만큼, 이제 인프라의 진짜 산출물은 연산이 아니라 토큰입니다.

이 글에서는 왜 FLOPs/$가 더 이상 충분하지 않은지, Blackwell이 추론 경제학을 어떻게 바꾸고 있는지, 그리고 인프라 운영자가 지금 무엇을 준비해야 하는지를 정리합니다.

왜 FLOPs/$는 더 이상 충분하지 않은가

FLOPs/$는 하드웨어의 이론적 연산 능력 대비 가격을 나타내는 지표로, GPU 도입 시 가장 많이 참조되어 온 기준입니다. 학습 중심 시대에는 이 지표가 유효했습니다. 더 많은 연산을 더 싸게 할 수 있는 GPU가 좋은 GPU였으니까요.

하지만 추론에서는 FLOPs보다 중요한 것들이 있습니다.

메모리 대역폭이 실질적 병목입니다.
추론에서 가장 빈번한 연산은 KV-cache 접근과 긴 context window 처리입니다. GPU의 연산 능력이 아무리 높아도 메모리에서 데이터를 가져오는 속도가 느리면 GPU 코어는 대기 상태에 놓입니다. 대부분의 추론 워크로드는 연산이 아니라 메모리 대역폭에 의해 제약됩니다(memory-bandwidth-bound).
배치 효율이 처리량을 결정합니다.
추론은 수많은 사용자의 요청을 동시에 처리해야 합니다. 한 번에 얼마나 많은 요청을 묶어서(batch) 처리할 수 있는지가 초당 토큰 생성 수, 즉 처리량을 결정합니다.
지연 시간이 사용자 경험을 좌우합니다.
특히 에이전틱 AI 워크로드에서는 첫 토큰 생성까지의 시간(Time to First Token, TTFT)이 전체 워크플로우의 반응성을 결정합니다. AI 코딩 어시스턴트와 에이전틱 애플리케이션이 전체 AI 쿼리에서 차지하는 비중이 지난 1년간 11%에서 약 50%까지 급증한 것은 (OpenRouter State of Inference 리포트) 이 지연 시간 요구가 얼마나 커졌는지를 보여줍니다.

이런 이유로 NVIDIA는 "FLOPs/$로 AI 하드웨어를 평가하는 것은 근본적으로 결함 있는 접근"이라고 공식적으로 선언하며, cost-per-token을 새로운 기준으로 제시하고 있습니다.

Blackwell이 추론 경제학을 바꾸는 방법

Blackwell Ultra(GB300 NVL72)의 핵심 수치를 먼저 보겠습니다.

SemiAnalysis InferenceX 벤치마크에 따르면 GB300 NVL72는 Hopper 대비 메가와트당 처리량 최대 50배, 토큰당 비용 최대 35배 절감을 달성했습니다.

여기서 핵심은 "시간당 비용이 더 싸다"가 아니라는 점입니다.

실제로 시간당 연산 비용만 보면 Blackwell이 더 비쌉니다. GB300 NVL72의 시간당 비용은 약 $2.65로, Hopper(HGX H200)의 $1.41 대비 거의 2배입니다.

하지만 실제 산출물인 토큰 생성량으로 비교하면 상황이 완전히 뒤집힙니다. 백만 토큰당 비용으로 환산하면 Blackwell은 $0.12, Hopper는 $4.20입니다. 시간당 비용이 더 높음에도 불구하고 초당 65배 더 많은 토큰을 생성하기 때문에 35배의 비용 절감이 달성되는 것이죠.

이것이 FLOPs/$로는 포착할 수 없는, cost-per-token이 보여주는 현실입니다.

Blackwell Ultra 주요 스펙과 기술적 배경

Blackwell Ultra가 이러한 성능 도약을 달성한 기술적 배경을 살펴보면 다음과 같습니다.

GPU당 288GB HBM3e 메모리와 8TB/s 메모리 대역폭을 갖추고 있어 대규모 모델의 KV-cache를 GPU 메모리 안에 유지할 수 있습니다. NVLink 130TB/s 대역폭으로 72개 GPU 간 초고속 통신을 지원해 MoE(Mixture of Experts) 모델의 Expert Parallelism에 최적화되어 있습니다.

NVFP4(4비트 부동소수점) 양자화를 지원해 모델 크기를 대폭 줄이면서 처리량을 극대화합니다. Blackwell Ultra는 이전 Blackwell 대비 NVFP4 AI 연산 성능이 1.5배, 어텐션 레이어 가속이 2배 향상되었습니다.

MLPerf Inference v6.0(2026년 4월)에서 Blackwell Ultra는 전 범주에서 최고 처리량과 최저 토큰 비용을 기록했습니다. DeepSeek-R1 추론에서는 GPU당 오프라인 5,842 토큰/초, 서버 시나리오 2,907 토큰/초를 달성해 Hopper 대비 약 5배의 성능 향상을 보여줬습니다.

소프트웨어 최적화도 핵심입니다. NVIDIA Dynamo와 TensorRT-LLM이 저지연 추론을 위한 GPU 커널 최적화, NVLink Symmetric Memory를 통한 GPU 간 직접 접근, Programmatic Dependent Launch를 통한 연산 간 유휴 시간 최소화를 제공합니다.

이러한 하드웨어-소프트웨어 공동 설계(Extreme Co-design)가 Blackwell의 성능 도약을 만들어낸 핵심 요인입니다.

MoE 아키텍처와 Blackwell의 시너지

DeepSeek-R1으로 대표되는 MoE(Mixture of Experts) 아키텍처가 추론 효율의 핵심으로 부상하고 있습니다.

MoE 모델은 전체 파라미터 중 일부 전문가(Expert)만 활성화하는 구조로, 전체 파라미터 대비 실제 연산에 사용되는 파라미터가 적어 추론 비용을 구조적으로 줄일 수 있습니다. 다만 MoE의 효율을 제대로 발휘하려면 각 전문가를 여러 GPU에 분산 배치하고 빠르게 통신하는 "all-to-all" 트래픽 처리가 필수적입니다.

GB300 NVL72의 130TB/s NVLink 대역폭은 이 all-to-all 통신을 고속으로 처리할 수 있는 인프라를 제공합니다. 72개 GPU에 걸쳐 전문가를 병렬 실행(Expert Parallelism)하면서도 지연 시간을 최소화할 수 있는 것이죠.

MoE + NVFP4 + Blackwell Ultra의 조합은 추론 비용 절감의 현재 최적 구성으로 평가되고 있으며, 이 조합이 MLPerf v6.0에서의 기록적인 성능으로 이어졌습니다.

추론 최적화가 인프라 운영에 요구하는 것

추론 워크로드는 학습과 근본적으로 다른 운영 특성을 가지고 있습니다.

24시간 상시 가동이 기본입니다. 학습은 끝나면 GPU를 반납하지만, 추론 서빙은 서비스가 운영되는 한 계속됩니다. 트래픽 변동이 큽니다. 시간대별, 이벤트별로 추론 요청이 급증하거나 감소합니다. 지연 시간에 민감합니다. 특히 에이전틱 AI 환경에서 사용자 경험과 워크플로우 효율에 직접적인 영향을 미칩니다.

이것이 인프라 운영에 요구하는 것은 명확합니다.

정밀한 자원 배분이 필요합니다.
추론에 필요한 만큼만 GPU 자원을 할당하고, 나머지는 다른 워크로드에 활용할 수 있어야 합니다. 학습은 GPU 전체를 점유하지만, 추론은 소규모 GPU 자원으로 다수 모델을 동시에 서빙하는 것이 일반적입니다. 바로 이 지점에서 GPU를 블록 단위로 분할할 수 있는 구조가 추론 환경에서 특히 강력해집니다.
실시간 모니터링이 필수입니다.
GPU 사용률, 메모리 점유율은 물론 PCIe/NVLink 트래픽, 전력 소비까지 추적해야 추론 서빙의 병목을 빠르게 파악할 수 있습니다.
오토스케일링으로 트래픽 변동에 대응해야 합니다.
피크 시간에는 자원을 확장하고, 유휴 시간에는 축소하는 자동화된 스케일링이 추론 비용 최적화의 핵심입니다.
AIPub의 블록 단위 공간분할은 이러한 추론 환경에서 특히 유리합니다.
GPU 1개를 100개 블록으로 분할해 여러 추론 모델을 하나의 GPU에서 서로 간섭 없이 동시에 서빙할 수 있고, 각 모델의 사용량을 독립적으로 추적해 정확한 cost-per-token 기반 비용 관리가 가능합니다.

Blackwell 도입 결정, 데이터로 확인하기

"그래서 우리는 Blackwell을 도입해야 하는가, Hopper를 유지해야 하는가?"

이 질문에 대한 답은 워크로드에 따라 완전히 달라집니다.

시간당 비용만 보면 Hopper가 저렴합니다. 하지만 cost-per-token으로 보면 Blackwell이 35배 유리합니다. 대규모 추론 서빙이 주력이라면 Blackwell의 ROI가 압도적이지만, 소규모 파인튜닝이 주력이라면 Hopper가 비용 효율적일 수 있습니다.

"어떤 GPU를 몇 대 사야 하나요?"라는 질문에 추측이 아닌 데이터로 답하는 것이 RA:X의 벤치마킹 기반 컨설팅입니다. 고객의 모델과 데이터 샘플을 TEN의 레퍼런스 아키텍처에서 직접 실행해 최적의 GPU 구성을 제안합니다. 여러 GPU를 동일 조건에서 비교하고, 우리 워크로드에 실제로 최적인 구성이 무엇인지를 데이터로 확인할 수 있습니다.

결론: 추론 경제학은 GPU 스펙이 아니라 인프라 운영 효율이 결정한다

Blackwell Ultra가 아무리 토큰당 비용을 35배 줄여도, 인프라 운영이 뒷받침되지 않으면 그 효율은 실현되지 않습니다.

GPU 자원을 워크로드에 맞게 정밀하게 배분하고, 사용량을 실시간으로 추적하고, 유휴 자원을 자동으로 재배분하고, 팀별·프로젝트별로 정확한 비용을 귀속시키는 운영 체계가 있어야 Blackwell의 잠재력이 비로소 ROI로 전환됩니다.

GPU 인프라를 새로 설계하거나, 기존 Hopper 환경에서 Blackwell로의 전환을 검토하고 있다면 혼자 고민하지 마세요. TEN의 전문가와 함께 데이터 기반으로 최적의 인프라 전략을 설계해보세요.

👉 AIPub 살펴보기: https://ten1010.io/products/aipub-dev

👉 RA:X 컨설팅 알아보기: https://ten1010.io/products/rax

📩 전문가와 직접 상담하기: https://ten1010.io/inquiry