GPT, Claude, Llama… 요즘 AI의 중심에 있는 이 모델들을 아우르는 이름이 파운데이션 모델입니다. 자주 쓰이지만 정확한 뜻은 흐릿한 이 용어를, 개념부터 활용까지 정리했습니다.
파운데이션 모델이란?
파운데이션 모델(Foundation Model)은 광범위한 데이터로 대규모 사전학습을 거쳐, 이후 다양한 작업에 적응(adapt)시킬 수 있는 AI 모델을 말합니다. 이 용어는 2021년 스탠퍼드 CRFM(Center for Research on Foundation Models)이 처음 정의했습니다.
핵심은 이름에 담긴 '기반(foundation)'이라는 뜻입니다. 하나의 특정 작업을 위해 만들어진 것이 아니라, 여러 응용의 '토대'가 되는 모델이라는 의미입니다. 집을 지을 때 기초를 먼저 놓고 그 위에 다양한 방을 올리듯, 파운데이션 모델을 먼저 학습시킨 뒤 그 위에서 번역·요약·챗봇 등 다양한 작업에 맞춰 활용합니다.
어떻게 만들어질까: 사전학습과 적응
파운데이션 모델은 크게 두 단계로 동작합니다.
1단계 — 사전학습(Pre-training)
방대한 데이터(웹 텍스트, 이미지 등)로 모델을 학습시킵니다. 이때 사람이 일일이 정답을 달아주는 대신, 데이터 자체의 구조에서 학습하는 자기지도 학습(self-supervised learning)을 주로 씁니다. 예를 들어 "다음에 올 단어 맞히기"처럼, 데이터 안에 이미 있는 패턴을 신호로 삼습니다. 이 단계가 엄청난 연산과 데이터를 필요로 하는, 가장 비용이 큰 과정입니다.
2단계 — 적응(Adaptation)
사전학습된 모델을 특정 용도에 맞게 조정합니다. 추가 데이터로 미세 조정하는 파인튜닝(fine-tuning), 예시를 제시하는 프롬프팅, 지식을 옮기는 전이학습 등이 여기 해당합니다. 이 단계는 사전학습보다 훨씬 적은 자원으로 가능합니다.
파운데이션 모델과 LLM의 관계
자주 혼동되는 두 용어의 관계를 정리하면 이렇습니다.
LLM(대규모 언어 모델)은 파운데이션 모델의 한 종류입니다. 파운데이션 모델은 언어뿐 아니라 이미지·음성·멀티모달까지 아우르는 더 넓은 개념이고, 그중 '언어'에 특화된 것이 LLM입니다. 스탠퍼드 연구진도 “LLM은 언어에 국한돼 너무 좁다”는 이유로 더 넓은 '파운데이션 모델'이라는 용어를 만들었습니다.
용어 | 범위 |
|---|---|
파운데이션 모델 | 언어·이미지·음성 등 광범위 |
LLM | 그중 언어에 특화 |
기업은 파운데이션 모델을 어떻게 활용할까
대부분의 기업은 파운데이션 모델을 처음부터 만들지 않습니다. 사전학습은 막대한 GPU와 데이터가 필요해, 소수의 대형 기업·연구소만 수행합니다. 대신 기업은 다음과 같이 활용합니다.
이미 공개된 파운데이션 모델(오픈소스 등)을 가져와 자사 데이터로 파인튜닝하거나, 프롬프팅으로 응용하거나, 자사 문서를 연결해 활용합니다. 즉 대부분의 실무는 '사전학습'이 아니라 '적응' 단계에서 이뤄집니다.
그런데 파인튜닝이든 추론 서비스든, 파운데이션 모델을 다루려면 결국 GPU 인프라가 필요합니다. 모델이 클수록 더 많은 GPU 메모리와 연산이 들고, 여러 팀이 각자 다른 모델을 파인튜닝·서빙하다 보면 GPU 자원 관리가 복잡해집니다.
자주 묻는 질문 (FAQ)
Q. 파운데이션 모델과 LLM은 같은 건가요?
아닙니다. LLM은 파운데이션 모델 중 언어에 특화된 종류입니다. 파운데이션 모델은 이미지·음성 등까지 포함하는 더 넓은 개념입니다.
Q. 파운데이션 모델은 직접 만들어야 하나요?
대부분은 아닙니다. 사전학습은 막대한 자원이 들어 소수만 수행하고, 기업은 보통 기존 모델을 파인튜닝·프롬프팅으로 활용합니다.
Q. 자기지도 학습이 뭔가요?
사람이 정답을 달지 않고, 데이터 자체의 구조(예: 다음 단어)에서 학습하는 방식입니다. 대량의 라벨 없는 데이터를 활용할 수 있습니다.
Q. 파운데이션 모델 활용에 GPU가 얼마나 필요한가요?
용도에 따라 다릅니다. 파인튜닝·추론은 사전학습보다 적게 들지만, 모델 크기와 동시 사용자 수에 따라 상당한 GPU 자원이 필요합니다.
결론: 활용의 시대, 관건은 인프라 운영입니다
파운데이션 모델은 이제 대부분의 AI 응용의 '토대'가 됐습니다. 그리고 대부분의 기업에게 중요한 것은 모델을 처음부터 만드는 것이 아니라, 이미 있는 모델을 자사 목적에 맞게 효율적으로 파인튜닝하고 서빙하는 것입니다.
이때 여러 팀이 서로 다른 파운데이션 모델을 다루는 환경에서는 GPU 자원 관리가 핵심 과제가 됩니다. TEN의 AIPub은 GPU를 블록 단위로 분할해 여러 모델·워크로드가 자원을 나눠 쓰게 하고, 팀·프로젝트별로 자원과 권한을 격리하며, 사용량을 측정해 누가 어떤 GPU를 얼마나 쓰는지 관리할 수 있도록 지원합니다. 파운데이션 모델을 '활용'하는 조직에 필요한 것은 결국 그 아래를 받치는 GPU 운영 계층입니다.
여러 팀의 파운데이션 모델 파인튜닝·서빙을 효율적으로 운영하고 싶다면, AIPub을 확인해 보세요.
👉 AIPub 자세히 보기: https://ten1010.io/
참고 자료
Bommasani et al., “On the Opportunities and Risks of Foundation Models,” Stanford CRFM (2021)
Stanford HAI, Center for Research on Foundation Models
Stanford CRFM, Foundation Model Transparency Index