젠슨 황의 AI 5 Layer

AI 이야기할 때 대부분은 모델 이야기부터 시작해. 어떤 모델이 더 똑똑하다, 파라미터가 몇 개다, 벤치마크 점수가 어떻다 같은 이야기들 말이야. 그런데 Jensen Huang이 설명한 AI 구조는 조금 달랐어. AI를 하나의 기술로 보지 않고 산업 스택으로 본 거야.

핵심은 간단해. AI는 모델 하나로 돌아가는 산업이 아니라 전기 → 칩 → 인프라 → 모델 → 애플리케이션이라는 다섯 개 층 위에서 돌아가는 구조라는 거야. 이걸 이해하는 순간 왜 요즘 빅테크들이 데이터센터를 미친 듯이 짓고, GPU 확보에 목숨 걸고, 심지어 전력 계약까지 직접 따내는지 바로 보이기 시작했어.

 

[Source: ChatGPT 생성]

 

AI는 코드가 아니라 전기로 시작했어

AI 서비스를 만드는 사람들은 흔히 코드부터 떠올려. 모델을 선택하고, 프롬프트를 설계하고, API를 붙이고, 그런 흐름 말이야. 그런데 현실의 AI 산업은 훨씬 더 밑바닥에서 시작해.

전기가 없으면 GPU가 돌지 않고, GPU가 없으면 모델을 학습할 수도 추론할 수도 없어. 그리고 모델이 없으면 당연히 서비스도 만들어지지 않는다. 결국 AI 경쟁은 코드 경쟁이라기보다 전력과 연산 능력을 확보하는 산업 경쟁이었어.

그래서 요즘 AI 뉴스들을 보면 묘하게 공통된 키워드가 계속 등장해. 데이터센터, GPU, 전력 계약, 냉각 기술 같은 것들 말이야. 겉으로는 AI 이야기인데 실제로는 전력 산업과 반도체 산업 이야기가 함께 따라오는 이유가 바로 여기 있어.

 

AI 5 Layer라는 산업 지도

이 구조를 이해하기 쉽게 정리한 게 바로 AI 5 Layer야. 아래에서 위로 올라갈수록 기술은 점점 추상화되고, 위쪽으로 갈수록 실제 서비스와 수익이 만들어지는 구조야.

가장 밑바닥에는 Energy Layer가 있어. AI 산업의 연료라고 보면 돼. 데이터센터가 돌아가려면 엄청난 전력이 필요하고, 그 전력을 안정적으로 확보하는 게 생각보다 큰 문제야. 그래서 최근에는 AI 기업들이 전력 회사와 직접 계약을 맺거나 재생에너지 프로젝트에 투자하는 모습도 자주 보이기 시작했어.

그 위에는 Chip Layer가 있어. 여기서 등장하는 플레이어가 바로 NVIDIA, AMD, Intel 같은 회사들이야. AI 모델을 학습하거나 추론하려면 엄청난 병렬 연산이 필요한데, 이걸 처리하는 핵심 장비가 GPU야. 그래서 지금 AI 산업에서 GPU는 사실상 석유 같은 존재라고 봐도 크게 틀리지 않아.

그 다음 단계는 Infrastructure Layer야. 우리가 흔히 말하는 클라우드 영역이지. 여기서는 Amazon Web Services, Microsoft Azure, Google Cloud 같은 회사들이 활약하고 있어. GPU를 수천 개 묶어서 클러스터로 운영하고, 네트워크와 스토리지를 연결하고, 모델이 안정적으로 돌아가도록 관리하는 모든 작업이 여기서 이루어진다.

그 위에 있는 것이 Model Layer야. 우리가 흔히 AI라고 부르는 것들이 이 구간에 있어. 예를 들면 ChatGPT, Claude, Gemini 같은 모델들이지. 모델을 학습하고 파인튜닝하고 프롬프트를 설계하는 모든 작업이 이 레이어에서 이루어진다.

그리고 마지막, 가장 위에 있는 것이 Application Layer야. 사용자가 실제로 돈을 내는 영역이지. AI 코딩툴, 챗봇 서비스, 자동화 에이전트, 디자인 툴 같은 것들이 여기에 해당해. 결국 기업들이 진짜로 수익을 만드는 지점은 바로 이 레이어야.

 

서비스 기획 시점에서 보는 AI 구조

AI 5 Layer를 이해하면 서비스 기획 방식도 조금 달라져. 예전에는 기능부터 생각했다면, 이제는 연산과 비용 구조부터 같이 생각하게 돼.

예를 들어 대화형 기술지원 AI를 만든다고 해보자. 목표가 “1차 해결률 98%, 응답 시간 300ms 이하”라고 가정하면, 그 다음에 자연스럽게 나오는 질문은 이거야. 하루에 몇 명이 쓰는지, 동시에 몇 명이 접속하는지, 한 번 질문할 때 토큰이 얼마나 소비되는지 같은 것들 말이야.

예를 들어 하루 사용자 1만 명이 평균 10번씩 질문하고, 한 번 대화에 평균 750 토큰을 쓴다고 하면 하루에 약 750만 토큰 정도가 소비되는 계산이 나온다. 이 숫자가 나오면 이제 그 다음은 자연스럽게 GPU 사용량과 비용 계산으로 이어져. 이 순간부터 AI 서비스 기획은 기술 문서가 아니라 거의 인프라 설계 문서처럼 변하기 시작해.

 

GPU 비용 최적화는 생각보다 전략적인 문제야

AI 서비스를 운영하다 보면 가장 먼저 체감하는 게 바로 GPU 비용이야. 모델 자체도 중요하지만, 실제 운영에서는 연산 비용이 서비스 단가를 결정하는 핵심 변수가 된다.

그래서 많은 회사들이 GPU 비용을 줄이기 위해 다양한 전략을 사용하고 있어. 예를 들어 평상시에는 안정적인 성능을 위해 예약 인스턴스를 사용하고, 트래픽이 갑자기 늘어나는 시간에는 스팟 인스턴스를 추가로 붙여 비용을 낮추는 방식이 흔하게 사용된다. 이렇게 서로 다른 인스턴스를 섞어서 사용하는 구조를 흔히 mixed cluster 전략이라고 부른다.

이 방식의 장점은 명확해. 기본적인 안정성은 유지하면서도 전체 GPU 비용을 꽤 크게 줄일 수 있다는 거야. 특히 AI 서비스는 트래픽이 일정하지 않은 경우가 많기 때문에, 고정된 인프라만 사용하는 것보다 이런 혼합 구조가 훨씬 효율적인 경우가 많다.

결국 AI 서비스 운영은 단순히 모델을 잘 만드는 문제가 아니라 연산 자원을 어떻게 경제적으로 운영하느냐의 문제로 이어지게 된다.

 

실제 AI 서비스 아키텍처는 이렇게 흘러가

실제 서비스 아키텍처를 보면 생각보다 전통적인 웹 구조와 크게 다르지는 않아. 사용자는 웹이나 모바일 앱에서 요청을 보내고, 요청은 API Gateway를 거쳐서 서비스 내부로 들어온다. 그 다음 오케스트레이션 레이어가 요청을 관리하고 모델 서버에 전달한다.

모델 서버는 필요한 경우 벡터 데이터베이스에서 관련 정보를 검색하고, 그 결과를 바탕으로 응답을 생성한다. 생성된 응답은 다시 사용자에게 전달되고 동시에 로그와 메트릭이 저장된다. 이 과정 전체가 모니터링 시스템을 통해 추적되면서 성능과 비용이 계속 분석된다.

이 구조에서 중요한 포인트는 모델이 아니라 전체 흐름을 관리하는 오케스트레이션 레이어와 모니터링 시스템이야. AI 서비스는 작은 문제 하나만 생겨도 비용이 폭발하거나 응답이 느려질 수 있기 때문에 운영 체계가 굉장히 중요하다.

 

결국 AI는 산업 전체의 싸움이야

AI를 단순히 모델 경쟁으로 보면 반밖에 보지 못한 거야. 진짜 구조를 보면 AI 산업은 전력, 반도체, 클라우드, 모델, 서비스가 서로 얽혀 있는 거대한 생태계야.

그래서 요즘 AI 경쟁은 이런 질문들로 이어진다.

왜 GPU가 항상 부족할까.
왜 데이터센터가 전 세계에서 동시에 늘어날까.
왜 빅테크 기업들이 전력 계약까지 직접 하려고 할까.

답은 결국 하나로 모인다.

AI 경쟁은 모델 경쟁이 아니라 전력 + 반도체 + 인프라 + 서비스가 모두 연결된 종합 산업 경쟁이라는 거야.

이 구조를 이해하는 순간 AI 뉴스가 완전히 다르게 보이기 시작한다는 게 재미있는 포인트야.