월가가 마이크론을 '다음 엔비디아'라고 부르는 이유

이번 AI 시장을 보면 재미있는 변화가 하나 보여.

몇 년 전만 해도 모두가 "GPU가 왕이다"라고 이야기했는데, 이제는 분위기가 조금 달라지고 있어. GPU만 많이 갖고 있다고 AI가 빨라지는 시대가 아니라는 거야. 오히려 GPU가 제대로 일할 수 있도록 받쳐주는 메모리가 새로운 주인공으로 떠오르고 있어.

그 중심에 있는 회사가 바로 마이크론(Micron)이야.

 

AI 붐 2막, 이제는 GPU보다 메모리다?

생성형 AI가 폭발적으로 성장하면서 가장 큰 승자는 단연 엔비디아였어. GPU 하나로 AI 시대를 열었고 시가총액도 역사적인 수준까지 올라갔지. 그런데 월가는 벌써 다음 주자를 찾기 시작했어. 흥미롭게도 그 후보는 GPU 회사가 아니라 메모리 반도체 회사인 마이크론이야.

"다음 엔비디아." 요즘 월가에서 가장 자주 들리는 표현 중 하나야. 처음 들으면 조금 의아할 수도 있어. "메모리 회사가 엔비디아처럼 된다고?" 하지만 AI 인프라 구조를 이해하면 오히려 충분히 가능한 이야기라는 걸 알게 돼.

 

[Source: ChatGPT 생성]

 

AI는 GPU만으로 돌아가지 않는다

AI를 자동차라고 생각해 보자. GPU는 자동차의 엔진이야. 그런데 아무리 엔진이 좋아도 연료가 부족하거나 도로가 좁으면 최고 속도를 낼 수 없어. AI도 똑같아. GPU가 계산을 아무리 빨리 해도 데이터를 계속 공급해 줄 메모리가 부족하면 GPU는 기다리는 시간이 더 많아져.

이걸 AI 업계에서는 병목(Bottleneck)이라고 불러. AI 모델이 점점 커질수록 병목은 GPU보다 메모리에서 발생하기 시작했어.

AI 시장의 무게중심이 조금씩 이동하고 있다는 뜻이지.

 

 

그래서 HBM이 중요해졌다

요즘 반도체 업계에서 가장 많이 들리는 단어가 있어. 바로 HBM(High Bandwidth Memory). 고대역폭 메모리라고 불리는 기술인데 AI 서버에서는 거의 필수 부품이 됐어. 엔비디아 GPU 옆에는 항상 HBM이 붙어 있어. GPU가 초당 엄청난 양의 데이터를 계산하면 HBM은 그 데이터를 끊김 없이 공급하는 역할을 하지. 쉽게 말하면 GPU가 슈퍼카 엔진이라면 HBM은 12차선 고속도로야. 도로가 좁으면 아무리 좋은 엔진도 의미가 없어.

 

AI 1막은 GPU였다면 2막은 메모리다

지난 2~3년 동안은 GPU 확보 경쟁이었어. 누가 더 많은 GPU를 확보하느냐가 경쟁력이었지. 하지만 지금은 조금 달라졌어.

GPU는 있는데 메모리가 부족한 상황이 계속 나타나고 있어. AI 데이터센터도 클라우드 기업도 하이퍼스케일러도 모두 HBM 확보 경쟁에 들어갔어. 그래서 올해 가장 많이 나오는 표현이 바로 "Memory Crunch" 메모리 부족 현상이야.

GPU보다 메모리가 더 귀해지는 시대가 시작된 거지.

 

마이크론이 갑자기 주목받는 이유

사실 마이크론은 새로운 회사가 아니야. 오랫동안 DRAM과 NAND를 만들던 전통적인 메모리 기업이었어.

그런데 몇 년 전부터 전략을 완전히 바꿨어. 범용 메모리 대신 AI 데이터센터용 고성능 메모리에 집중하기 시작한 거야.

투자도 무작정 늘리지 않았어. 공급과 수요를 계산하면서 천천히 체질을 바꿨지. 그리고 AI 시대가 폭발했어.

준비가 되어 있던 회사만 기회를 잡은 거야.

 

엔비디아와 경쟁하는 회사가 아니다

많은 사람들이 "마이크론이 엔비디아 경쟁사인가?"라고 생각하는데 사실은 반대야. 둘은 경쟁자가 아니라 서로 성장시키는 관계야.

엔비디아가 GPU를 만들면 마이크론은 그 GPU 안에서 사용하는 HBM을 공급해. 엔비디아 GPU가 많이 팔릴수록 마이크론 메모리도 함께 팔리는 구조야. AI 생태계에서는 경쟁보다 공급망이 더 중요하다는 걸 보여주는 대표적인 사례라고 볼 수 있어.

 

그런데 한국은?

여기서 가장 흥미로운 부분이 있어. 사실 HBM 시장에서 가장 강한 회사들은 미국이 아니야. 바로 우리나라 기업들이지.

SK하이닉스는 HBM 시장을 사실상 선도하고 있고, 삼성전자 역시 차세대 HBM과 AI 메모리에 대규모 투자를 이어가고 있어.

마이크론까지 본격적으로 성장하면서 앞으로 AI 메모리 시장은 미국과 한국의 3강 체제가 될 가능성이 커지고 있어.

GPU는 엔비디아가 이끌고, 메모리는 SK하이닉스·삼성전자·마이크론이 경쟁하는 시대가 열리는 셈이야.

 

SaaS 기업도 메모리를 봐야 하는 이유

예전에는 AI 서버를 구축할 때 GPU 몇 장인지가 가장 중요한 질문이었어. 앞으로는 질문이 달라질 거야.

• GPU는 무엇인가?
• HBM은 몇 GB인가?
• 메모리 대역폭은 충분한가?
• 추론 성능은 얼마나 유지되는가?
• 장기 운영 비용은 얼마나 되는가?

특히 HR SaaS, ERP, 그룹웨어, 병원 EMR, 투석센터 AI 분석처럼 실제 서비스를 운영하는 기업이라면 더욱 그래.

AI 서비스는 벤치마크 점수보다 지속적으로 빠르게 응답하는 것이 더 중요하기 때문이야.

GPU만 좋다고 해결되는 시대는 끝나가고 있어.

 

AI 인프라의 승부는 이제 균형이다

AI 시장을 보면 항상 병목이 이동해. CPU 시대에는 CPU가 부족했고, GPU 시대에는 GPU가 부족했어. 이제는 메모리가 부족해지고 있어.

몇 년 뒤에는 네트워크나 전력, 냉각 기술이 새로운 병목이 될 수도 있어.

결국 AI 인프라는 하나의 부품이 아니라 모든 요소가 균형을 이뤄야 최고의 성능을 낼 수 있는 거야.

 

요약

월가가 마이크론을 '다음 엔비디아'라고 부르는 이유는 단순히 주가가 많이 올랐기 때문이 아니야.

AI 시장의 중심이 GPU에서 메모리까지 확장되고 있다는 신호이기 때문이야.

앞으로 AI 경쟁은 "누가 더 좋은 GPU를 갖고 있느냐"보다 "GPU와 메모리, 스토리지, 네트워크를 얼마나 효율적으로 설계하느냐"가 더 중요한 시대가 될 가능성이 커. 기업도 마찬가지야. AI를 도입할 때 모델만 고민할 것이 아니라 인프라 전체를 함께 설계해야 해.

AI 붐 1막이 GPU의 시대였다면, AI 붐 2막은 메모리와 인프라의 시대가 시작되고 있는지도 모르겠어.