“학습 끝났다, 이제 수익의 시간” 엔비디아가 그록 삼킨 이유

FORTUNE Korea 2025년 12월 31일 오전 11:30 조회수

700

엔비디아는 GPU(그래픽처리장치)로 AI 제국을 세웠다. 그리고 AI 가속 칩 스타트업 그록(Groq)의 핵심 기술과 인력을 약 200억 달러에 인수했다. 이는 엔비디아가 GPU만으로 AI의 산업을 완전히 장악할 수 있다고 확신하지 않는다는 신호로 읽힌다. 특히 AI가 학습을 끝낸 뒤, 사용자의 요청을 받아 실제로 답을 만들어내는 실행 단계를 뜻하는 인퍼런스(inference) 국면에선 더 그렇다.

AI 인퍼런스를 둘러싼 경쟁의 본질은 결국 ‘경제성’이다. 모델 학습이 끝난 뒤 AI가 실제로 가치를 만드는 모든 순간은 인퍼런스에서 발생한다. 질문에 답하고 코드를 생성하고 상품을 추천하고, 문서를 요약하고 이미지를 분석하는 게 다 인퍼런스에서 발생한다. 이때 AI는 ‘이미 들인 비용’이 아니라 매출을 만드는 서비스로 전환된다. 동시에 비용을 낮추고, 지연시간(응답까지 기다려야 하는 시간)을 줄이며, 효율을 높이라는 압박도 함께 커진다.

바로 그 이유로 인퍼런스는 산업의 다음 수익 전장으로 떠올랐다. 그리고 엔비디아는 크리스마스 연휴 직전에 발표된 거래를 통해, 초저지연·고속 인퍼런스에 특화된 칩을 만드는 스타트업 그록의 기술을 라이선스하고, CEO 겸 창업자 조너선 로스(Jonathan Ross)를 포함한 핵심 인력 대부분을 영입했다.

젠슨 황 엔비디아 CEO는 인퍼런스의 난이도를 공개적으로 강조해왔다. 그는 엔비디아가 AI의 “모든 단계에서 뛰어나다”고 말하면서도, 11월 3분기 실적 발표 자리에서 인퍼런스는 “정말, 정말 어렵다”고 했다. 단순히 ‘프롬프트 한 번 넣고 답 한 번 받는’ 문제가 아니라는 뜻이다.

현대 인퍼런스는 지속적인 추론, 동시에 접속하는 수백만 사용자, 확실한 저지연 보장, 끊임없는 비용 제약을 함께 만족해야 한다. 여러 단계를 거쳐 일을 처리하는 AI 에이전트가 확산하면, 인퍼런스 수요와 복잡성은 더 커지고, 잘못 설계했을 때의 대가도 커진다.

황은 “사람들은 인퍼런스를 ‘원샷’이라 생각해 쉽다고 본다. 누구나 그렇게 시장에 접근할 수 있다. 하지만 결국 가장 어려운 문제로 드러난다. 생각하는 일 자체가 꽤 어렵기 때문”이라고 말했다.

엔비디아가 그록을 ‘지원’하는 선택은 이런 인식과 맞닿아 있다. AI 학습(training)을 지배하는 회사조차, 인퍼런스의 경제성이 어떤 형태로 귀결될지에 대해 ‘보험’을 들고 있다는 의미다.

황은 인퍼런스의 비중이 앞으로 더 커질 것이라는 전망도 내놨다. 그는 BG2 팟캐스트에서 인퍼런스가 이미 AI 관련 매출의 40% 이상을 차지한다고 말했고, 그 규모가 “10억 배”로 커질 것이라고까지 전망했다. “대부분이 아직 완전히 체감하지 못한 부분”이라며 “우리가 말하던 산업, 바로 산업혁명”이라고 표현했다.

이처럼 인퍼런스가 AI 성장의 중심축이 된다면, 엔비디아가 ‘어떤 방식으로 인퍼런스를 제공할지’에 대해 공격적으로 헤지에 나서는 것도 설명된다.

캄브리안-AI 리서치(Cambrian-AI Research) 창립자이자 수석 애널리스트인 칼 프로인트(Karl Freund)는 “엔비디아는 시장의 모든 구간에 손을 뻗어두기 위해 베팅을 분산하고 있다”고 말했다. 그는 이를 “메타가 인스타그램을 인수한 것”에 비유했다. 페이스북이 나쁘다고 본 게 아니라, 경쟁할 수 있는 대안을 ‘경쟁자가 되기 전에’ 품어두려 했다는 논리다.

이는 황이 기존 엔비디아 인퍼런스 플랫폼의 경제성을 강하게 주장해온 점을 감안하면 더 의미심장하다. 프로인트는 “고객에게 기대만큼 잘 먹히지 않았거나, 혹은 그록과 D-매트릭스(D-Matrix)가 택한 ‘메모리 기반 칩 접근’에서 엔비디아가 뭔가를 봤을 수 있다”고 추정했다. D-매트릭스는 마이크로소프트의 지원을 받는 저지연 인퍼런스 칩 스타트업으로, 최근 20억 달러 가치평가로 2억 7500만 달러를 조달한 바 있다.

프로인트는 엔비디아의 그록 행보가 이 분야 전체의 가치를 끌어올릴 수 있다고도 봤다. “D-매트릭스 입장에선 꽤 기분 좋은 소식일 것”이라며, “이번 엔비디아-그록 거래 덕분에 다음 라운드는 더 높은 밸류에이션으로 갈 가능성이 있다”고 말했다.

업계에서는 AI가 챗봇을 넘어 로봇, 드론, 보안 도구 같은 ‘실시간 시스템’으로 확장하면서 인퍼런스의 경제성이 바뀌고 있다는 지적도 나온다. 이런 시스템은 클라우드로 데이터를 보내고 다시 받는 과정에서 생기는 지연을 감당하기 어렵다. 컴퓨팅 자원이 항상 확보된다는 보장도 없다. 그래서 중앙집중형 GPU 클러스터보다, 그록처럼 특화된 칩을 선호하는 흐름이 강해질 수 있다는 것이다.

오픈인퍼(OpenInfer) CEO이자 창업자인 베남 바스타니(Behnam Bastani)는 자사가 데이터가 생성되는 지점 가까이—기기, 센서, 로컬 서버 등—에서 인퍼런스를 돌리는 ‘엣지(edge)’ 활용 사례를 겨냥하고 있다고 말했다. 그는 인퍼런스 시장이 아직 초기 단계라고 강조했다.

그리고 엔비디아는 그록 거래로 그 초기 시장을 ‘선점’하려 한다는 분석이다. 인퍼런스 경제성이 아직 확정되지 않은 만큼, 단일 아키텍처에 올인하기보다 하드웨어 스택 전체를 포괄하는 기업으로 자리매김하려 한다는 뜻이다. 바스타니는 “엔비디아를 더 큰 우산 아래로 확장해준다”고 말했다.

/ 글 Sharon Goldman & 편집 김다린 기자 quill@fortunekorea.co.kr