반도체 독주 흔들고 빅테크 순환매 불붙어
기업, AI 비용 통제 시작
전문가 "저가 추론 모델 확산, 반도체 수요 계속"
투자자들이 메모리 가격 상승세와 AI 투자 지속성을 의심하기 시작한 것이다. 엔비디아의 GPU가 팔릴수록 HBM이 필요했고 HBM이 부족할수록 삼성전자와 SK하이닉스의 몸값은 뛰었다. AI 시대의 금광이 데이터센터라면 반도체 기업은 곡괭이와 삽을 파는 회사였다. 금을 캐는 사람이 누구든 장비를 파는 쪽은 돈을 번다는 믿음이 있었다.
그 믿음에 균열을 낸 사건은 ‘메타 쇼크’였다. 메타가 남는 AI 컴퓨팅 자원을 외부 고객에게 판매하는 클라우드 사업을 검토 중이라는 보도가 나온 것이다.
블룸버그는 메타가 초과 AI 컴퓨팅 능력을 팔기 위한 클라우드 사업을 구축하고 있다고 전했다. 막대한 현금을 들여 AI 데이터센터를 깔아온 빅테크가 이제는 그 인프라를 내부에서 모두 소화하지 못할 수 있다는 의심이 시장을 흔들었다. AI 데이터센터를 위해 출혈경쟁을 이어오던 빅테크가 투자를 멈출 수도 있다는 공포가 함께했다.
AI 랠리의 첫 번째 전제는 단순했다. 컴퓨팅 파워는 늘 부족하다는 것이다. 2022년 말 챗GPT 등장 이후 빅테크는 앞다퉈 GPU를 사들였고 데이터센터를 지었다. 마이크로소프트, 아마존, 구글, 메타 같은 하이퍼스케일러들은 메모리 반도체 초호황 시대를 연 큰손 고객이었다.
PC나 스마트폰 등 개인용 기기에 주로 들어가던 메모리 반도체가 AI 데이터센터를 만나며 위상이 달라졌다. 삼성전자와 SK하이닉스의 올해 합산 영업이익이 500조원을 바라보는 것도 다 ‘고객의 수요’ 덕분이었다. 반도체를 아무리 만들어도 수요 대비 공급은 턱없이 부족했고 메모리 반도체 기업들은 80%대 ‘꿈의 영업이익률’을 기록했다.
빅테크가 남는 현금 대신 빚을 내 AI 투자를 시작했다는 것도 균열을 키웠다. 올해 상반기 전 세계 AI 관련 채권 규모는 이미 3350억달러(507조원)을 기록했다.
모건스탠리는 올해 AI 관련 글로벌 부채 발행이 5700억달러(약 850조원)를 넘을 수 있다고 전망했다. 아마존은 7월 7일 최소 250억달러(약 38조원)에 달하는 회사채 발행을 발표했다. 구글, 메타, 오라클, 엔비디아, 스페이스X 등 다른 빅테크 역시 AI 데이터센터와 반도체, 전력 설비 등에 투자하는 ‘빚투’를 이어가고 있다. ‘토큰맥싱’ 시대 지고 ‘토성비’ 시대로
토큰은 AI가 글을 읽고 답변을 생성할 때 처리하는 최소 텍스트 단위로 토큰을 많이 쓸수록 더 복잡한 업무를 처리할 수 있다. 앤트로픽의 최상위 AI 모델 ‘클로드 페이블5’는 복잡한 추론과 장시간 작업이 가능하지만 가격은 100만 토큰(단어 약 75만 개 분량)당 입력 10달러, 출력 50달러로 알려졌다. 기존 최상위 모델이었던 ‘오푸스 4.8’(입력 5달러·출력 25달러)의 2배다.
미국 테크 업계는 AI 활용을 독려했고 토큰 소비가 곧 업무 효율 증가로 이어진다고 믿었다. 오픈AI와 메타는 직원들의 토큰 소비량을 파악하는 내부 ‘AI 사용 순위표’를 만들어 경쟁을 부추길 정도였다.
오픈AI의 한 엔지니어가 일주일 동안 2100억 개의 토큰(인공지능 모델이 처리·생산하는 데이터의 단위)을 사용해 사내 토큰 소비 순위 1위에 올랐다. 오픈AI의 최상위 모델인 GPT-5.5 Pro 단가를 단순 적용해 절반은 입력, 절반은 출력 토큰이었다고 가정하면 비용은 2205만달러에 달한다. 한화로 약 332억원에 달하는 비용을 한 사람이 일주일 만에 쓴 것이다.
오픈AI의 사례는 극단적이지만 ‘에이전틱 AI’ 시대가 도래하면서 개인이 쓰는 토큰양은 기하급수적으로 늘었다. 온라인 여행사 프라이스라인의 IT 재무 부문 시니어 디렉터인 크리스 리드는 월스트리트저널에 “AI는 최종 사용자(직원)의 손에 신용카드를 쥐여주는 것과 같다”며 “이를 통제하지 못하거나 사용자가 충분히 교육받지 못했다면 그들은 엄청난 금액을 긁어댈 것”이라고 말했다.
막대한 비용 청구서에 놀란 기업들은 AI 사용법을 다시 짜고 있다. 한정된 자원으로 최대 효율을 끌어내는 이른바 ‘토성비(토큰+가성비)’라는 말까지 등장했다.
삼성전자는 최근 외부 생성형 AI를 업무에 전면 도입하면서 성과 참고 지표 가운데 하나로 ‘토큰 가성비’를 제시했다. 이는 같은 성과를 냈더라도 토큰 사용 비용이 적은 조직을 더 높게 평가하는 방식이다.
무작정 토큰을 낭비하기보다 업무 난이도에 따라 고성능 AI와 저가 AI를 섞어 사용하며 최대의 업무 효율을 끌어내겠다는 전략이다. 고객센터 답변, 문서 요약, 번역, 내부 검색에는 저가형 모델을 활용하고 코딩이나 전략 수립 등 고난도 추론이 필요한 영역만 고성능 AI를 활용하는 식이다.
‘토큰맥싱’ 바람을 타고 호황을 누려온 삼성전자와 SK하이닉스 등 메모리 업계에 이 소식이 악재로 작용한 이유다. 다시 클라우드 기업이 뜬다?이 변화 속에서 빅테크가 다시 승기를 잡을 수 있다는 분석도 나온다. 기업이 오픈AI를 쓰든, 앤트로픽을 쓰든, 딥시크 같은 오픈소스 모델을 쓰든 대부분은 클라우드 위에서 돌아간다. 이들은 AI 투자 회수 압박을 받는 동시에 클라우드 통행료를 거두는 길목을 장악할 수 있는 셈이다.
클라우드 기업이 토성비를 위한 모델 배분을 직접 해주기도 한다. AWS 베드록과 마이크로소프트 애저 AI 파운드리는 요청 난이도에 따라 작은 모델과 큰 모델을 나눠 쓰는 라우팅 기능을 내세운다.
미국 헤지펀드 거물 빌 애크먼은 최근 이런 투자 논리를 내세우며 아마존, 메타, 마이크로소프트를 시장이 놓치고 있는 종목으로 지목했다. 그는 이 세 기업을 인공지능 시대에 투자자들이 반도체와 에너지주로 몰리는 사이 실제 인공지능 인프라를 사들이는 빅테크가 외면받고 있다고 봤다.
최근 모건스탠리도 AI 투자 열기가 식은 게 아니라 반도체 업체에서 대규모 클라우드 사업자인 하이퍼스케일러로 자금이 이동하는 순환매가 나타나고 있다고 분석했다. CNBC 간판 앵커 짐 크레이머는 7월 8일 반도체 기업 주가가 급락하고 빅테크 기업의 주가가 오르자 “AI 리더십이 반도체에서 빅테크로 이동하는 첫날일 수도 있다”고 말했다.
다만 고성능 AI 모델 투자 둔화가 HBM 등 메모리 반도체 수요 기대를 단기적으로는 낮출 수 있지만 장기적으로는 영향이 없을 것이라는 분석도 있다.
이은택 KB증권 애널리스트는 “저가 모델 추론이 확산되면 총 AI 사용량은 더 늘 수 있고 이 경우 서버 D램, 낸드, 데이터센터 스토리지 수요는 계속 증가할 수 있어 최근 뉴스를 AI 수요 둔화로 읽는 것은 과하다”고 분석했다.
김영은 기자 kye0218@hankyung.com
© 한경매거진&북, 무단전재 및 재배포 금지