엔비디아, 전력당 토큰 처리량 최대 35배…‘AI 팩토리’ 경쟁 본격화

[이데일리 김현아 기자] 인공지능(AI) 인프라 경쟁의 기준이 바뀌고 있다. 과거에는 데이터센터에 얼마나 많은 그래픽처리장치(GPU)를 확보했는지가 중요했다면, 이제는 같은 전력으로 얼마나 많은 AI 연산을 처리할 수 있는지가 새로운 경쟁 지표로 떠오르고 있다.

엔비디아는 15일(현지시간) 미국 산타클라라에서 열린 ‘AI 인프라 서밋(AI Infrastructure Summit)’에서 베라 루빈과 그록3 LPX, 전력관리 기술을 결합한 AI 팩토리 전략을 공개했다. 그록3 LPX는 그록(Groq)의 추론 특화 칩(LPU) 기술과 엔비디아의 네트워킹·시스템 기술을 결합한 ‘Groq 3 LPX’ 플랫폼을 말한다.

GPU 성능을 높이는 데 그치지 않고 네트워크와 추론 소프트웨어, 전력관리까지 묶어 데이터센터 전체의 효율을 높이겠다는 구상이다.

엔비디아에 따르면 베라 루빈 NVL72는 세미애널리시스의 ‘에이전트X’ 벤치마크에서 딥시크 V4 프로를 구동했을 때 기존 GB300 NVL72보다 메가와트당 처리량이 최대 30배 높았다. 100만 토큰당 비용도 최대 45배 낮았다.

그록3 LPX도 2조개 이상 파라미터 규모의 모델에서 GB200 NVL72 대비 메가와트당 토큰 처리량을 최대 35배 높일 수 있다고 엔비디아는 설명했다.

엔비디아가 베라 루빈(Vera Rubin) NVL72와 그록 3 LPX(Groq 3 LPX)를 기반으로 AI 팩토리의 전력 효율을 높이고, 더 많은 토큰을 처리할 수 있도록 지원한다고 밝혔다.

같은 전력에서 GPU 40%·토큰 35% 더 처리

전력관리 기술인 ‘DSX MaxLPS’도 공개됐다. AI 데이터센터의 랙별 전력 수요에 따라 전력을 동적으로 배분해 남는 전력을 다른 연산에 활용하는 방식이다.

엔비디아는 이를 활용하면 같은 시설 전력 용량에서 GPU 용량을 최대 40% 늘리고, 신규 전력선 증설 없이 토큰 처리량을 최대 35% 높일 수 있다고 밝혔다.

전력 확보가 AI 데이터센터 확대의 주요 제약으로 떠오른 상황에서 기존 시설의 전력을 얼마나 효율적으로 활용하느냐가 비용 경쟁력과 직결되는 셈이다.

◇ 왜 ‘1MW당 토큰’인가

AI 에이전트가 확산하면서 데이터센터가 처리해야 할 연산량도 커지고 있다. 에이전트는 단순히 질문에 답하는 데 그치지 않고 추론과 검색, 외부 도구 호출을 반복한다. 한 번의 작업에서 수십만 개의 입력 토큰이 발생할 수도 있다.

따라서 AI 인프라의 경제성도 단순한 GPU 성능만으로 판단하기 어려워졌다. 제한된 전력으로 얼마나 많은 토큰을 처리할 수 있는지, 토큰 하나를 얼마나 낮은 비용으로 만들 수 있는지가 중요해진 것이다.

엔비디아의 ‘에이전트X’는 실제 에이전틱 코딩 세션을 기반으로 컨텍스트 증가와 도구 호출, 하위 에이전트 생성 등을 함께 측정한다. 기존의 단순 질문·답변형 벤치마크보다 실제 에이전트 업무에 가까운 환경에서 효율성을 비교하는 방식이다.

◇ 데이터센터가 ‘토큰 공장’으로

엔비디아가 강조하는 것은 새로운 GPU 한 개의 성능이 아니다. 베라 루빈 기반 시스템에 CPU와 GPU, 네트워크, 추론 소프트웨어, 전력관리 기술을 결합해 AI 데이터센터 전체를 하나의 시스템처럼 최적화하는 것이다.

이는 AI 데이터센터를 단순히 GPU를 모아놓은 공간에서 ‘토큰을 생산하는 공장’, 즉 ‘AI 팩토리’로 바꾸겠다는 전략과 맞닿아 있다.

AI 인프라 업계의 경쟁 기준도 ‘GPU를 몇 개 확보했는가’에서 ‘1MW로 얼마나 많은 에이전틱 작업을 처리하고, 토큰 하나를 얼마나 싸게 만들 수 있는가’로 이동하고 있다.