메모리 대역폭 하향 조정과 사양 변경 배경
차세대 인공지능 가속기인 '베라 루빈'에 탑재되는 6세대 고대역폭메모리(HBM)의 대역폭이 당초 예고되었던 수치보다 약 13%가량 낮게 조정된 것으로 확인되었다. 이에 대해 엔비디아 측은 개발 단계에서 설정했던 목표치가 실제 양산 단계의 기준과 차이가 발생함에 따라 사양을 현실화한 것이라고 설명하며, 제품의 전체적인 처리 성능에는 아무런 문제가 없다고 강조했다.
엔비디아는 최근 이루어진 베라 루빈의 사양 변경 건에 대해, 개발 과정 중에 공개했던 데이터들은 예비 아키텍처를 기반으로 한 목표치에 불과했다고 밝혔다. 최종적으로 확정된 사양은 철저한 검증을 마친 후 대량 생산 체제에 들어가는 시스템이 지속적으로 구현할 수 있는 실질적인 성능 수치를 반영한 결과라는 것이 회사의 입장이다.
GPU 및 시스템 단위의 세부 수치 변화
기존 발표에 따르면 그래픽처리장치(GPU) 1개당 288GB의 메모리를 탑재해 초당 22TB의 데이터 처리 능력을 갖출 것으로 예상되었으나, 최근 공개된 최종 사양에서는 대역폭이 초당 19.2TB로 12.7% 하향되었다. 다만 메모리 용량은 기존과 동일한 288GB를 유지했다. 이와 함께 링크 대역폭 역시 초당 3.6TB에서 3TB로 16.7% 감소한 것으로 나타났다.
72개의 GPU를 결합한 최상위 시스템인 '베라 루빈' 급의 성능 변화도 뚜렷하다. 시스템 전체의 대역폭은 초당 1580TB에서 1400TB로 11.4% 줄어들었으며, 링크 대역폭 또한 260TB에서 216TB로 16.9% 낮아졌다. 반면 네트워킹 대역폭은 초당 28.8TB에서 32.4TB로 12.5% 상향 조정되며 차이를 보였다.
시스템 전체 효율 중심의 성능 평가
HBM은 여러 개의 D램을 수직으로 적층해 데이터 처리 속도를 극대화한 메모리로, 가속기 연산에 필요한 데이터를 신속하게 전달하는 핵심 역할을 수행한다. 이번 대역폭 하향에도 불구하고 루빈의 메모리 용량이 288GB로 동일하게 유지됨에 따라, 대역폭 감소가 곧바로 메모리 공급 물량의 축소로 이어지지는 않을 전망이다.
엔비디아는 개별 부품의 사양이 낮아진 것이 곧바로 AI 서비스의 성능 저하를 뜻하는 것은 아니라고 역설했다. 회사 측은 애플리케이션의 성능이 단일 부품의 수치만으로 결정되는 것이 아니라고 설명하며, 추론과 도구 호출, 정보 검색 및 평가 과정을 수천 번 반복해야 하는 에이전틱 AI의 특성상 데이터센터 전체 규모의 성능이 무엇보다 중요하다고 덧붙였다.
이미 발표된 외부 성능 평가 결과들 역시 최종 양산 사양을 근거로 측정되었다는 점도 언급되었다. 현재 본격적인 생산과 출하가 진행 중인 베라 루빈은 이전 세대인 블랙웰보다 전력 대비 성능 및 달러당 토큰 처리량 측면에서 각각 30배 높은 효율을 자랑한다. 엔비디아는 실제 작업 환경에서의 성능을 비교할 때는 개별 부품의 최대 스펙보다 시스템 전체의 통합 처리 효율을 기준으로 판단해야 한다고 강조했다.