엔비디아는 Groq 랙의 전면 생산을 발표했으며, Nebius에 배치될 예정이다

엔비디아의 고위 이사인 Dion Harris는 현지 시간으로 월요일에 Groq 3 LPX 랙이 전면 양산 단계에 들어섰으며, 새로운 클라우드 서비스 제공업체 Nebius의 데이터 센터에 배치될 예정이라고 발표했습니다. 이 조치는 엔비디아가 지난해 12월 Groq와 약 200억 달러 규모의 기술 라이센스 거래를 체결한 후 획득한 기술이 공식적으로 상용화됨을 의미하며, 여러 Groq 핵심 직원들이 엔비디아에 합류하였고, 창립자인 Jonathan Ross가 엔비디아의 수석 소프트웨어 아키텍트로 임명되었습니다.

엔비디아는 Groq 칩의 생산을 가속화하고 고객에게 제품을 제공하고 있으며, 낮은 지연 시간 추론의 중요성을 강조하고 있습니다. 올해 3월에 출시된 Groq 3 LPX는 Vera Rubin 플랫폼 추론 가속기로, 칩 다이 위에 500MB의 고속 SRAM을 통합하여 메모리 병목 현상을 줄입니다. 각 LPX 랙은 256개의 Groq 3를 통합할 수 있으며, 엔비디아는 벤치마크 테스트를 인용하여 초당 3400개의 토큰을 처리할 수 있다고 밝혔습니다. 이 칩은 삼성에서 제조되었습니다.

Harris는 낮은 지연 시간 칩이 GPU를 대체하는 것이 아니라, 작업 부하의 다양한 단계에 적합한 프로세서를 사용하는 것이라고 말했습니다. 클라우드 서비스 제공업체는 지연에 민감한 사용자에게 더 높은 요금제를 제공할 수 있습니다. 엔비디아 CEO인 황仁勋은 프로그래밍 애플리케이션을 위한 데이터 센터 공간의 약 4분의 1을 Groq 칩에 할당할 계획이며, 나머지 부분은 Vera Rubin 시스템을 사용할 예정입니다. 또한 2027년까지 Blackwell과 Vera Rubin의 누적 매출이 1조 달러에 이를 것으로 예상하고 있습니다.