NVIDIA thông báo rằng khung Groq đã bắt đầu sản xuất hàng loạt và sẽ được triển khai tại Nebius

Tin tức từ ChainCatcher, Giám đốc cao cấp của NVIDIA, Dion Harris, đã thông báo vào thứ Hai theo giờ địa phương rằng giá đỡ Groq 3 LPX đã bước vào giai đoạn sản xuất hàng loạt và sẽ được triển khai tại trung tâm dữ liệu của nhà cung cấp dịch vụ đám mây mới Nebius, dự kiến sẽ ra mắt vào cuối năm nay. Động thái này đánh dấu việc công nghệ mà NVIDIA đạt được thông qua thỏa thuận cấp phép công nghệ trị giá khoảng 20 tỷ USD với Groq vào tháng 12 năm ngoái chính thức được thương mại hóa, nhiều nhân viên cốt lõi của Groq đã gia nhập NVIDIA, và người sáng lập Jonathan Ross đảm nhận vị trí Kiến trúc sư phần mềm chính của NVIDIA.

NVIDIA đang tăng tốc sản xuất chip Groq và cung cấp sản phẩm cho khách hàng, nhấn mạnh tầm quan trọng của suy luận độ trễ thấp. Groq 3 LPX được phát hành vào tháng 3 năm nay là bộ tăng tốc suy luận cho nền tảng Vera Rubin, với kiến trúc tích hợp 500 megabyte SRAM tốc độ cao trên chip để giảm thiểu nút thắt bộ nhớ. Mỗi giá đỡ LPX có thể tích hợp 256 chip Groq 3, NVIDIA dẫn chứng từ các bài kiểm tra cho biết có thể xử lý 3400 token mỗi giây; chip này được sản xuất bởi Samsung.

Harris cho biết, chip độ trễ thấp không phải là để thay thế GPU, mà là sử dụng bộ xử lý phù hợp cho các giai đoạn khác nhau của khối lượng công việc, các nhà cung cấp dịch vụ đám mây có thể cung cấp gói dịch vụ cao cấp hơn cho người dùng nhạy cảm với độ trễ. CEO NVIDIA, Huang Renxun, dự định phân bổ khoảng một phần tư không gian trung tâm dữ liệu cho các ứng dụng lập trình cho chip Groq, phần còn lại sẽ sử dụng hệ thống Vera Rubin, và dự kiến đến năm 2027, doanh thu tích lũy của Blackwell và Vera Rubin sẽ đạt 1 nghìn tỷ USD.