groq

Theo ZDNet Korea ngày 20 tháng 10 dẫn nguồn từ ngành công nghiệp bán dẫn, công ty chip AI Groq đã được Nvidia thực chất mua lại và đang thúc đẩy việc đưa vào chip thế hệ tiếp theo công nghệ đóng gói 3D DRAM để thay thế giải pháp SRAM có tốc độ nhanh nhưng dung lượng nhỏ hơn. Groq được thành lập vào năm 2016 bởi Jonathan Ross, một nhà thiết kế TPU trước đây của Google, và theo báo cáo, công ty này đã bị Nvidia mua lại theo cách gián tiếp vào năm ngoái.Báo cáo cho biết, giải pháp mà Groq đang đánh giá là 3DS, tức là đóng gói dung lượng cao kết nối các chip DRAM theo chiều dọc thông qua lỗ xuyên silicon. Đóng gói 3D có thể xếp chồng nhiều chip trần theo chiều dọc và hoạt động như một chip, so với giải pháp phẳng thì giảm diện tích và tăng hiệu suất điện năng. 3DS và HBM đều sử dụng lỗ xuyên silicon, nhưng HBM tập trung vào tốc độ truyền tải, trong khi 3DS duy trì giao diện DRAM hiện có và tập trung vào việc mở rộng dung lượng. Một người trong ngành ẩn danh cho biết, Groq dự định sử dụng đóng gói 3D cho chip thế hệ tiếp theo, trong đó xếp chồng là DRAM chứ không phải SRAM; một người khác cho biết, nhu cầu thị trường đang chuyển sang chip có dung lượng lớn hơn, vì vậy Groq đã chọn DRAM có lợi thế hơn về dung lượng.

Theo báo New York Times, các cơ quan quản lý đang điều tra thỏa thuận cấp phép giữa Nvidia và Groq.

Tin tức từ ChainCatcher, Giám đốc tài chính của NVIDIA cho biết, dự kiến sẽ bắt đầu giao hàng số lượng lớn Groq 3 LPX cho các khách hàng sớm vào cuối quý này, trong đó có Nebius.

Tin tức từ ChainCatcher, Giám đốc cao cấp của NVIDIA, Dion Harris, đã thông báo vào thứ Hai theo giờ địa phương rằng giá đỡ Groq 3 LPX đã bước vào giai đoạn sản xuất hàng loạt và sẽ được triển khai tại trung tâm dữ liệu của nhà cung cấp dịch vụ đám mây mới Nebius, dự kiến sẽ ra mắt vào cuối năm nay. Động thái này đánh dấu việc công nghệ mà NVIDIA đạt được thông qua thỏa thuận cấp phép công nghệ trị giá khoảng 20 tỷ USD với Groq vào tháng 12 năm ngoái chính thức được thương mại hóa, nhiều nhân viên cốt lõi của Groq đã gia nhập NVIDIA, và người sáng lập Jonathan Ross đảm nhận vị trí Kiến trúc sư phần mềm chính của NVIDIA.NVIDIA đang tăng tốc sản xuất chip Groq và cung cấp sản phẩm cho khách hàng, nhấn mạnh tầm quan trọng của suy luận độ trễ thấp. Groq 3 LPX được phát hành vào tháng 3 năm nay là bộ tăng tốc suy luận cho nền tảng Vera Rubin, với kiến trúc tích hợp 500 megabyte SRAM tốc độ cao trên chip để giảm thiểu nút thắt bộ nhớ. Mỗi giá đỡ LPX có thể tích hợp 256 chip Groq 3, NVIDIA dẫn chứng từ các bài kiểm tra cho biết có thể xử lý 3400 token mỗi giây; chip này được sản xuất bởi Samsung.Harris cho biết, chip độ trễ thấp không phải là để thay thế GPU, mà là sử dụng bộ xử lý phù hợp cho các giai đoạn khác nhau của khối lượng công việc, các nhà cung cấp dịch vụ đám mây có thể cung cấp gói dịch vụ cao cấp hơn cho người dùng nhạy cảm với độ trễ. CEO NVIDIA, Huang Renxun, dự định phân bổ khoảng một phần tư không gian trung tâm dữ liệu cho các ứng dụng lập trình cho chip Groq, phần còn lại sẽ sử dụng hệ thống Vera Rubin, và dự kiến đến năm 2027, doanh thu tích lũy của Blackwell và Vera Rubin sẽ đạt 1 nghìn tỷ USD.

Tin tức từ ChainCatcher, NVIDIA chính thức thông báo rằng SpaceXAI sẽ triển khai CPU Vera của NVIDIA để tăng tốc ứng dụng AI đại lý thế hệ tiếp theo. Vera là CPU đầu tiên được xây dựng đặc biệt cho AI đại lý, sở hữu 88 lõi Olympus do NVIDIA tự phát triển, sử dụng công nghệ đa luồng không gian và bộ nhớ LPDDR5X băng thông cao, với băng thông đạt 1.2TB/s, trong các tình huống như AI đại lý, học tăng cường và xử lý dữ liệu, tốc độ hoàn thành nhiệm vụ có thể tăng lên tới 1.8 lần so với CPU x86.Chủ tịch SpaceXAI, Mike Nicolls, cho biết hiệu suất CPU và băng thông bộ nhớ của Vera đủ để hỗ trợ lập kế hoạch nhiệm vụ quy mô lớn, thực thi mã và xử lý dữ liệu, giúp GPU hoạt động hiệu quả nhất, từ đó thu được nhiều sản lượng hiệu quả hơn từ mỗi watt tính toán.SpaceXAI cũng có kế hoạch mở rộng cơ sở hạ tầng AI đứng sau Grok dựa trên nền tảng NVIDIA Vera Rubin, tiến tới khả năng tính toán cấp gigawatt. Vera Rubin tích hợp tính toán tăng tốc của NVIDIA, kết nối NVLink, mạng Spectrum-X và công nghệ xử lý dữ liệu BlueField, với mục tiêu giảm chi phí mỗi token và nâng cao hiệu suất năng lượng tổng thể của nhà máy AI.Điều đáng chú ý hơn nữa là SpaceXAI sẽ đưa hệ thống Vera Rubin NVL72 phiên bản tối ưu lên không gian, với vệ tinh AI Starmind thế hệ đầu tiên sẽ sử dụng kiến trúc giá đỡ này, trở thành triển khai biểu tượng đầu tiên của tính toán tăng tốc NVIDIA mở rộng từ trung tâm dữ liệu mặt đất ra không gian.

Tin tức từ ChainCatcher, theo The Information trích dẫn hai nhân viên của NVIDIA cho biết, NVIDIA dự định sẽ giao hàng một lô nhỏ LPU (bộ xử lý ngôn ngữ) dựa trên công nghệ Groq cho khách hàng Trung Quốc trước cuối năm nay, đã có một số khách hàng Trung Quốc đặt hàng. Báo cáo cho biết chip này không cần hạ tiêu chuẩn, chỉ cần điều chỉnh phần mềm để nó có thể sử dụng với các bộ xử lý có sẵn trên thị trường Trung Quốc.NVIDIA sau đó đã phủ nhận báo cáo này, cho rằng nó "không chính xác", công ty hiện không có LPU nào được bán tại Trung Quốc, và trong lộ trình sản phẩm cũng không có "LPU đặc biệt cho Trung Quốc". Vào tháng 3 năm nay, Reuters cũng đã trích dẫn những người biết chuyện cho biết NVIDIA chuẩn bị bán chip Groq tại Trung Quốc, Huang Renxun sau đó trong một cuộc phỏng vấn với Punchbowl đã nói rằng báo cáo "hoàn toàn sai", rõ ràng tuyên bố rằng chip Groq sẽ không vào Trung Quốc. Khuyến nghị nên dựa vào tuyên bố chính thức.

According to Jinshi reports, U.S. stocks opened with the Dow Jones Industrial Average down 0.04%, the S&P 500 up 0.04%, and the Nasdaq Composite up 0.1%. Nvidia (NVDA.O) rose 0.8% as the company reached a non-exclusive technology licensing agreement with Groq. Mining stocks were influenced by the recent rise in metal prices, with Coeur Mining (CDE.N) up 3.4% and Pan American Silver (PAAS.O) up 1.9%. Storage concept stocks rose, with Micron Technology (MU.O) up 0.8% and SanDisk (SNDK.O) up 3.5%. Omdia expects AI demand to drive NAND prices up 40% next year.

According to CNBC, Nvidia has agreed to acquire all assets of AI chip startup Groq for approximately $20 billion in cash (excluding its GroqCloud business), marking its largest acquisition to date.Groq was founded by a developer of Google's TPU core and focuses on low-latency AI inference chips. Although Groq claims that the agreement with Nvidia is a "non-exclusive technology licensing agreement," its founder and CEO Jonathan Ross and the executive team will join Nvidia, with Groq's CFO Simon Edwards taking on the role of new CEO and continuing to operate independently. Nvidia emphasized that it did not acquire Groq as a whole but is integrating its low-latency processor architecture into its AI platform.

ChainCatcher message, the official block explorer Etherscan posted on social media stating that the code reader has been updated. An option has been added for users logging into their Etherscan accounts, allowing them to use the Groq AI model without needing an API key.