低延迟推論

英偉達の上級ディレクター、Dion Harrisは現地時間の月曜日に、Groq 3 LPXラックが全面的な量産段階に入ったことを発表し、新しいクラウドサービスプロバイダーNebiusのデータセンターに展開される予定で、今年の後半に稼働する見込みです。この動きは、英偉達が昨年12月にGroqと約200億ドルの技術ライセンス契約を結んだ後、得られた技術が正式に商業化されることを示しています。複数のGroqの核心社員が英偉達に参加し、創業者のJonathan Rossが英偉達のチーフソフトウェアアーキテクトを務めています。英偉達はGroqチップの生産を加速し、顧客に製品を提供しており、低遅延推論の重要性を強調しています。今年3月に発表されたGroq 3 LPXはVera Rubinプラットフォームの推論アクセラレーターで、チップのダイ上に500メガバイトの高速SRAMを統合してメモリボトルネックを減少させています。各LPXラックは256個のGroq 3を統合でき、英偉達はベンチマークテストを引用して、毎秒3400トークンを処理できると述べています。このチップはサムスンによって製造されています。Harrisは、低遅延チップはGPUを置き換えるものではなく、異なるワークロードの各段階に適切なプロセッサを使用することを目的としており、クラウドサービスプロバイダーは遅延に敏感なユーザーに対してより高い料金プランを提供できると述べています。英偉達のCEO、黄仁勲は、プログラミングアプリケーション向けのデータセンターのスペースの約4分の1をGroqチップに割り当て、残りの部分はVera Rubinシステムを使用し、2027年までにBlackwellとVera Rubinの累計売上が1兆ドルに達することを見込んでいます。