GoogleはAIサーバーのメモリコストが75%を突破したと発表し、ソフトウェアとハードウェアの二元戦略を推進しています。

SEMICON Taiwan 2026 メモリサミットが1日に開催され、Alphabet傘下のGoogle CloudサプライチェーンインフラストラクチャのシニアディレクターNikhil Cherianは、マルチモーダルおよびハイブリッドエキスパートアーキテクチャの普及に伴い、AI計算が計算能力の制約からメモリの制約に移行したと指摘しました。高性能メモリはAIサーバーハードウェアの材料リストコストの75％以上を占めています。容量、帯域幅、消費電力のボトルネックに直面し、Googleは推論とトレーニングハードウェアの分流、無損失量子化ソフトウェアアルゴリズムなどのソフトウェアとハードウェアの二重戦略を通じて、AIメモリのボトルネックを突破しました。

Googleはハードウェアアーキテクチャにおいて分流戦略を採用し、低遅延推論向けのTPU 8iおよび超大規模トレーニング向けのTPU 8tを発表しました。TPU 8iは288 GBの高帯域幅メモリを搭載し、チップ上のSRAM容量を3倍の384 MiBに増加させ、動的対話状態とキー値キャッシュをチップ内部に配置し、ゼロチップ外遅延を実現しました。TPU 8tは9600個のチップで構成される超大型計算クラスターを通じて、HBM共有プールが2 PBの規模に達し、チップ外データ転送のボトルネックを排除し、TPU Direct Storage技術と組み合わせています。

Googleはトレーニング不要のTurboQuant無損失量子化アルゴリズムを開発し、大モデルのキー値キャッシュを32ビットから3ビットに圧縮し、精度ゼロ損失の前提の下でメモリ使用量を6倍に縮小し、8倍の注意計算加速をもたらし、旧世代DRAM統合技術を導入してコンポーネントのライフサイクルを延長しました。