Micron cảnh báo việc lưu trữ AI gia tăng, HBM chiếm khoảng 17% trong quá trình đào tạo Meta Llama 3 bị gián đoạn

Theo thông tin từ ChainCatcher, theo báo cáo của TrendForce, tại Hot Chips 2026, Micron nhấn mạnh rằng sự tiến bộ về sức mạnh tính toán AI nhanh hơn sự nâng cấp lưu trữ, thách thức "bức tường lưu trữ" ngày càng nổi bật. Fellow của Micron, Raghu Sriramaneni, chỉ ra rằng sức mạnh tính toán của bộ tăng tốc AI tăng gấp ba lần khoảng mỗi hai năm, trong khi băng thông HBM tăng chưa đến gấp đôi trong cùng thời gian, khoảng cách này có thể tiếp tục mở rộng. Sự phụ thuộc sâu hơn vào HBM cũng mang lại vấn đề về độ tin cậy, Micron trích dẫn dữ liệu từ Meta Llama 3 cho biết, lỗi HBM chiếm khoảng 17% trong các gián đoạn huấn luyện không mong đợi. Thiết kế mới về tính toán mờ và ranh giới lưu trữ có thể giúp vượt qua các nút thắt.

Mở rộng HBM cũng mang lại áp lực về diện tích và cung ứng: thế hệ đóng gói mới nhất tích hợp hai GPU với tám cụm HBM4 12 lớp, lưu trữ chiếm khoảng 90% diện tích bán dẫn, gấp tám lần diện tích mà GPU chiếm; để đạt được dung lượng tương đương với HBM cần ba lần wafer DDR5 DRAM tiêu chuẩn. Quản lý nhiệt cũng trở thành rào cản quan trọng, các giải pháp như làm mát bằng chất lỏng và chip siêu mỏng đang được khám phá.

Micron đang thúc đẩy đổi mới trong kết nối, đóng gói và làm mát, bao gồm SerDes và die-to-die PHY tối ưu hóa cho lưu trữ, đóng gói tiên tiến với kích thước lớn hơn SiP và bảng mạch thủy tinh, cũng như làm mát bằng chất lỏng, liên kết hỗn hợp, và đang phát triển liên kết fusion để giảm điện trở nhiệt và nâng cao thông lượng dữ liệu.