Huawei Ascend 950PR tốc độ tính toán ma trận chỉ bằng 43% của H100

Cơ quan nghiên cứu bán dẫn SemiAnalysis công bố kết quả thực nghiệm của Huawei Ascend 950PR. Cơ quan này đã chọn 1055 nhóm ma trận tính toán thường dùng cho mô hình lớn, chương trình nền tảng của Huawei đã cho phép 950PR phát huy 86% sức mạnh tính toán tối đa, cao hơn 75.5% của NVIDIA H100; tốc độ tính toán thực tế vẫn chỉ đạt 43% của H100, trong khi B300 tương đối mới chỉ đạt 21%. Nhóm kết quả này vẫn chưa sử dụng các toán tử mới được chuyển đổi từ DeepSeek.

DeepSeek đang giảm thiểu việc di chuyển dữ liệu và thời gian chờ từ phía phần mềm. Trong tính toán chú ý, FlashMLA đã điều chỉnh bộ nhớ, cho phép hai dữ liệu cần đọc riêng biệt có thể được lấy cùng một lúc; TileLang cho phép chip vừa tính toán vừa tải trước lô dữ liệu tiếp theo. SemiAnalysis đã thực nghiệm, việc tự động lập lịch đã giúp giảm thời gian cho một số nhiệm vụ tính toán nhỏ khoảng 40%. DeepSeek cũng đã chuyển đổi DeepEP, chịu trách nhiệm về giao tiếp giữa các chuyên gia MoE, nhưng giao tiếp và tính toán vẫn sẽ cạnh tranh băng thông bộ nhớ, Huawei dự định sẽ tiếp tục cải tiến firmware.

Năm ngoái, DeepSeek đã thử nghiệm đào tạo R2 bằng chip Huawei Ascend, nhưng sự hỗ trợ từ kỹ sư Huawei tại chỗ cũng không thể hoàn thành, vấn đề liên quan đến độ ổn định của chip, giao tiếp giữa các thẻ và hỗ trợ phần mềm. Năm nay, hai bên tiếp tục hợp tác, vào cuối tháng 9, DeepSeek đã công khai sáu bộ mã thích ứng với Ascend, và vào tháng 10 lại có tin tức rằng Huawei đang điều chỉnh thiết kế chip thế hệ tiếp theo theo nhu cầu mô hình của DeepSeek. 950PR trong thử nghiệm này chủ yếu hướng đến xử lý đầu vào suy diễn, DeepSeek chuẩn bị nhanh nhất vào cuối năm cho việc tiền đào tạo quy mô lớn là 950DT. Trước đó, hai bên đã thực hiện thử nghiệm ở quy mô hàng nghìn thẻ, nhưng để hàng chục ngàn chip hoàn thành một vòng đào tạo mô hình lớn liên tục, vẫn cần giải quyết các vấn đề phối hợp và ổn định phức tạp hơn.