ファーウェイ昇腾 950PR マトリックス計算速度は H100 の 43% に過ぎません。

半導体研究機関 SemiAnalysis は、Huawei の昇騰 950PR の実測結果を発表しました。この機関は 1055 組の大規模モデルで一般的に使用される行列計算を選定し、Huawei 自身の基盤プログラムにより 950PR は自身の理論上の計算能力の 86% を発揮しており、NVIDIA の H100 の 75.5% を上回っています。しかし、実際の計算速度は H100 の 43% に過ぎず、比較的新しい B300 では 21% です。この結果は、DeepSeek の新しく移植された演算子はまだ使用されていません。

DeepSeek はソフトウェア側からデータの移動と待機を減少させています。注意計算において、FlashMLA がストレージを調整したことで、元々別々に読み取る必要があった二つのデータを一度に取得できるようになりました。TileLang はチップが計算を行いながら次のデータバッチを事前にロードできるようにします。SemiAnalysis の実測によれば、自動スケジューリングにより一部の小型計算タスクの所要時間が最大で約 40% 減少しました。DeepSeek は MoE 専門家通信を担当する DeepEP も移植しましたが、通信と計算は依然としてメモリ帯域を争奪するため、Huawei はファームウェアのさらなる改善を計画しています。

昨年、DeepSeek は Huawei の昇騰チップを使用して R2 のトレーニングを試みましたが、Huawei のエンジニアが現場で支援しても成功しませんでした。問題はチップの安定性、カード間通信、ソフトウェアサポートに関連しています。今年、両者は引き続き協力し、9 月末に DeepSeek は昇騰に適応したコードを 6 セット公開し、10 月には Huawei が DeepSeek のモデル要件に基づいて次世代チップ設計を調整しているとの情報が伝えられました。今回のテストの 950PR は主に推論入力処理を対象としており、DeepSeek は最速で年末に大規模な事前トレーニングに使用する予定の 950DT を準備しています。これまで両者は千カードレベルのテストを行ってきましたが、1 万個以上のチップが連続して大規模モデルのトレーニングを完了するためには、より複雑な協調と安定性の問題を解決する必要があります。