Скорость вычислений матрицы Huawei Ascend 950PR составляет всего 43% от H100

Исследовательская организация в области полупроводников SemiAnalysis опубликовала результаты тестирования Huawei Ascend 950PR. Организация выбрала 1055 наборов матричных вычислений, часто используемых в больших моделях, и собственные базовые программы Huawei позволили 950PR достичь 86% своей потенциальной вычислительной мощности, что выше, чем у NVIDIA H100, составляющей 75.5%; фактическая скорость вычислений все еще составляет только 43% от H100, а относительно более новой B300 — всего 21%. Эти результаты еще не использовали новые операторы, перенесенные DeepSeek.

DeepSeek стремится сократить перенос данных и время ожидания со стороны программного обеспечения. В вычислениях внимания, после настройки хранения FlashMLA, две части данных, которые ранее нужно было считывать отдельно, теперь можно получить за один раз; TileLang позволяет чипу одновременно выполнять вычисления и предварительно загружать следующую партию данных. SemiAnalysis провела тестирование, которое показало, что автоматическое распределение задач позволяет сократить время выполнения некоторых мелких вычислительных задач на 40%. DeepSeek также перенесла DeepEP, отвечающий за связь экспертов MoE, но связь и вычисления все еще будут конкурировать за пропускную способность памяти, и Huawei планирует продолжать улучшать прошивку.

В прошлом году DeepSeek пыталась обучить R2 на чипах Huawei Ascend, но даже с помощью инженеров Huawei это не удалось, проблемы касались стабильности чипов, связи между картами и поддержки программного обеспечения. В этом году обе стороны продолжают сотрудничество, в конце сентября DeepSeek сосредоточится на публикации шести наборов кода для адаптации Ascend, а в октябре появились слухи, что Huawei в соответствии с требованиями модели DeepSeek корректирует дизайн следующего поколения чипов. Тестируемый 950PR в основном предназначен для обработки входных данных вывода, DeepSeek готовит 950DT для масштабного предварительного обучения, которое должно начаться как можно скорее в конце года. Ранее обе стороны уже проводили тестирование на уровне тысяч карт, но для того, чтобы более чем на десяти тысячах чипов успешно завершить один цикл обучения большой модели, необходимо решить более сложные проблемы координации и стабильности.