DeepSeek открытые компоненты Ascend, охватывающие библиотеки компиляции, вычислений и связи

Компания искусственного интеллекта DeepSeek официально открывает исходный код инфраструктурных компонентов для платформы вычислений Huawei Ascend, включая инструменты компиляции высокоуровневого языка TileLang, библиотеки вычислений и библиотеки распределенной связи, которые соответствуют ранее выпущенным компонентам с открытым исходным кодом для платформы NVIDIA. TileLang предназначен для предоставления универсального, более простого в программировании высокоуровневого языка, который может достигать предельной производительности аппаратного обеспечения, что по сравнению с CUDA повышает эффективность разработки и упрощает логику, а его модель программирования также может использовать особенности чипа.

Маршрут TileLang сначала был проверен на платформе NVIDIA и уже реализовал большинство операторов в обучении моделей серии DeepSeek V4. Открытая версия для Ascend оборачивает низкоуровневые инструкции Ascend C, предоставляя способ программирования на высокоуровневом языке без потери производительности аппаратного обеспечения. В настоящее время каждый оператор TileLang, используемый в обучении DeepSeek, имеет соответствующую высокопроизводительную реализацию на Ascend.

Также открыты компоненты, такие как DeepGEMM, DeepEP, TileKernels, FlashMLA и DeepSelect, которые используются для общих матричных вычислений, масштабной межустройственной связи, обычных векторных вычислений и доступа к памяти, разреженного внимания с длинным контекстом и фильтрации данных. DeepSeek утверждает, что в нескольких ключевых тестах связанные вычисления и производительность связи уже близки к аппаратному пределу; в процессе разработки команда Huawei оказала поддержку, и обе стороны совместно продвигают решение с 128 картами на базе Ascend 950, а также провели глубокую оптимизацию вычислений и связи.