DeepSeek полностью открытая инфраструктура вывода DeepInfer совместима с Huawei Ascend
DeepSeek объявила о полном открытии своего внутреннего фреймворка вывода DeepInfer и одновременно открыла компоненты кодирования и декодирования токенов производственного уровня deepseek-recipe. DeepInfer интегрирует высокопроизводительные операторы и глубоко оптимизированный движок вывода, поддерживает распределенный вывод, декодирование предположений, SWA Bounded Replay и структурированный вывод, совместим с платформами NVIDIA и Huawei Ascend.DeepSeek заявила, что на основе DeepInfer реализовала высокопроизводительную, низкозадерживающую службу массового вывода DeepSeek V4.1 Flash, в будущем код вывода и оптимизация для новых моделей также будут постоянно обновляться. deepseek-recipe полностью согласован с логикой обработки официального API DeepSeek, с целью обеспечить сообществу опыт, аналогичный официальному развертыванию. Открытый репозиторий и технический отчет были одновременно опубликованы.
