DeepSeek 全面开源推理框架 DeepInfer 兼容华为昇腾
ChainCatcher 消息,DeepSeek 宣布全面开源其内部推理框架 DeepInfer,并同步开源生产级 Token 编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与深度优化推理引擎,支持分布式推理、推测解码、SWA Bounded Replay 及结构化输出,兼容英伟达与华为昇腾平台。
DeepSeek 表示,已基于 DeepInfer 实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务,未来新模型的推理代码及优化也将在此持续更新。deepseek-recipe 与 DeepSeek 官方 API 处理逻辑完整对齐,旨在确保社区获得与官方部署一致的体验。开源仓库及技术报告已同步发布。






