DeepSeek 全面オープンソース推論フレームワーク DeepInfer は Huawei Ascend に対応しています

DeepSeekは、内部推論フレームワークDeepInferを全面的にオープンソース化し、同時に生産レベルのトークンエンコーディングおよびデコーディングコンポーネントdeepseek-recipeをオープンソース化したことを発表しました。DeepInferは、高性能オペレーターと深い最適化推論エンジンを統合し、分散推論、推測デコーディング、SWA Bounded Replay、および構造化出力をサポートし、NVIDIAおよびHuawei Ascendプラットフォームと互換性があります。

DeepSeekは、DeepInferに基づいてDeepSeek V4.1 Flashの高スループット、低遅延の大規模推論サービスを実現したと述べており、今後の新しいモデルの推論コードと最適化もここで継続的に更新される予定です。deepseek-recipeは、DeepSeek公式APIの処理ロジックと完全に整合しており、コミュニティが公式デプロイメントと一致した体験を得られることを目指しています。オープンソースリポジトリと技術報告書はすでに公開されています。