DeepSeek 開源並發布 3FS,高速並行文件系統優化 AI 數據訪問

2025-02-28 09:15:15
收藏

ChainCatcher 消息,据 DeepSeek 公告,在開源週第五天,其 Fire-Flyer 文件系統(3FS)正式開源,作為一款高性能並行文件系統,3FS 可充分利用現代 SSD 和 RDMA 網絡,實現高速數據訪問,提升 AI 模型訓練與推理效率。

3FS關鍵性能指標:

  • 在 180 節點集群中實現 6.6 TiB/s 總讀取吞吐量
  • 在 25 節點 GraySort 基準測試中達到 3.66 TiB/分鐘吞吐量
  • 單節點 KVCache 查詢峰值吞吐量超 40+ GiB/s

3FS採用分離式架構,支持數據預處理、數據集加載、檢查點存儲/恢復、嵌入向量搜索及推理 KVCache 查詢,具備強一致性語義。DeepSeek 同步推出 Smallpond 數據處理框架,進一步優化 3FS 數據管理能力。

鏈捕手ChainCatcher提醒,請廣大讀者理性看待區塊鏈,切實提高風險意識,警惕各類虛擬代幣發行與炒作,站內所有內容僅係市場信息或相關方觀點,不構成任何形式投資建議。如發現站內內容含敏感信息,可點擊“舉報”,我們會及時處理。
ChainCatcher 與創新者共建Web3世界