DeepSeek는 3FS를 오픈소스하고 출시하여 고속 병렬 파일 시스템을 최적화한 AI 데이터 접근을 제공합니다

ChainCatcher 메시지에 따르면, DeepSeek의 발표에 따라 오픈소스 주의 다섯 번째 날에 Fire-Flyer 파일 시스템(3FS)이 공식 오픈소스화되었습니다. 고성능 병렬 파일 시스템인 3FS는 현대 SSD와 RDMA 네트워크를 최대한 활용하여 고속 데이터 접근을 가능하게 하고, AI 모델 훈련 및 추론 효율성을 향상시킵니다.

3FS 주요 성능 지표:

• 180 노드 클러스터에서 6.6 TiB/s의 총 읽기 처리량 달성
• 25 노드 GraySort 벤치마크 테스트에서 3.66 TiB/분의 처리량 도달
• 단일 노드 KVCache 쿼리 피크 처리량 40+ GiB/s 초과

3FS는 분리형 아키텍처를 채택하여 데이터 전처리, 데이터셋 로딩, 체크포인트 저장/복구, 임베딩 벡터 검색 및 추론 KVCache 쿼리를 지원하며, 강력한 일관성 의미를 갖추고 있습니다. DeepSeek는 Smallpond 데이터 처리 프레임워크를 동시 출시하여 3FS 데이터 관리 능력을 더욱 최적화합니다.