Marvell은 AI "메모리 디커플링" 아키텍처를 출시하여 에이전틱 AI 추론의 대역폭 병목 현상을 해결할 것입니다
공식 소식에 따르면, Marvell Technology는 AI 인프라를 위한 차세대 메모리 솔루션 조합을 발표하였으며, 서버급 AI 스토리지, 랙급 CXL 메모리 확장 및 풀링, 다중 캐비닛 광 상호 연결 공유 메모리를 포함하여 Agentic AI 추론 과정에서 증가하는 메모리 용량과 대역폭 병목 현상을 해결하는 것을 목표로 하고 있습니다.Marvell은 AI 모델의 규모가 확대되고, 컨텍스트 윈도우가 연장되며, KV Cache 수요가 증가함에 따라 전통적인 컴퓨팅과 메모리의 긴밀한 결합 아키텍처가 AI 추론 효율성을 제한하고 있다고 밝혔습니다. 메모리 분리(memory disaggregation)를 통해 메모리 자원을 컴퓨팅 자원과 더 독립적으로 확장할 수 있어 GPU 활용도를 높이고 데이터 이동 지연을 줄일 수 있습니다. 이번에 발표된 제품은 다음과 같습니다:Bravera SC6 PCIe 6.0 SSD 컨트롤러: AI 추론 스토리지 시나리오를 위해 설계되었으며, 클라우드 서비스 제공업체가 더 많은 KV Cache를 고성능 SSD로 이전하여 인프라 효율성을 높이는 데 도움을 줍니다. 이 제품은 다수 공급업체 NAND와 호환되는 아키텍처를 채택하고 있으며, 2026년 4분기부터 샘플이 제공될 예정입니다.Marvell Structera X 메모리 확장 솔루션: CXL 기술을 기반으로 하여 랙급 메모리 확장 및 자원 풀링을 지원하며, 데이터 센터가 메모리 자원을 보다 유연하게 공유하고 조정할 수 있도록 도와 AI 인프라 비용을 절감합니다.Marvell Photonic Fabric 광 상호 연결 메모리 솔루션: 광 상호 연결 기술을 통해 다중 캐비닛 공유 메모리 아키텍처를 구축하며, 최대 32TB의 온도 KV Cache 언로드를 지원하고 AI 추론 클러스터의 처리 능력을 향상시킵니다.Marvell은 Photonic Fabric 솔루션이 기존 데이터 센터의 공간 및 전력 소비 제한 내에서 최대 2배에서 3배의 Token 처리량 향상을 달성할 수 있으며, 더 큰 규모의 모델과 더 긴 컨텍스트 AI 애플리케이션을 지원한다고 밝혔습니다.Marvell의 고위 경영진 Will Chu는 AI 인프라가 단일 서버 아키텍처에서 컴퓨팅, 메모리 및 연결이 협력하여 운영되는 시스템으로 전환되고 있으며, 미래의 메모리는 자원 활용도와 Token 효율성을 높이기 위해 더욱 독립적으로 확장되어야 한다고 말했습니다.AI Agent와 대규모 모델 추론 수요가 지속적으로 증가함에 따라, 메모리 용량, 대역폭 및 데이터 전송 효율성이 계산 능력 다음으로 AI 인프라 경쟁의 새로운 초점이 되고 있습니다.
