승천

인공지능 회사 DeepSeek가 화웨이의 승천 계산 플랫폼을 위한 인프라 구성 요소를 공식 오픈소스화했습니다. 여기에는 TileLang 고급 언어 컴파일 도구, 계산 라이브러리 및 분산 통신 라이브러리가 포함되며, 이전에 엔비디아 플랫폼을 위한 오픈소스 구성 요소와 일대일로 대응합니다. TileLang은 범용적이고 프로그래밍이 더 간단하며 하드웨어 성능 한계에 도달할 수 있는 고급 언어를 제공하는 것을 목표로 하며, CUDA에 비해 개발 효율성을 높이고 논리를 단순화할 수 있습니다. 또한, 그 프로그래밍 모델은 칩 특성을 활용할 수 있습니다.TileLang 경로는 먼저 엔비디아 플랫폼에서 검증되었으며, 이미 DeepSeek V4 시리즈 모델 훈련에서 대부분의 연산자의 구현을 지원하고 있습니다. 이번에 오픈소스화된 승천 버전은 승천 Ascend C 저수준 명령어를 캡슐화하여 하드웨어 성능을 손상시키지 않으면서 고급 언어 프로그래밍 방식을 제공합니다. 현재 DeepSeek 훈련에서 사용되는 모든 TileLang 연산자는 승천에서 고성능 구현이 존재합니다.동시에 오픈소스화된 구성 요소에는 DeepGEMM, DeepEP, TileKernels, FlashMLA 및 DeepSelect가 포함되어 있으며, 각각 범용 행렬 연산, 대규모 장치 간 통신, 일반 벡터 계산 및 메모리 접근, 긴 컨텍스트 희소 주의 및 데이터 필터링에 사용됩니다. DeepSeek는 여러 주요 테스트에서 관련 계산 및 통신 성능이 하드웨어 한계에 근접했다고 주장하며, 연구 개발 과정에서 화웨이 팀의 지원을 받았고, 양측은 승천 950 기반의 128 카드 초 노드 솔루션을 추진하며 계산 및 통신을 깊이 최적화했습니다.

연구 기관 Delphi Digital은 하드웨어 제한이 중국 실험실을 더 저렴한 모델과 더 효율적인 기술 스택으로 전환시키고 있다고 발표했습니다. 수출 통제가 고급 칩을 획득하는 것을 제한하고, 국내 가속기는 추론을 처리할 수 있지만 최첨단 훈련은 여전히 어렵습니다. 중국 실험실은 시스템 효율성, 모델 아키텍처, 훈련 데이터 및 강화 학습에서 혁신을 이루었으며, DeepSeek는 GPU 유휴 상태를 피하는 데이터 이동 방식을 찾았고, 바이트댄스와 Moonshot는 몇 달 내에 유사한 버전을 출시했습니다.아키텍처 훈련은 국산 칩에 적합한 더 저렴한 디지털 형식으로 전환되었고, 희소 아키텍처는 각 토큰의 실행량을 줄였으며, 주의 메커니즘은 긴 컨텍스트 메모리 비용을 제어하기 위해 세 번 재설계되었습니다. 데이터 측면에서는 더 밀집된 예측 목표와 더 나은 최적화를 통해 각 토큰 학습 신호를 향상시켰습니다. 강화 학습에서 DeepSeek의 GRPO는 기본 레시피가 되었고, 바이트댄스, 알리바바 및 MiniMax는 1년 내에 각자의 후속 계획을 출시했습니다. 중국 모델은 현재 비용이 가장 낮은 최첨단 인접 시스템에 속합니다.OpenRouter에서 중국 개발 모델의 주 토큰 소비 비율은 2024년 말 1.2% 미만에서 2026년 대부분으로 증가할 것으로 예상됩니다. 중국 AI 시장은 2024년부터 2026년 초까지 가격 전쟁을 겪었으며, 여러 실험실의 암묵적 수익 배수는 약 47-117배, Anthropic과 OpenAI는 약 15-21배입니다. 화웨이의 승천 칩은 현재 추론에 사용할 수 있으며, DeepSeek는 승천에서 R2를 훈련하려고 시도했으나 기술 문제로 인해 NVIDIA로 돌아갔습니다. 국내 가속기 공급은 여전히 예상 수요에 미치지 못하고 있습니다.