바이두 오픈소스 문신 5.5 플래시, 총 매개변수 2800억

바이두는 문신 ERNIE-5.5-Flash-Base 모델 가중치를 오픈 소스합니다. 2025년 6월 문신 4.5 시리즈 이후 약 16개월 만에 바이두는 다시 천억 매개변수급 대모델을 오픈 소스하며, 그 사이에 발표된 문신 5.0과 5.1은 모두 오픈 소스되지 않았습니다. 문신 5.5 Flash는 추론 효율성을 주로 강조하며, 총 매개변수는 2800억으로, 하나의 토큰을 생성할 때마다 140억 매개변수만 활성화되고, 33.5조 토큰을 사용하여 제로 프리트레이닝을 진행합니다.

이 모델은 최대 100만 토큰 추론 컨텍스트를 지원합니다. 바이두는 긴 텍스트 처리 메커니즘을 재설계하였으며, 43층 네트워크 중 37층은 매 128개의 역사적 토큰을 하나의 캐시 기록으로 압축하고, 나머지 6층은 원본 내용에 대한 정밀 검색 능력을 유지하여 긴 텍스트 처리의 비디오 메모리와 계산 비용을 줄입니다. 공식적으로 이는 DeepSeek-V4-Flash-Base, 텐센트 Hy3-preview-Base, 샤오미 MiMo-V2.5-Base와 통합 평가되었으며, 30개의 벤치마크 테스트 중 24개 항목에서 1위를 기록했습니다.

이번에 공개되는 것은 중간 훈련과 후 훈련이 없는 순수 텍스트 베이스 모델로, 주로 개발자가 분야 미세 조정, 지시 훈련 및 강화 학습을 계속 진행할 수 있도록 제공됩니다. 바이두는 후 훈련된 문신 5.5 Flash가 곧 출시될 것이라고 밝혔습니다. 라이센스는 이전 세대보다 더 엄격해졌으며, 문신 4.5는 Apache 2.0 프로토콜을 사용하고, 5.5 Flash는 사용자 정의 라이센스로 변경되어 유럽 연합, 영국 및 한국에서의 사용을 허가하지 않습니다; 관련 제품 또는 서비스가 과거 12개월 동안 5000만 달러 이상의 수익을 올린 경우, 상용화 전에 반드시 바이두의 서면 허가를 받아야 합니다.