BTC $74,361.91 -1.74%
ETH $2,123.51 -4.84%
BNB $681.70 -1.98%
XRP $1.11 -4.42%
SOL $85.80 -3.83%
TRX $0.3191 -0.27%
DOGE $0.0688 -3.51%
ADA $0.1741 -3.81%
BCH $239.03 -3.83%
LINK $10.33 -4.18%
HYPE $74.44 -3.60%
AAVE $125.29 -3.77%
SUI $0.8165 -4.30%
XLM $0.1457 -3.61%
ZEC $1,199.19 -4.61%
AAPL $340.91 -0.47%
AMZN $258.18 -0.48%
GOOGL $282.07 -0.83%
MSFT $527.54 -0.58%
META $607.19 -0.78%
NVDA $182.43 -2.55%
TSLA $354.11 -1.13%
SNDK $814.43 -1.86%
INTC $55.24 -1.41%
SPCX $133.99 -0.61%
MU $679.69 -1.17%
AMD $444.21 -0.43%
BTC $74,361.91 -1.74%
ETH $2,123.51 -4.84%
BNB $681.70 -1.98%
XRP $1.11 -4.42%
SOL $85.80 -3.83%
TRX $0.3191 -0.27%
DOGE $0.0688 -3.51%
ADA $0.1741 -3.81%
BCH $239.03 -3.83%
LINK $10.33 -4.18%
HYPE $74.44 -3.60%
AAVE $125.29 -3.77%
SUI $0.8165 -4.30%
XLM $0.1457 -3.61%
ZEC $1,199.19 -4.61%
AAPL $340.91 -0.47%
AMZN $258.18 -0.48%
GOOGL $282.07 -0.83%
MSFT $527.54 -0.58%
META $607.19 -0.78%
NVDA $182.43 -2.55%
TSLA $354.11 -1.13%
SNDK $814.43 -1.86%
INTC $55.24 -1.41%
SPCX $133.99 -0.61%
MU $679.69 -1.17%
AMD $444.21 -0.43%

문신

전체
글
뉴스 플래시

바이두 오픈소스 문신 5.5 플래시, 총 매개변수 2800억

바이두는 문신 ERNIE-5.5-Flash-Base 모델 가중치를 오픈 소스합니다. 2025년 6월 문신 4.5 시리즈 이후 약 16개월 만에 바이두는 다시 천억 매개변수급 대모델을 오픈 소스하며, 그 사이에 발표된 문신 5.0과 5.1은 모두 오픈 소스되지 않았습니다. 문신 5.5 Flash는 추론 효율성을 주로 강조하며, 총 매개변수는 2800억으로, 하나의 토큰을 생성할 때마다 140억 매개변수만 활성화되고, 33.5조 토큰을 사용하여 제로 프리트레이닝을 진행합니다.이 모델은 최대 100만 토큰 추론 컨텍스트를 지원합니다. 바이두는 긴 텍스트 처리 메커니즘을 재설계하였으며, 43층 네트워크 중 37층은 매 128개의 역사적 토큰을 하나의 캐시 기록으로 압축하고, 나머지 6층은 원본 내용에 대한 정밀 검색 능력을 유지하여 긴 텍스트 처리의 비디오 메모리와 계산 비용을 줄입니다. 공식적으로 이는 DeepSeek-V4-Flash-Base, 텐센트 Hy3-preview-Base, 샤오미 MiMo-V2.5-Base와 통합 평가되었으며, 30개의 벤치마크 테스트 중 24개 항목에서 1위를 기록했습니다.이번에 공개되는 것은 중간 훈련과 후 훈련이 없는 순수 텍스트 베이스 모델로, 주로 개발자가 분야 미세 조정, 지시 훈련 및 강화 학습을 계속 진행할 수 있도록 제공됩니다. 바이두는 후 훈련된 문신 5.5 Flash가 곧 출시될 것이라고 밝혔습니다. 라이센스는 이전 세대보다 더 엄격해졌으며, 문신 4.5는 Apache 2.0 프로토콜을 사용하고, 5.5 Flash는 사용자 정의 라이센스로 변경되어 유럽 연합, 영국 및 한국에서의 사용을 허가하지 않습니다; 관련 제품 또는 서비스가 과거 12개월 동안 5000만 달러 이상의 수익을 올린 경우, 상용화 전에 반드시 바이두의 서면 허가를 받아야 합니다.
app_icon
ChainCatcher Building the Web3 world with innovations.