머스크의 AI 회사 xAI가 Grok-1 소스 코드를 공식 공개했습니다

ChainCatcher 메시지, 머스크의 인공지능 회사 xAI가 3140억 매개변수 혼합 전문가 모델 Grok-1의 가중치와 아키텍처를 공개한다고 발표했습니다. Grok-1은 xAI가 처음부터 훈련한 대형 언어 모델로, 혼합 전문가 모델 아키텍처를 채택하고 있으며, 주어진 토큰에서 25%의 가중치가 활성 상태입니다. 이 모델의 기본 모델 가중치와 네트워크 아키텍처는 현재 Apache 2.0 라이센스에 따라 공개되었습니다.

전해진 바에 따르면, Grok-1의 사전 훈련 단계는 2023년 10월에 종료되었으며, 현재 발표된 것은 원래 기본 모델 체크포인트로, 특정 애플리케이션에 대해 미세 조정되지 않았습니다.