지푸 신 모델이 최대 3.5 조 개의 매개변수를 보유하고 있으며, Claude Fable 수준에 도달할 것으로 기대됩니다

에 따르면 Beating AI 속보, 투자 커뮤니티에서 유포된 전문가 인터뷰 요약에 따르면, 인공지능 회사 지푸의 차세대 기반 모델은 이전에 전해진 16조 개 매개변수가 아니라 25조에서 35조 개 매개변수라고 합니다. 지푸가 올해 8월에 발표한 GLM-5.3은 여전히 이전 세대 기반을 사용하며, 총 매개변수는 약 7440억 개입니다. 만약 이 정보가 사실이라면, 새로운 기반의 규모는 현재의 3.4배에서 4.7배에 달할 것입니다.

요약에서는 훈련이 순조롭지 않았다고 언급하며, 지푸는 더 공격적인 모델 아키텍처를 채택했으며, 사전 훈련 기간 동안 한때 Loss가 감소하지 않는 상황이 발생했다고 합니다. 즉, 지속적으로 연산 능력을 투입했지만 훈련 지표가 계속 개선되지 않았습니다. 인터뷰에 응답한 사람들은 최근에 문제가 해결되었을 것으로 보며, 곧 훈련을 완료할 것으로 예상하고, 새로운 모델이 Claude Fable 수준의 플래그십 수준에 도달할 것으로 예측하고 있습니다.

요약은 또한 새로운 모델이 아키텍처 설계 단계에서 추론 속도와 비용을 하드 제약으로 설정했으며, 목표는 출시 첫날부터 대규모 서비스를 제공하는 것이라고 언급했습니다. 동시에 여러 클라우드 업체가 수익 분배에 대해 논의 중이며, 대형 모델의 공급 문제를 해결하기 위해 노력하고 있습니다.