馬斯克的 AI 公司 xAI 已正式公開 Grok-1 源代碼

ChainCatcher 消息，馬斯克的人工智慧公司 xAI 宣布開放其 3140 億參數混合專家模型 Grok-1 的權重和架構。Grok-1 是一個從頭開始由 xAI 訓練的大型語言模型，採用混合專家模型架構，其中 25% 的權重在給定令牌上處於活躍狀態。該模型的基本模型權重和網絡架構現已根據 Apache 2.0 許可證開放。

據悉，Grok-1 的預訓練階段已於 2023 年 10 月結束，目前發布的是原始基礎模型檢查點，未針對任何特定應用進行微調。