預訓練

ChainCatcher 消息，据英国金融时报，隨著中國企業繼續縮小與美國頂級人工智能實驗室之間的差距，字節跳動正在訓練一款 AI 模型，其規模可能接近 Anthropic 最先進的 Mythos 系統。據三名知情人士透露，這家中國科技巨頭目前正處於訓練一款超大規模模型的早期階段，該模型參數量可能達到 10 萬億級別，是目前中國已發布最大模型月之暗面旗下 Kimi K3 模型的約三倍。其中一位知情人士表示，字節跳動的模型目前正在進行預訓練，這一階段通常需要三到六個月，如果一切順利，之後將進行微調並發布。模型的具體規模將在後期確定。Anthropic 並未公開其模型的參數規模，但行業估計顯示，其最先進的 Mythos 5 模型參數量約為 8 萬億，Fable 5 約為 5 萬億。需要注意的是，參數數量決定了模型存儲信息的基礎容量或記憶上限，但模型實際能力還取決於其他因素，包括數據質量、訓練方式等。

ChainCatcher 消息，馬斯克在 X 平台發文稱，Grok 3 即將推出，預訓練現已完成，計算量比 Grok 2 多 10 倍。

ChainCatcher 消息，据 Cointelegraph 報導，OpenAI 聯合創始人 Ilya Sutskever 在溫哥華 NeurIPS 2024 大會上表示，AI 預訓練時代即將結束，AI 超級智能時代即將到來。他將數據比作化石燃料，指出互聯網數據增長已達峰值，而算力增長速度已超過可用訓練數據總量。Sutskever 預測，AI 發展的下一階段將由三大方向主導：自主 AI 代理、合成數據和推理時計算。