事前学習

英国のフィナンシャル・タイムズによると、中国企業がアメリカのトップAIラボとのギャップを縮小し続ける中、字節跳動はAnthropicの最先端のMythosシステムに近い規模のAIモデルを訓練しています。3人の関係者によると、この中国のテクノロジー大手は現在、パラメータ数が10兆レベルに達する超大規模モデルの訓練の初期段階にあり、これは現在中国で発表されている最大のモデル「月の暗面」傘下のKimi K3モデルの約3倍です。そのうちの1人の関係者は、字節跳動のモデルは現在プレトレーニング中であり、この段階は通常3〜6ヶ月かかると述べています。すべてが順調に進めば、その後微調整を行い、リリースされる予定です。モデルの具体的な規模は後で決定されます。Anthropicはそのモデルのパラメータ規模を公表していませんが、業界の推定によれば、最先端のMythos 5モデルのパラメータ数は約8兆、Fable 5は約5兆とされています。注意が必要なのは、パラメータ数はモデルが情報を保存する基本容量または記憶の上限を決定しますが、モデルの実際の能力はデータの質や訓練方法などの他の要因にも依存するということです。

ChainCatcher のメッセージ、マスクが X プラットフォームで投稿し、Grok 3 が間もなく登場することを発表しました。事前トレーニングはすでに完了しており、計算量は Grok 2 の 10 倍です。