事前学習

Dwarkesh Patel と Jerry Han は 2026 年 9 月 8 日に研究を発表し、2019 年から 2025 年までの事前学習の進展におけるデータとモデルの改善の貢献を分析しました。研究は小規模で、事前学習に焦点を当て、毎年その年に公開されたモデルのレシピと公開データコーパスに対応し、最大 1e19 FLOPs のトレーニング計算規模で組み合わせてトレーニングを行いました。結果は、1e19 FLOPs の計算予算の下で、データ改善による計算効率の向上が 12.0 倍、モデル改善が 3.7 倍であり、データ側の向上はモデル側の約 3.24 倍であることを示しています。データとモデルの改善の向上は大体独立しており、ほとんど相互作用がなく、線形モデルの下で両者の加算効果は OLMES スコアの 88% の分散を説明できます。モデル側は GPT-2 から OLMo-2 へ進化し、オプティマイザー、位置エンコーディング、正規化、活性化関数、初期化などを含みます。データ側は 2019 年の約 90 億トークンの OpenWebText から、2025 年にはより大規模で、フィルタリングがより細かい UltraFineWeb などのコーパスへと進化しました。

Xユーザーsynthwaveddによると、OpenAIは最近次の段階の事前トレーニングを完了し、内部コード名は「Bel」で、以前の「Doug」の後継モデルです。このモデルの総パラメータ量は10Tを超え、規模はGPT-4.5に近く、さらなる強化学習を経て、AstraおよびGPT-6の基盤モデルとなることが期待されており、後のGPT-6時代やAGIの閾値モデルに近づく基盤となる可能性があります。この進展はAnthropicにとって懸念材料となっているとのことです。OpenAI側は、Anthropicが現在Astraの公開に対抗するための有効な手段を持っていないと考えており、事情を知る人によればこの判断は基本的に正しいとのことです。主な理由は計算能力の制限です。Anthropicは、今年残りの期間にOpenAIが主導する可能性に備えて準備を進めていますが、来年初めには再びリードを取り戻すことが期待されています。

英国のフィナンシャル・タイムズによると、中国企業がアメリカのトップAIラボとのギャップを縮小し続ける中、字節跳動はAnthropicの最先端のMythosシステムに近い規模のAIモデルを訓練しています。3人の関係者によると、この中国のテクノロジー大手は現在、パラメータ数が10兆レベルに達する超大規模モデルの訓練の初期段階にあり、これは現在中国で発表されている最大のモデル「月の暗面」傘下のKimi K3モデルの約3倍です。そのうちの1人の関係者は、字節跳動のモデルは現在プレトレーニング中であり、この段階は通常3〜6ヶ月かかると述べています。すべてが順調に進めば、その後微調整を行い、リリースされる予定です。モデルの具体的な規模は後で決定されます。Anthropicはそのモデルのパラメータ規模を公表していませんが、業界の推定によれば、最先端のMythos 5モデルのパラメータ数は約8兆、Fable 5は約5兆とされています。注意が必要なのは、パラメータ数はモデルが情報を保存する基本容量または記憶の上限を決定しますが、モデルの実際の能力はデータの質や訓練方法などの他の要因にも依存するということです。

ChainCatcher のメッセージ、マスクが X プラットフォームで投稿し、Grok 3 が間もなく登場することを発表しました。事前トレーニングはすでに完了しており、計算量は Grok 2 の 10 倍です。