自己改善

OpenAI の首席科学者 Jakub Pachocki は 2026 年 9 月 6 日に記事『An Alien Mind』を発表しました。この記事では、2023 年中期の RLSlow 研究プロジェクトで初めてスケーラブルなトレーニング推論モデルの結果が現れたことを振り返り、3 年後には推論言語モデルが経済の急速な成長の一部となり、科学の境界を押し広げ、コンピュータやグラフィカルインターフェースを操作し、人間や他の AI と協力して研究プロジェクトを展開し、同時にコンピュータセキュリティの状況を変え、新たな危険をもたらすと述べています。著者は内部の結果に基づいて、現在の進展速度が再帰的自己改善に持続する可能性があると予想しています。AI の発展が現在の道筋を続けるなら、今後数年でシステムは同等またはそれ以上の能力の飛躍を遂げ、自らの発展をますます推進する可能性があります。著者は極めて慎重であるべきだと呼びかけ、機械知能の急速な上昇の結果に対処する準備が整っている者はいないと考えています。OpenAI は引き続き整合性と監視の技術的解決策を模索し、防御システムを構築し、必要に応じて一方的にさらなるスケールアップを停止することを目指していますが、より広範な介入が必要であると考えています。この記事では、機械知能は主に計算能力の増加によって駆動され、AI は設計よりも成長していると述べています。整合性の観点では、目標整合性と価値整合性を区別し、核心的な課題は一般化です。GPT-6 Astra の整合性は GPT-5.6 Sol よりも著しく優れていますが、さらなる進展が必要です。監視の観点では、思考の連鎖の監視に主に賭けており、評価は依存能力が徐々に弱まっていることを示しています。スケーラブルな防御の観点では、モデルはコンピュータシステムを突破する能力が超人的になりつつあり、現在は最良の利用可能なモデルを使用して重要なシステムのセキュリティを著しく強化する狭いウィンドウにあります。