整列

ザッカーバーグは、各研究所には必要な速度で安全にモデルを訓練する責任とインセンティブがあり、自ら行動を起こす能力があると述べました。人々は、自分と整合しない、要求に従わないエージェントを使用しないため、研究所にはモデルの整合性を高める強い自然なインセンティブがあります。信頼と整合性は、エージェントとモデルを区別する最も重要な能力となりつつあり、整合性に焦点を当てない研究所は遅れをとるでしょう。ザッカーバーグは、研究所がモデルによって害を及ぼす場合、重大な責任を負うことになるため、予防するための強いインセンティブがあると述べました。Metaは、Museのリリースを数ヶ月遅らせて安全性とセキュリティに焦点を当てており、他の研究所に先行して模倣するよう求めているわけではなく、単に日常業務の一部としているだけです。独立した評価者やコンサルタントを雇うことは業界のベストプラクティスであり、MSLはすでに複数の分野でこれを行っています。ほとんどの計算能力を人々にサービスを提供するために使用し、自己改善の競争に陥らないことは、この技術を安全に開発するための最良の方法の一つであり、Metaはこのコミットメントを果たしています。

OpenAI の首席科学者 Jakub Pachocki は 2026 年 9 月 6 日に記事『An Alien Mind』を発表しました。この記事では、2023 年中期の RLSlow 研究プロジェクトで初めてスケーラブルなトレーニング推論モデルの結果が現れたことを振り返り、3 年後には推論言語モデルが経済の急速な成長の一部となり、科学の境界を押し広げ、コンピュータやグラフィカルインターフェースを操作し、人間や他の AI と協力して研究プロジェクトを展開し、同時にコンピュータセキュリティの状況を変え、新たな危険をもたらすと述べています。著者は内部の結果に基づいて、現在の進展速度が再帰的自己改善に持続する可能性があると予想しています。AI の発展が現在の道筋を続けるなら、今後数年でシステムは同等またはそれ以上の能力の飛躍を遂げ、自らの発展をますます推進する可能性があります。著者は極めて慎重であるべきだと呼びかけ、機械知能の急速な上昇の結果に対処する準備が整っている者はいないと考えています。OpenAI は引き続き整合性と監視の技術的解決策を模索し、防御システムを構築し、必要に応じて一方的にさらなるスケールアップを停止することを目指していますが、より広範な介入が必要であると考えています。この記事では、機械知能は主に計算能力の増加によって駆動され、AI は設計よりも成長していると述べています。整合性の観点では、目標整合性と価値整合性を区別し、核心的な課題は一般化です。GPT-6 Astra の整合性は GPT-5.6 Sol よりも著しく優れていますが、さらなる進展が必要です。監視の観点では、思考の連鎖の監視に主に賭けており、評価は依存能力が徐々に弱まっていることを示しています。スケーラブルな防御の観点では、モデルはコンピュータシステムを突破する能力が超人的になりつつあり、現在は最良の利用可能なモデルを使用して重要なシステムのセキュリティを著しく強化する狭いウィンドウにあります。

OpenAIのチーフサイエンティスト、Jakub Pachockiは、誤解を招く報道によってモデルの「監視不能化」を引き起こす競争を避けたいと述べました。彼は、Astraを含む現在の最前線モデルの計算グラフの深さは、GPT-4と比べて2倍を超えないとしています。OpenAIは初期の推論モデル以来、チェーン思考の監視を保持し利用することに取り組んでおり、この技術がモデルの整合性能力が訓練分布からどのように一般化されるかを観察するのに役立つと考えています。Pachockiはまた、チェーン思考の監視が比較的脆弱であり、トレンドが楽観的ではないことを指摘しましたが、研究を通じて強化することができ、現在のOpenAIの研究計画の核心目標となっています。以前、The Informationは、Astraが再帰的深さを使用して、同じグループのTransformer層を繰り返し計算していると報じました。そのため、一部の推論はモデル内部で発生する可能性があり、すべてを思考チェーンとして書く必要がなくなり、モデルがますます監視しにくくなるのではないかという懸念も引き起こしています。