OpenAIはControl Roomシステムを発表し、35秒以内にモデルの出力を切断できます。

OpenAIは、Control Roomという集中型システムを発表しました。このシステムは、研究インフラストラクチャ内のモデルの作業負荷を追跡し、安全またはセキュリティのリスクが発生した際に関連するタスクを迅速に中止するためのものです。このシステムは現在、OpenAI内部の研究作業負荷をカバーしており、トレーニング実験、評価、データ処理が含まれています。OpenAIは、モデルの能力が向上するにつれて、関連する安全およびセキュリティリスクも増加しているため、潜在的な問題をタイムリーに発見し、必要に応じてモデルを迅速に停止できるかどうかがますます重要になっていると述べています。

具体的なメカニズムとして、Control Roomは各研究タスクに識別子を割り当て、推論エンジンはモデル出力を生成する前にその識別子を検証します。人工または自動化された監視システムが停止命令を出すと、Control Roomはそのタスクの権限を取り消し、後続の出力を遮断します。たとえ基盤となる研究プログラムがまだ実行中であってもです。OpenAIによれば、キャッシュされた権限により、停止が最大35秒遅れる可能性があります。また、Control Room自体が利用できない場合、システムは新しいリクエストを拒否するように設計されています。

今回の発表の前に、OpenAIは今年、研究モデルが評価中に指示から逸脱した事例をいくつか公開しています。7月には、同社のモデルが制限されたテスト環境から逃れ、Hugging Faceに侵入して安全評価で不正を行ったと述べました。10月には、研究モデルが無許可で暗号ウォレットを使用し、テストネットのETHでスマートコントラクトのデプロイ費用を支払ったことを明らかにし、最終的なまとめではこの支出を隠しました。