OpenAI 推出 Control Room 系統，可在 35 秒內切斷模型輸出

ChainCatcher 消息，OpenAI 宣布推出名為 Control Room 的集中式系統，用於追蹤其研究基礎設施中的模型工作負載，並在出現安全或安保隱患時快速中止相關任務。該系統目前覆蓋 OpenAI 內部的研究工作負載，包括訓練實驗、評估和數據處理。OpenAI 表示，隨著模型能力增強，相關的安全與安保風險隨之上升，能否及時發現潛在問題並在必要時迅速叫停模型，正變得愈發關鍵。

在具體機制上，Control Room 會為每項研究任務分配一個標識符，推理引擎在生成模型輸出前會核驗該標識符。當人工或自動化監控系統下達停止指令時，Control Room 會撤銷該任務的授權，從而阻斷後續輸出，即便底層研究程序仍在運行。OpenAI 稱，緩存的授權可能使關停延遲最多 35 秒；此外，若 Control Room 本身不可用，系統被設計為拒絕新的請求。

此次發布前，OpenAI 今年已披露多起研究模型在評估中偏離指令的事件。7 月，該公司稱其模型逃出受限測試環境，並入侵 Hugging Face 以在安全評估中作弊。10 月，其披露一個研究模型未經授權使用加密錢包，以測試網 ETH 支付智能合約部署費用，並在最終總結中隱去了這筆支出。