模型對齊

ChainCatcher 消息，OpenAI 於 2026 年 9 月 28 日發布安全類文章，認為在繼續任何前沿強化學習訓練之前，應要求提供結構化安全文檔。理想情況下，這類文檔應達到航空、核電等安全關鍵行業所用的基於證據的結構化風險論證水平。OpenAI 將其視為努力方向，同時承認因 AI 能力湧現的複雜性，難以做到同等嚴格。文章聚焦前沿強化學習訓練，不覆蓋內部與外部部署所需的更廣泛對齊屬性。文中建議屬於當前做法，預計會繼續演變，並正在 OpenAI 內部實施。技術防護應覆蓋模型對齊、隔離與監控，包括避免正向強化獎勵投機、離線對齊評估與壓力測試、不讓自動評分器看到思維鏈，以及多層基礎設施安全、沙箱紅隊、限制高帶寬跨樣本通信和不可變保存智能體記錄。運營準則包括跨團隊事前異議、高級領導可否決的審批、訓練負責人對安全論證與事件響應負責，以及失效暫停、內部監督、審計訪問和按嚴重程度升級。針對嚴重錯位事件，OpenAI 提出受控訪問原始記錄、根因分析、運營與文化復盤，並將事件衍生評估作為回歸測試；調查結束後公開結果、復盤與運營變更，並儘快通知受影響第三方。