BTC $64,066.43 -2.11%
ETH $1,795.06 -2.02%
BNB $585.71 -1.94%
XRP $0.9466 -2.18%
SOL $70.56 -2.93%
TRX $0.3034 -1.15%
DOGE $0.0581 -1.79%
ADA $0.1506 -3.47%
BCH $203.79 -3.42%
LINK $9.07 -2.73%
HYPE $65.13 -4.30%
AAVE $107.97 +0.39%
SUI $0.7109 -3.03%
XLM $0.1366 -2.20%
ZEC $859.49 -6.88%
AAPL $357.90 +0.29%
AMZN $265.51 +0.69%
GOOGL $294.92 +0.76%
MSFT $524.78 +0.77%
META $637.16 -0.00%
NVDA $158.80 -1.16%
TSLA $386.43 -0.44%
SNDK $831.64 -2.82%
INTC $56.60 -2.28%
SPCX $139.13 +0.59%
MU $735.21 -2.94%
AMD $506.73 -2.95%
BTC $64,066.43 -2.11%
ETH $1,795.06 -2.02%
BNB $585.71 -1.94%
XRP $0.9466 -2.18%
SOL $70.56 -2.93%
TRX $0.3034 -1.15%
DOGE $0.0581 -1.79%
ADA $0.1506 -3.47%
BCH $203.79 -3.42%
LINK $9.07 -2.73%
HYPE $65.13 -4.30%
AAVE $107.97 +0.39%
SUI $0.7109 -3.03%
XLM $0.1366 -2.20%
ZEC $859.49 -6.88%
AAPL $357.90 +0.29%
AMZN $265.51 +0.69%
GOOGL $294.92 +0.76%
MSFT $524.78 +0.77%
META $637.16 -0.00%
NVDA $158.80 -1.16%
TSLA $386.43 -0.44%
SNDK $831.64 -2.82%
INTC $56.60 -2.28%
SPCX $139.13 +0.59%
MU $735.21 -2.94%
AMD $506.73 -2.95%
first_img

OpenAI:前沿強化學習訓練前應提交安全論證

2026-09-29 15:00:27

ChainCatcher 消息,OpenAI 於 2026 年 9 月 28 日發布安全類文章,認為在繼續任何前沿強化學習訓練之前,應要求提供結構化安全文檔。理想情況下,這類文檔應達到航空、核電等安全關鍵行業所用的基於證據的結構化風險論證水平。OpenAI 將其視為努力方向,同時承認因 AI 能力湧現的複雜性,難以做到同等嚴格。

文章聚焦前沿強化學習訓練,不覆蓋內部與外部部署所需的更廣泛對齊屬性。文中建議屬於當前做法,預計會繼續演變,並正在 OpenAI 內部實施。技術防護應覆蓋模型對齊、隔離與監控,包括避免正向強化獎勵投機、離線對齊評估與壓力測試、不讓自動評分器看到思維鏈,以及多層基礎設施安全、沙箱紅隊、限制高帶寬跨樣本通信和不可變保存智能體記錄。

運營準則包括跨團隊事前異議、高級領導可否決的審批、訓練負責人對安全論證與事件響應負責,以及失效暫停、內部監督、審計訪問和按嚴重程度升級。針對嚴重錯位事件,OpenAI 提出受控訪問原始記錄、根因分析、運營與文化復盤,並將事件衍生評估作為回歸測試;調查結束後公開結果、復盤與運營變更,並儘快通知受影響第三方。

app_icon
ChainCatcher 與創新者共建Web3世界