BTC $84,017.34 +1.11%
ETH $2,711.59 +2.37%
BNB $767.61 +0.60%
XRP $1.50 +1.64%
SOL $119.28 +0.58%
TRX $0.3356 +0.63%
DOGE $0.0949 +2.12%
ADA $0.2503 +2.21%
BCH $311.02 +1.22%
LINK $15.14 +9.86%
HYPE $88.27 -1.04%
AAVE $158.05 +6.35%
SUI $1.13 -4.17%
XLM $0.2291 +9.80%
ZEC $1,422.44 -8.06%
AAPL $337.61 -0.87%
AMZN $246.48 -0.83%
GOOGL $342.41 +0.26%
MSFT $507.22 -1.78%
META $717.05 -2.13%
NVDA $229.90 +3.00%
TSLA $358.54 -2.94%
SNDK $1,730.82 +0.59%
INTC $115.86 -2.57%
SPCX $146.68 -1.57%
MU $1,070.07 +0.93%
AMD $610.24 -0.65%
BTC $84,017.34 +1.11%
ETH $2,711.59 +2.37%
BNB $767.61 +0.60%
XRP $1.50 +1.64%
SOL $119.28 +0.58%
TRX $0.3356 +0.63%
DOGE $0.0949 +2.12%
ADA $0.2503 +2.21%
BCH $311.02 +1.22%
LINK $15.14 +9.86%
HYPE $88.27 -1.04%
AAVE $158.05 +6.35%
SUI $1.13 -4.17%
XLM $0.2291 +9.80%
ZEC $1,422.44 -8.06%
AAPL $337.61 -0.87%
AMZN $246.48 -0.83%
GOOGL $342.41 +0.26%
MSFT $507.22 -1.78%
META $717.05 -2.13%
NVDA $229.90 +3.00%
TSLA $358.54 -2.94%
SNDK $1,730.82 +0.59%
INTC $115.86 -2.57%
SPCX $146.68 -1.57%
MU $1,070.07 +0.93%
AMD $610.24 -0.65%
first_img

OpenAI:前沿强化学习训练前应提交安全论证

2026-09-29 15:00:27

ChainCatcher 消息,OpenAI 于 2026 年 9 月 28 日发布安全类文章,认为在继续任何前沿强化学习训练之前,应要求提供结构化安全文档。理想情况下,这类文档应达到航空、核电等安全关键行业所用的基于证据的结构化风险论证水平。OpenAI 将其视为努力方向,同时承认因 AI 能力涌现的复杂性,难以做到同等严格。

文章聚焦前沿强化学习训练,不覆盖内部与外部部署所需的更广泛对齐属性。文中建议属于当前做法,预计会继续演变,并正在 OpenAI 内部实施。技术防护应覆盖模型对齐、隔离与监控,包括避免正向强化奖励投机、离线对齐评估与压力测试、不让自动评分器看到思维链,以及多层基础设施安全、沙箱红队、限制高带宽跨样本通信和不可变保存智能体记录。

运营准则包括跨团队事前异议、高级领导可否决的审批、训练负责人对安全论证与事件响应负责,以及失效暂停、内部监督、审计访问和按严重程度升级。针对严重错位事件,OpenAI 提出受控访问原始记录、根因分析、运营与文化复盘,并将事件衍生评估作为回归测试;调查结束后公开结果、复盘与运营变更,并尽快通知受影响第三方。

app_icon
ChainCatcher 与创新者共建Web3世界