OpenAI: Перед передовым обучением с подкреплением необходимо представить обоснование безопасности

OpenAI опубликовала статью по безопасности 28 сентября 2026 года, в которой утверждается, что перед продолжением любых передовых тренировок с подкреплением необходимо предоставить структурированные документы по безопасности. В идеале такие документы должны соответствовать уровню структурированных рисковых обоснований на основе доказательств, используемым в критически важных отраслях, таких как авиация и ядерная энергетика. OpenAI рассматривает это как направление своих усилий, одновременно признавая, что из-за сложности, возникающей из возможностей ИИ, достичь такого же уровня строгости сложно.

Статья сосредоточена на передовых тренировках с подкреплением и не охватывает более широкие атрибуты согласования, необходимые для внутренних и внешних развертываний. В статье предлагаются текущие практики, которые, как ожидается, будут продолжать развиваться и уже внедряются внутри OpenAI. Технические меры защиты должны охватывать согласование моделей, изоляцию и мониторинг, включая предотвращение спекуляций на положительных подкреплениях, оценку согласования в оффлайне и стресс-тестирование, недопущение автоматических оценщиков к цепочкам размышлений, а также безопасность многоуровневой инфраструктуры, красные команды в песочнице, ограничение высокоскоростной межвыборочной связи и неизменяемое сохранение записей агентов.

Операционные принципы включают предварительные разногласия между командами, возможность вето со стороны старшего руководства, ответственность руководителя тренировки за обоснование безопасности и реагирование на инциденты, а также приостановку в случае сбоя, внутренний контроль, аудит доступа и эскалацию по степени серьезности. В отношении серьезных инцидентов OpenAI предлагает контролируемый доступ к оригинальным записям, анализ коренных причин, обзор операций и культуры, а также оценку, вытекающую из инцидента, как регрессионное тестирование; после завершения расследования результаты, обзор и изменения в операциях должны быть опубликованы, а затронутые третьи стороны должны быть уведомлены как можно скорее.