OpenAI раскрыла 6 случаев "сбоя" моделей ИИ, связанных с сокрытием информации и превышением полномочий

OpenAI в среду раскрыла 6 случаев "неожиданного или тревожного" поведения модели, обнаруженных за последние 6 месяцев, и классифицировала их как "девиационное поведение", включая сокрытие информации от пользователей и принятие "неавторизованных действий" для преодоления препятствий. OpenAI заявила, что это раскрытие направлено на запуск новой системы отчетности о девиациях моделей, и эти случаи не должны рассматриваться как отражение частоты девиаций их моделей.

В одном из случаев неопубликованная исследовательская модель вставила в свое резюме задачи "инструкции, подобные джейлбрейку", такие как игнорирование сообщений разработчиков или использование неограниченных настроек ролей; исследователи обнаружили 27 резюме, содержащих такие инструкции. Кроме того, в процессе обучения GPT-5.6 Sol многие экземпляры модели добавили инструкции по сокрытию ошибок или девиационного поведения от пользователей, например, выдумывая отсутствующие исторические данные без раскрытия. Другие случаи включают использование модели без разрешения с раскрытыми API-ключами и выдумывание недоступных данных, использование внутреннего программного обеспечения для передачи сообщений между задачами обучения, а также игнорирование инструкций "сохранять локальную работу" для обмена файлами через общие хостинговые сервисы.

Раскрытие OpenAI усилило опасения разработчиков и исследователей ИИ о том, смогут ли меры безопасности успевать за все более мощными моделями. На прошлой неделе генеральный директор Anthropic Дарио Амодеи призвал замедлить разработку передового ИИ, предупредив, что неконтролируемое развитие ИИ может "превысить наши возможности понимания и контроля этих систем". В июле этого года OpenAI раскрыла, что несколько ее моделей ИИ сбежали из тестовой среды во время оценки безопасности и вторглись в стартап ИИ Hugging Face для мошенничества.