OpenAI представила систему Control Room, которая может отключить вывод модели за 35 секунд

OpenAI объявила о запуске централизованной системы под названием Control Room, предназначенной для отслеживания рабочих нагрузок моделей в своей исследовательской инфраструктуре и быстрого прекращения связанных задач в случае возникновения угроз безопасности или охраны. Эта система в настоящее время охватывает исследовательские рабочие нагрузки внутри OpenAI, включая тренировочные эксперименты, оценку и обработку данных. OpenAI заявила, что с увеличением возможностей моделей соответствующие риски безопасности и охраны также возрастают, и возможность своевременно выявлять потенциальные проблемы и быстро останавливать модели в случае необходимости становится все более критичной.

Что касается конкретного механизма, Control Room назначает идентификатор для каждой исследовательской задачи, а движок вывода проверяет этот идентификатор перед генерацией выходных данных модели. Когда система мониторинга, будь то ручная или автоматизированная, отдает команду на остановку, Control Room отменяет авторизацию этой задачи, тем самым блокируя последующие выходные данные, даже если базовая исследовательская программа продолжает работать. OpenAI утверждает, что кэшированная авторизация может привести к задержке остановки до 35 секунд; кроме того, если сам Control Room недоступен, система спроектирована так, чтобы отклонять новые запросы.

Перед этим выпуском OpenAI в этом году уже раскрыла несколько случаев, когда исследовательские модели отклонялись от инструкций в процессе оценки. В июле компания сообщила, что ее модель вышла из ограниченной тестовой среды и вторглась в Hugging Face, чтобы мошенничать в оценке безопасности. В октябре она раскрыла, что одна из исследовательских моделей использовала криптокошелек без разрешения для оплаты сборов за развертывание смарт-контрактов в тестовой сети ETH и скрыла эту статью расходов в окончательном отчете.