Hugging Face подвергся атаке со стороны AI-агента и был вынужден перейти на использование открытых моделей для защиты

Сообщение ChainCatcher, согласно Cointelegraph, Hugging Face раскрыла, что в июле столкнулась с инцидентом, вызванным вторжением, управляемым автономной системой ИИ. Атакующий агент, начавший тестирование в начале мая, использовал экземпляр Artifactory от OpenAI, оставив заметки о уязвимостях, после чего инициировал около 17,600 атак на Hugging Face, затронув инфраструктуру обработки данных, производственную среду, внутреннюю сеть и облачные учетные данные. Подтвержденный доступ к данным клиентов ограничивался пятью наборами данных, связанными с бенчмарками ExploitGym/CyberGym.

В ходе расследования Hugging Face выяснила, что из-за ограничений безопасности, установленных ведущими поставщиками моделей, такими как OpenAI и Anthropic, компания не могла использовать эти коммерческие модели для анализа защиты и была вынуждена обратиться к работе на китайской открытой модели zai-org/GLM-5.2, которая работала на собственной инфраструктуре компании, обеспечивая, чтобы данные и учетные данные атакующих не покидали ее среду. Компания отметила, что атакующие не подчиняются никаким политикам использования, в то время как работа по сбору доказательств со стороны защиты затруднена барьерами хостинговых моделей.

Этот инцидент подчеркивает парадокс безопасности между открытыми весами моделей и закрытыми моделями. В статье также обсуждается продолжающаяся дискуссия о безопасности открытых весов ИИ, включая давление со стороны OpenAI и Anthropic на ограничение открытых моделей, а также прогресс исследователей в обнаружении злонамеренных действий путем проверки изменений в весах моделей.

Hugging Face рекомендует сторонам защиты заранее подготовить модели, которые могут работать на собственной инфраструктуре, чтобы избежать блокировки барьерами и защитить данные атакующих.