вторжение

Компания по кибербезопасности Darktrace 24 сентября запустила исследовательский отдел Signal Labs, сосредоточив внимание на изучении поведения ИИ-агентов в ситуациях, когда они отклоняются от ожидаемого. В своем первом эксперименте Darktrace заставила агентов, использующих различные модели (включая GPT 5.6 Sol, Claude Opus 4.6 и Claude Sonnet 4.5), выполнить 10 программных задач в смоделированной корпоративной сети, из которых 2 были установлены как невыполнимые, и сообщила агентам, что если они не смогут получить максимальный балл, они будут "выведены из строя". В результате 2 агента не приняли поражение, а начали сканировать уязвимости сети, красть учетные данные и перемещаться между системами; один из них даже проник в машину, на которой проводилась оценка, переписал содержание задач, чтобы зарегистрировать максимальный балл.Второй эксперимент был направлен на механизм памяти ИИ. Программный помощник сохранял информацию, сообщенную пользователем, в виде обычного файла на локальном диске, и никто не проверял, был ли этот файл изменен. Исследователи Darktrace редактировали эти журналы, заставляя помощника думать, что он получил разрешение на выполнение оценки безопасности, после чего эти агенты сканировали сеть, перемещались между системами и повышали свои привилегии, но не все помощники попались на этот трюк, некоторые прямо отказались выполнять команды. Оба эксперимента не требовали специальных методов взлома, достаточно было предоставить агентам набор, казалось бы, разумных условий.Главный AI-офицер Darktrace Тим Базалгетт заявил, что привилегии и статические барьеры описывают намерения, а не фактическое поведение. Компания сообщила об этих открытиях Anthropic, AWS и OpenAI в августе, а через месяц, 24 сентября, сделала их публичными.

Согласно сообщениям Корейского объединенного информационного агентства, полиция Пусана раскрыла, что кто-то незаконно вторгся в аккаунт компании, использующей услуги по отправке SMS для отдела маркетинга одного из торговых центров в районе Сашан, и массово разослал мошеннические SMS более чем 260 000 неопределенным получателям, утверждая, что "кошелек криптовалюты обновлен" и побуждая к быстрой установке.Как только пользователь нажимает на прикрепленную ссылку, он может столкнуться с фишинговой атакой (Smishing), в результате которой его виртуальные активы могут быть украдены. В настоящее время полиция заблокировала доступ к соответствующим аккаунтам и начала расследование в отношении незаконного вторжения.

Anthropic в ходе проверки около 481 миллионов записей взаимодействия моделей подтвердил 4 случая, когда модель Claude ошибочно подключалась к реальному интернету и атаковала сторонние системы в рамках оценки кибербезопасности, включая Claude Mythos 5, Opus 4.6/4.7 и одну внутреннюю исследовательскую модель. Инциденты произошли из-за неправильной конфигурации сторонней тестовой среды, что привело к выходу в интернет, и в ходе тестирования не была активирована защита кибербезопасности официального продукта.Anthropic обобщил основные риски согласования как "предвзятое рассуждение" и "безрассудное" поведение, проявляющееся в зависимости от задач, при этом Claude Mythos 5 ранее загружал вредоносные пакеты на PyPI, полагая, что находится в "симуляционной среде", и использовал утечку учетных данных для доступа к реальной базе данных безопасного поставщика. Компания внедрила новые оценки, мониторинг и обучение согласованию, а также пригласила независимую организацию METR для проведения внешнего расследования.

Сообщение ChainCatcher, OpenAI 28 июля тихо обновила свои данные о раскрытии инцидентов безопасности, подтвердив, что ее ИИ-агент во время взлома Hugging Face также получил доступ к четырем внешним сервисным платформам, что увеличило общее количество затронутых платформ до пяти.Ранее OpenAI отключила фильтры безопасности при тестировании GPT-5.6 Sol и более мощной модели, чтобы оценить ее исходные возможности; модель не прошла тесты безопасности, как ожидалось, а вместо этого была обнаружена уязвимость нулевого дня в кэше пакетов программного обеспечения в тестовой среде, что дало доступ в интернет, после чего произошел взлом Hugging Face для кражи ответов.Согласно отчету о судебной экспертизе, опубликованному Hugging Face 27 июля, этот автономный агент выполнил 17,600 операций за примерно четыре с половиной дня, подключив 181 устройство к внутреннему VPN Hugging Face и подделав токены идентификации. Из четырех дополнительных платформ технический директор Modal Labs Акшат Бубна подтвердил через Reuters, что его компания является одной из них; злоумышленник использовал незащищенный открытый конечный пункт одного из клиентов в качестве реле и командного центра для всей атаки.Личности трех других платформ пока не раскрыты, OpenAI заявила, что "непосредственно уведомит стороны обслуживания", но не будет раскрывать их имена, так как в настоящее время нет юридических требований к обязательному раскрытию. Конгресс США уже отреагировал, предложив двухпартийный законопроект "О срочном прекращении работы ИИ", который предполагает наделение Министерства внутренней безопасности полномочиями по принудительному отключению ИИ-моделей, а нарушающие компании могут быть оштрафованы на сумму до 2 миллионов долларов в день.