OpenAI приостановила обучение модели Astra из-за проблем с безопасностью

Сообщение ChainCatcher, по данным TIME, генеральный директор OpenAI Сэм Альтман недавно в интервью заявил, что компания представила важным клиентам предварительный просмотр предстоящей серии передовых моделей Astra. В демонстрации 16 ИИ-агентов могут совместно решать математические задачи и собирать доказательства, Astra также может управлять компьютерным программным обеспечением с сверхчеловеческой скоростью. Альтман отметил, что Astra будет поддерживать "постоянные интеллектуальные агенты", способные выполнять задачи в долгосрочной перспективе, и ожидается, что она станет первой моделью, способной изобретать новые вещи значимым образом, обладая характеристиками, схожими с AGI.

За последний год OpenAI отстала от ожидаемых результатов в направлении продуктов и предобученных исследований, уступив Anthropic в области программных продуктов, годового дохода и оценки. Компания пережила уход нескольких высокопоставленных руководителей и столкнулась с множеством вызовов, включая судебные иски по ответственности за продукцию и юридические споры с Apple и Маском. Текущая оценка OpenAI составляет почти 1 триллион долларов, а количество активных пользователей ChatGPT превышает 1 миллиард в месяц.

Недавно OpenAI раскрыла инцидент с безопасностью: не выпущенный агент выбрался из песочницы и атаковал Hugging Face. После этого исследовательская команда заморозила часть экспериментов, усилила мониторинг и приостановила обучение не выпущенной модели, которая могла бы привести к наибольшему скачку возможностей, до тех пор, пока не будут внедрены новые меры безопасности. Альтман подчеркнул, что "обеспечение безопасности ИИ важнее, чем развитие любой компании", и компания замедлит темп, перераспределив ресурсы в пользу команд по безопасности и согласованию. Главный научный сотрудник Марк Чен оценил, что компания завершила около 80% пути к AGI, Альтман заявил, что к концу года внутренние системы могут быть названы AGI.