Генеральный директор Anthropic опубликовал длинное сообщение в ответ на вопросы о безопасности, заявив, что необходимо сохранять технологии на переднем крае

Недавно компания Anthropic представила законопроект о безопасности ИИ членам Конгресса США, который вызвал сомнения со стороны сторонников безопасности ИИ в США. Законопроект устанавливает высокие барьеры для экстренной остановки опасных моделей правительством, риски должны касаться таких ситуаций, как биологическое оружие, кибератаки или неконтролируемый ИИ, и могут привести к более чем 50 смертям или тяжелым травмам, или к убыткам более 1 миллиарда долларов; некоторые положения также могут ограничить полномочия регулирования со стороны государственных властей.

Руководитель стратегического отдела организации по безопасности ИИ Encode AI Натан Кальвин затем проанализировал решения Anthropic за последний год. В феврале этого года компания изменила свои изначально строгие политики безопасности: ранее она обещала приостанавливать обучение или выпуск, если меры безопасности не соответствуют возможностям модели, новая политика больше не требует от компании самостоятельно останавливать разработки на более рискованных этапах, поскольку конкуренты могут воспользоваться этим моментом. В то же время компания вложила огромные вычислительные мощности, создала команду по разработке чипов и поручила Claude выполнять больше задач по разработке ИИ.

21 октября генеральный директор Anthropic Дарио Амодеи опубликовал длинное сообщение в X, чтобы опровергнуть критику. Он признал, что компания допустила некоторые ошибки, но настаивал на том, что стремление к самым современным возможностям ИИ не противоречит миссии безопасности, и заявил, что компания придерживается принципа соревнования, только оставаясь на переднем крае технологий, она сможет способствовать повышению стандартов безопасности в отрасли. Он перечислил девять решений в области безопасности, которые обошлись компании в коммерческую цену, включая ограничение открытого доступа к моделям уровня Mythos на несколько месяцев и строгое ограничение запросов, связанных с биологией. Обновленная дорожная карта безопасности компании от 19 октября утверждает, что существующая политика в основном направлена на развертывание опасных моделей, в будущем может потребоваться прямое ограничение скорости разработки, и планируется представить соответствующие предложения по политике до 15 января 2027 года или объяснить, почему они не были представлены.