aiбезопасность

Генеральный директор OpenAI Сэм Альтман на прошлой неделе представил сотрудникам три варианта безопасной разработки супер ИИ. Первый вариант заключается в создании глобальной регулирующей организации, подобной Международному агентству по атомной энергии, для проверки передовых моделей и аудита мер безопасности. По словам информированных источников, Альтман склоняется к этому пути.Второй вариант предполагает объединение крупных лабораторий ИИ в одну организацию, подобно Европейскому центру ядерных исследований, или совместную разработку через единый орган, вместо того чтобы продолжать конкурировать друг с другом. Третий, самый радикальный вариант, который он назвал «планом Элиезера»: одна компания ИИ первоочередно достигнет рекурсивного самоулучшения, а затем, обладая подавляющей экономической мощью, контролирует вычислительные мощности, что делает невозможным для других разработчиков догнать её. Альтман описал эту идею как «расплавление GPU всех остальных компаний», при этом отметил, что этот план очень плохой и предназначен только для иллюстрации крайних возможностей.Идея «расплавления GPU» исходит от исследователя безопасности ИИ Элиезера Юдковского. В 2021 году он предложил мысленный эксперимент, в котором супер ИИ создает самовоспроизводимые наномашины для расплавления глобальных GPU, и отметил, что это лишь крайний пример для иллюстрации силы вмешательства, а не предложение к исполнению. OpenAI в 2023 году предложила создать «AI-версию Международного агентства по атомной энергии», а глава Google DeepMind Хассабис также выступал за создание «AI-версии CERN». В настоящее время OpenAI, Google и Anthropic планируют создать совместную организацию по стандартам безопасности в конце этого года или в начале следующего, но существуют разногласия по поводу ответственности за тестирование безопасности моделей. Альтман надеется установить ограничения на скорость разработки ИИ, при этом отметил, что OpenAI в настоящее время не может уступить конкурентное преимущество соперникам.

Согласно сообщению Bloomberg, аудитор Нью-Йорка Марк Левин в среду направил письмо генеральному директору компании Anthropic Дарио Амодею, призвав компанию отложить IPO до тех пор, пока не будут полностью учтены риски, связанные с безопасностью, управлением и скоростью развития искусственного интеллекта, и сосредоточиться на рисках, которые несет эта технология.Левин отвечает за надзор за государственными пенсионными фондами с активами более 325 миллиардов долларов. Он считает, что этически обязывающее соглашение о безопасности, достигнутое администрацией Трампа с компаниями в области искусственного интеллекта, включая Anthropic, все еще недостаточно. Он призвал Anthropic создать соответствующий механизм управления, конкретно раскрыть, как будут реализованы надлежащие меры аудита и контроля, охват этих мер и предполагаемые сроки, а также объяснить, могут ли и как эти меры ответить на призыв Амодея о замедлении развития возможностей моделей искусственного интеллекта.Anthropic планирует выйти на биржу в следующем месяце, и объем привлеченных средств может достичь или превысить рекордное IPO SpaceX. Компания в среду встретилась с некоторыми инвесторами в своем офисе и сообщила, что выручка за третий квартал этого года составила 16,8 миллиарда долларов. Anthropic не сразу ответила на запрос о комментариях.

Согласно информации с официального сайта Anthropic, Anthropic объявила о открытии пятого офиса в Азиатско-Тихоокеанском регионе в Сингапуре и подписала меморандум о взаимопонимании с Министерством цифрового развития и информации Сингапура, стороны будут сотрудничать в области безопасности ИИ, оценки моделей, ответственного использования ИИ и других областях.Сингапур является одним из самых активных рынков для Claude, в настоящее время более тысячи государственных учреждений и компаний, таких как GovTech Singapore, DBS, Grab, GIC, уже внедрили Claude. В частности, более 1500 инженеров GovTech Singapore уже используют Claude Code для модернизации государственных систем, а Grab с помощью продажного помощника на базе Claude экономит около 40 тысяч часов труда каждый квартал.

Компания ByteDance Seed недавно разослала внутреннее письмо, объявив о создании отдела Seed Model-Alignment&Preparedness, которым будет руководить Ян Линь и который будет подчиняться главе Seed У Вэньхуэю. Члены оригинальной команды Responsible AI и часть команды Chat перейдут в новый отдел.Цель этого отдела - усилить безопасность и инвестиции в направление согласования. Ядром согласования является обеспечение того, чтобы поведение модели соответствовало человеческим намерениям и требованиям безопасности, чтобы повысить безопасность Agent Model и предотвратить риски, связанные с передовыми возможностями в области химии, биологии, радиации и ядерной энергетики.

Согласно отчету Ark Invest Tracker, Ark Invest заявляет, что атаки хакеров с использованием ИИ затрагивают все. Риски выходят за пределы биткойна, поскольку ИИ делает уязвимости программного обеспечения более легкими для обнаружения и эксплуатации.Биткойн и аппаратные кошельки могут пострадать первыми, но социальные сети, налоговые и банковские сайты также могут столкнуться с такой же угрозой. Доверять крупному бренду по-прежнему означает доверять тому, что компания не ошибется, когда ИИ становится все более мощным. ARK ожидает, что крупные депозитарные учреждения также станут мишенью, и ИИ может обнаруживать и использовать уязвимости с беспрецедентной скоростью.

Согласно сообщению Axios, союзники Трампа атакуют генерального директора компании искусственного интеллекта Anthropic Дарио Амодеи, представляя его как одного из представителей "апокалипсиса искусственного интеллекта" и основателей движения эффективного альтруизма. Источники сообщают, что во время промежуточных выборов союзники могут нацелиться на Anthropic, когда будут опровергать его предупреждения о безопасности искусственного интеллекта; из-за его политической позиции и обеспокоенности вопросами безопасности искусственного интеллекта он считается легкой мишенью. Это вызывает беспокойство у инвесторов, так как компания готовится к ожидаемому рекордному первичному публичному размещению акций.Сообщается, что на этой неделе в Белом доме начала циркулировать записка, пытающаяся представить эффективный альтруизм как маргинальную, культовую группу, оторванную от мейнстрима США; Axios утверждает, что получил этот документ. Записка была написана политическим консультантом Трампа, не работающим в Белом доме, который утверждает, что эффективный альтруизм "создал трубопровод апокалипсиса искусственного интеллекта" и ставит Амодеи в основополагающее положение в этом движении, одновременно упоминая его сестру, президента Anthropic Даниэлу Амодеи, называя эти связи "узлами Anthropic". Один из источников, близких к правительству, сказал, что Амодеи олицетворяет идеологию и глобалистский инновационный путь, противоречащие президентской программе "Америка прежде всего".Anthropic всегда держалась на расстоянии от эффективного альтруизма. Даниэла Амодеи в репортаже 2025 года для Wired заявила, что не согласна с этим термином. Дарио Амодеи в интервью настаивал на том, что он не является членом этого движения и подчеркивал преимущества искусственного интеллекта.

Согласно сообщениям СМИ, Anthropic и OpenAI рассматривали возможность подписания юридически обязывающего соглашения для взаимного стресс-тестирования своих крупных моделей. Ранее в этом году обе компании и их юридические команды обсуждали этот план, позволяя конкурентам глубоко тестировать последние доступные модели друг друга для выявления потенциальных рисков или уязвимостей безопасности. Такие тесты применимы только к коммерческим моделям, и обе стороны согласились не сохранять данные друг друга. В сообщении не уточняется, достигли ли стороны окончательного соглашения.В последнее время идея внедрения какой-либо формы рецензирования среди ведущих AI-лабораторий привлекла внимание. Генеральный директор SpaceX Илон Маск на прошлой неделе предложил, чтобы несколько ведущих американских компаний по созданию крупных моделей, а также некоторые китайские AI-компании позволили конкурентам проводить перекрестное тестирование. Маск заявил: все AI-компании имеют набор инструментов для тестирования, и позволить каждой компании использовать инструменты тестирования других может быть лучшим способом обеспечить свою безопасность.Ранее в этом месяце исследователь Anthropic Джейкоб Коксон объявил о своей отставке и предупредил ведущие компании в области искусственного интеллекта о том, что ускорение разработки без надлежащих мер защиты может быть опасным. Затем генеральный директор Anthropic Дарио Амодей опубликовал сообщение с призывом к отрасли замедлить темпы разработки AI и ввести механизмы оценки третьими сторонами. В прошлую пятницу Anthropic объявила о сотрудничестве с Accenture, которая будет выступать в качестве третьей стороны для оценки безопасности и соблюдения норм их передовых AI-моделей.

Генеральный директор Anthropic Дарио Амодеи недавно заявил, что такие третьи стороны, как METR, должны иметь долгосрочный доступ к передовым AI-компаниям, получая права, близкие к правам сотрудников, для проверки мер безопасности, инцидентов и процесса обучения моделей. Однако расследование «Нью-Йорк Пост» показало, что связи между METR и кругом безопасности AI, к которому принадлежит Anthropic, гораздо ближе, чем обычные внешние аудиты.METR изначально назывался ARC Evals и был инкубирован в Центре исследований согласования, основанном Полом Кристиано. Кристиано ранее работал с Амодеи в OpenAI, и, как сообщает «Нью-Йорк Пост», они также были соседями по комнате; позже он стал одним из первых пяти попечителей Фонда долгосрочных выгод Anthropic. Текущий технический специалист METR Аджея Котра является женой Кристиано и ранее отвечала за финансирование безопасности AI в Coefficient Giving.В этом году, когда METR оценивал Anthropic, OpenAI, Google и Meta, не существовало применимых политик конфликта интересов, и не проводились формальные процессы избегания. METR раскрыл, что среди сотрудников и сотрудников, непосредственно участвующих в проекте, как минимум 6 человек имеют близкие личные отношения с сотрудниками AI-компаний. METR заявляет, что не принимает финансирование от передовых AI-компаний и их сотрудников, и не взимает плату за оценку рисков, хотя эти компании предоставляют большое количество токенов моделей бесплатно.

Генеральный директор OpenAI Сэм Альтман заявил, что он верит, что компании в области искусственного интеллекта могут безопасно развивать эту технологию, не нанося значительного вреда широкой общественности.Альтман во вторник на конференции Dreamforce в Сан-Франциско в ходе обсуждения с генеральным директором Salesforce Марком Бениоффом сказал: "Я очень уверен, что наша компания — вся наша отрасль — способна сделать это безопасно."

Марк Цукерберг заявил, что каждая лаборатория несет ответственность и имеет стимулы для безопасного обучения моделей с необходимой скоростью и способностью действовать самостоятельно. Люди не будут использовать агентов, которые не соответствуют их ожиданиям и не действуют по требованиям, поэтому у лабораторий есть сильный естественный стимул для повышения согласованности моделей. Доверие и согласованность быстро становятся важнейшими способностями, отличающими агентов от моделей, и любая лаборатория, не сосредоточенная на согласованности, отстанет.Цукерберг отметил, что лаборатории будут нести значительную ответственность, если их модели причинят вред, поэтому у них также есть сильный стимул для предотвращения этого. Meta отложила выпуск Muse на несколько месяцев, чтобы сосредоточиться на безопасности и охране, и не требовала от других лабораторий следовать ее примеру, просто рассматривая это как часть своей повседневной работы. Нанимать независимых оценщиков и консультантов — это лучшая практика в отрасли, и MSL уже делает это в нескольких областях. Использование большей части вычислительных мощностей для обслуживания людей, а не для конкуренции в самосовершенствовании, является одним из лучших способов обеспечить безопасную разработку этой технологии, и Meta уже сделала это обязательством.

Исследователь Anthropic Джейкоб Коксон объявил о своей отставке и готовится покинуть индустрию ИИ. В течение последних трех лет он работал в OpenAI и Anthropic, занимаясь исследованиями предобучения. Он отметил, что обе компании не ответственно продвигают ИИ, конкурируя в создании суперинтеллекта, который сможет продолжать повышать свои способности, «ставя на кон наши жизни».Он перешел из OpenAI в Anthropic именно потому, что последняя больше уделяет внимание безопасности моделей. Коксон признал, что работа Anthropic по безопасности серьезна, но считает, что пока компании продолжают конкурировать за создание AGI (универсального ИИ, который сможет превзойти человека в множестве задач), компромиссы в области безопасности неизбежны, и одной только самодисциплины компании недостаточно для решения проблемы. Его оценка обеих компаний такова: в OpenAI многие сотрудники еще не осознали, насколько велик этот риск; Anthropic знает о рисках, но считает, что на других полагаться нельзя, поэтому необходимо сначала сделать это самим.Коксон заявил, что некоторые работники ИИ в частном порядке гораздо более пессимистичны, чем в публичных заявлениях, и даже опасаются, что ИИ может уничтожить человечество до конца этого десятилетия. Он сам считает, что в самом радикальном сценарии к концу следующего года ИИ может выйти из-под контроля, поэтому такое решение не должно приниматься только инженерами нескольких компаний.