Нью-Йорк Таймс: от апокалипсиса AI до основания Anthropic, откуда пришла вера Дарио Амодеи?

Автор: Нью-Йорк Таймс

Составитель: Цзя Хуан, ChainCatcher

Дарио Амодеи является одним из самых решительных сторонников безопасности в индустрии ИИ. Он верит, что эта технология может помочь человечеству справиться с болезнями, ускорить научный прогресс, а также может привести к катастрофам, если выйдет из-под контроля.

Эта вера рано повлияла на его выбор. Во время работы в OpenAI он пытался внедрить свои идеи о безопасности в разработку ИИ и имел разногласия с коллегами по вопросам этического надзора и проектов GPT. После ухода из OpenAI он вместе с сестрой и другими коллегами основал Anthropic.

С точки зрения сторонников, Дарио пытается разрабатывать ИИ ответственно; с точки зрения критиков, его акцент на безопасности поднимает другой вопрос: кто имеет право решать, как должен развиваться ИИ, и кто устанавливает его границы?

Нью-Йорк Таймс взял интервью у одноклассников, друзей, учителей и бывших коллег Дарио, чтобы проследить его путь и источники его мыслей. Сам Дарио отказался от интервью. Ниже приведен текст статьи.

В один из вечеров 2007 года Дарио Амодеи, обучающийся на докторантуре в Принстонском университете, принял у себя друга. Он только что прочитал книгу компьютерного ученого Рэя Курцвейла "Сингулярность близка", изданную в 2005 году, и не мог дождаться, чтобы поделиться с другом своими мыслями.

Курцвейл предсказывает в книге, что искусственный интеллект в конечном итоге превзойдет человеческий мозг, и наступит момент, который называется "сингулярностью". Дарио, обводя пальцем свои волосы, сказал другу Колину Хекману, что этот момент может наступить в их жизни.

"Он был очарован." — сказал Хекман, который учился с Дарио в одной и той же старшей школе в Сан-Франциско. "Он сказал, что ИИ должен быть создан правильным образом, иначе нам конец."

На тот момент 24-летний Дарио был аспирантом по физике и находился на этапе активного поглощения информации. Он увлекался чтением относительно нишевых блогов, таких как "Ускоренное будущее" и "Преодоление предвзятости", где блогеры обсуждали возможность уничтожения человечества ИИ.

Он также углубился в онлайн-форум GiveWell. GiveWell — это организация, стремящаяся максимизировать эффективность благотворительных пожертвований, где интеллектуалы обсуждают, как заработать больше денег для благотворительности.

Мы опросили более двадцати одноклассников, друзей, учителей и коллег Дарио. Их рассказы показывают, что эти книги, блоги и онлайн-сообщества до сих пор влияют на него и дают подсказки для понимания того, как 43-летний генеральный директор Anthropic видит ИИ. Anthropic ожидает выхода на биржу в этом месяце, что может стать одним из крупнейших публичных размещений в мире.

По словам его друзей и коллег, в центре мировоззрения Дарио находятся две переплетенные идеи. Обе они твердо верят, что математическое мышление может изменить будущее человечества.

Одна из них — "рационализм", который подчеркивает необходимость смотреть на мир холодным, рациональным образом. Самоучка-исследователь ИИ Элиезер Юдковский и другие придерживаются этой идеи и считают, что ИИ станет достаточно мощным, чтобы в конечном итоге уничтожить общество.

Другая идея, развивающаяся вместе с рационализмом, — "эффективный альтруизм", который пытается максимизировать общественное благосостояние с помощью точных математических расчетов.

Друзья и коллеги говорят, что у Дарио эти две идеи сливаются в твердую веру: ИИ может быть крайне опасным, и только он и единомышленники-технические эксперты заслуживают доверия в разработке этой технологии. Это побуждает его стремиться создать ИИ раньше тех, кто не заботится о безопасности человечества, и вдохновляет его желание контролировать эту технологию.

В статье, опубликованной в сентябре, Дарио написал: "Только построив эту технологию правильным образом, мы сможем получить от нее пользу. Пока мы можем использовать время, которое мы получили, стоит с особой осторожностью делать все правильно."

Эти идеи стали основой Anthropic. В 2021 году Дарио вместе с сестрой Даниэлой Амодеи и еще пятью людьми основал эту компанию. Все они имели опыт общения с сообществами рационализма и эффективного альтруизма. С ростом компании их взгляды стали привлекать все больше внимания, и Дарио постоянно открыто и неустанно продвигает эти идеи.

Подпись к изображению: Соучредитель Anthropic Даниэла Амодеи, снятая в офисе в Сан-Франциско в 2023 году. Она близка со своим братом Дарио.

Дарио также участвует в обсуждении геополитических вопросов. Он заявил, что США должны ограничить продажу чипов в Китай, чтобы ослабить конкурентоспособность Китая в области ИИ. Он призывает к регулированию ИИ, чтобы предотвратить выход этой технологии из-под контроля. В споре с Министерством обороны США он также заявил, что ИИ не должен использоваться для массового наблюдения за американцами и не должен применяться в автономных оружиях.

"Он действительно считает, что мы сталкиваемся с огромными рисками для выживания." — говорит Натан Эйвери. Эйвери участвовал с Дарио в соревнованиях по кроссу в старшей школе и много лет общался с ним, хотя сейчас они постепенно отдаляются друг от друга. "Он чувствует, что ему нужно оказаться в позиции, чтобы что-то с этим сделать."

Дарио — миллиардер, и с выходом Anthropic на биржу его состояние, как ожидается, вырастет. Он отказался от интервью через представителя компании.

Его идеи принесли ему сторонников, особенно среди профессионалов в области безопасности ИИ. Эти люди считают, что Дарио разрабатывает ИИ ответственно.

Но это также сделало его врагом в Силиконовой долине и Вашингтоне, среди критиков — Марк Цукерберг из Meta и Дженсен Хуанг из NVIDIA. Они обвиняют его в том, что он "апокалиптик", пытаясь сосредоточить власть в области ИИ в своих руках. В сентябре Министерство обороны США опубликовало сообщение в социальных сетях: "Американизм, а не эффективный альтруизм."

Дарио, похоже, осознает, что его идеи раздражают некоторых людей, поэтому он пытается публично отделить свои убеждения от рационализма и эффективного альтруизма. В 2023 году он заявил в подкасте "Hard Fork" Нью-Йорк Таймс, что не считает себя эффективным альтруистом.

"Я согласен с некоторыми из этих идей." — сказал он, но он против "разделения людей на разные племена".

"Дарио, расслабься!"

Дарио и его сестра Даниэла выросли в районе Мишн в Сан-Франциско. Их отец, Риккардо Амодеи, был кожевником, а мать, Елена Энгель, отвечала за управление ремонтом публичной библиотеки. Документы о разводе показывают, что они расстались в 1991 году.

Когда Дарио учился в восьмом классе альтернативной школы Лоутон, он уже проявлял выдающиеся способности. В 1997 году он и его одноклассник были признаны "самыми вероятно успешными людьми", и на фотографии в выпускном альбоме они держали долларовые купюры.

Учаясь в одной из лучших государственных школ Сан-Франциско, Лоуэлл, Дарио жадно учился и также посещал занятия в Калифорнийском университете в Беркли. Одноклассники говорят, что он размышлял о таких идеях, как утилитаризм. Утилитаризм утверждает, что люди должны создавать максимальное счастье для как можно большего числа жизней. Он также беспокоился о проблеме "года 2000" (в то время некоторые компьютерные программы использовали только две цифры для записи года, и после 2000 года программы могли интерпретировать "00" как 1900), что могло привести к сбоям в глобальных компьютерных системах.

Ричард Шапиро, учитель физики в Лоуэлле, сказал, что Дарио часто чувствовал, что не справился на экзаменах.

"Я кричал на него: 'Дарио, расслабься!'" — сказал Шапиро.

В 2001 году Дарио поступил в Калифорнийский технологический институт в Пасадене, но часто возвращался в Сан-Франциско, чтобы навестить друзей и семью. Однажды, вернувшись домой, он вместе с Эйвери и Хекманом пошел в суши-ресторан, где они обсуждали утилитаризм. Дарио был вегетарианцем, но считал, что есть крабов не проблема, так как крабы — беспозвоночные.

Во время ужина Хекман предложил мыслительный эксперимент: если кто-то постоянно убивает кур, то в каких случаях имеет смысл убить этого человека, чтобы остановить дальнейшие убийства кур?

Эйвери вспоминает, как Дарио слегка усмехнулся и затем сказал, что с точки зрения утилитаризма, когда количество кур достигает определенного уровня, их жизнь может быть важнее жизни одного человека.

Друзья говорят, что Дарио когда-то заявлял, что он атеист, но у него все же есть твердая вера. В 2003 году он отвез Эйвери и других в Сан-Франциско, чтобы участвовать в протестах против вторжения США в Ирак.

На следующий год Дарио перевелся в Стэнфордский университет, расположенный в центре Силиконовой долины. Этот перевод также сблизил его с сестрой, которая тогда училась в старшей школе неподалеку.

В 2023 году он в подкасте говорил о сестре: "Мы всегда хотели вместе спасти мир."

Размышления о времени и жизни

В 2006 году, окончив Стэнфорд, Дарио поступил в Принстонский университет для получения докторской степени по физике, сосредоточившись на применении физики в биологии и вычислительной нейробиологии. В этом году его отец, страдавший от гепатита С, скончался.

Дарио полностью погрузился в исследование клеток сетчатки и начал интересоваться разработкой технологий, которые могут ускорить научный прогресс.

Джейд Ванг, которая встречалась с Дарио и совместно с ним основала научную дискуссионную группу, говорит, что они часто обсуждали вопрос: могут ли ученые, которые всю жизнь исследуют одно заболевание, оказать большее влияние, если они сосредоточатся на разработке технологий или методов для всей области.

Она говорит, что Дарио упомянул своего отца: его отец скончался до того, как появились лекарства, которые могли бы вылечить большинство пациентов с гепатитом С.

Подпись к изображению: Автор "Сингулярность близка" Рэй Курцвейл. Дарио интересовался его работами о искусственном интеллекте.

В то время Дарио уже начал идентифицировать себя с работами Курцвейла и лидера рационализма Юдковского. Его особенно заинтересовала одна из идей Курцвейла: передовые технологии могут помочь человечеству преодолеть свои естественные ограничения. Эта идея называется "постчеловечество".

Когда Хекман посетил Принстон в 2007 году, Дарио сказал ему, что сингулярность наступит до 2040 года, и однажды человечество может объединить мысли с машинами.

Хекман вспоминает, что Дарио тогда заявил: "Со временем мы станем новым суперумным ИИ или смесью ИИ и человека."

Дарио был так увлечен этой идеей, что стал поощрять своих друзей и сестру участвовать в ежегодной конференции, проводимой Исследовательским институтом сингулярности Юдковского. Эта организация сейчас называется Институтом машинного интеллекта.

В электронном письме, увиденном в The New York Times в 2008 году, Дарио сказал другу, что Юдковский — "один из самых глубоких мыслителей, которых я когда-либо встречал", и что он "явно пытается способствовать сингулярности, выгодной для человечества".

Юдковский в электронном письме для The New York Times заявил, что Дарио "в настоящее время не запрашивает и не принимает мои советы, и я не помню, чтобы он когда-либо это делал".

Подпись: Самоучка-исследователь ИИ Элиезер Юдковский. Дарио начал идентифицировать себя с его работами. Юдковский считает, что ИИ станет достаточно мощным, чтобы разрушить общество.

Примерно в то же время Дарио также начал общаться с основателем компании SpaceX Илоной Маском. Два человека, знающие о их общении, сказали, что Дарио говорил друзьям, что он восхищается этим технологическим гигантом и подумывал о том, чтобы поработать на него, но в конечном итоге не присоединился к этой космической стартап-компании.

В 2008 году Дарио столкнулся с GiveWell, читая блог экономиста Тайлера Коуэна. Коуэн в блоге сказал, что эта организация предлагает "интересные советы" о благотворительных организациях.

Дарио начал активно участвовать в списке рассылки и форумах GiveWell, обсуждая, как вести благотворительную и научную работу с точки зрения эффективного альтруизма. В одном из электронных писем, увиденных The New York Times, он написал в 2010 году, что он "рассматривает возможность работы в финансовой сфере, чтобы я мог жертвовать больше денег, чем сейчас".

В том же году Дарио в блоге GiveWell обсудил свое решение пожертвовать 10 000 долларов. Он выбирал между двумя благотворительными организациями: одной, сосредоточенной на предотвращении туберкулеза у взрослых, "Партнерство по борьбе с туберкулезом", и другой, помогающей детям в африканских деревнях получать прививки, VillageReach.

Дарио написал, что "Партнерство по борьбе с туберкулезом" имеет "более высокую стоимость-эффективность", поскольку эта организация обслуживает взрослых, а "взрослые имеют более глубокий и значимый опыт, чем младенцы". Он добавил: "Я считаю, что смерть взрослого человека может быть в два-три раза более серьезной, чем смерть младенца".

Но после дальнейшего сравнения способов выполнения проектов обеими организациями Дарио в конечном итоге изменил свое мнение, считая, что работа VillageReach более эффективна.

В 2011 году он начал постдокторантуру в Стэнфордском университете, исследуя раковые клетки. Друзья говорят, что в личной жизни он пытался принимать добавки для замедления старения, придерживался строгого плана плавания и проявлял интерес к снижению потребления калорий. Некоторые исследования показывают, что снижение потребления калорий может продлить жизнь лабораторных мышей.

"Он часто говорил о конечности времени и о том, что время — это единственный невоспроизводимый ресурс", — сказал Эйвери. Он добавил, что Дарио "почти жестко относился к времени".

Два человека, знающие его, сказали, что в 2014 году Дарио был диагностирован с раком яичек, что еще больше усилило его чувства. Он прошел курс химиотерапии и в конечном итоге полностью выздоровел.

К тому времени он уже установил близкие отношения с одним из основателей GiveWell Холденом Карнофски. GiveWell начал сотрудничать с Good Ventures, благотворительной организацией соучредителя Facebook Дастина Московица и его жены Кари Туны, финансирующей проекты, связанные с эффективным альтруизмом.

Дарио начал предоставлять советы по финансированию в области Наука о жизни для совместного проекта GiveWell Labs.

Подпись: Один из основателей GiveWell Холден Карнофски (справа), сфотографированный в 2012 году. Дарио активно участвовал в онлайн-форуме GiveWell.

В то время Карнофски встречался с Даниэлой. Они переехали в совместную квартиру в Сан-Франциско, где позже жили Дарио, теоретический физик Джаред Каплан и отчисленный студент Кристофер Олах. Дарио когда-то наставлял Олаха по математике.

Три человека, которые посещали это жилье, сказали, что соседи обсуждали статьи Юдковского, исследуя рационализм и эффективный альтруизм. Они также посещали ежегодную контркультурную встречу "Burning Man" в пустыне Невада, иногда надевая костюмы животных.

Каплан и Олах позже вместе с братом и сестрой Амодеи основали Anthropic. В 2025 году Карнофски также начал работать в этой компании.

От Baidu, Google до OpenAI

В начале 2010-х годов достижения в области машинного обучения побудили технологические компании вновь увеличить свои инвестиции в ИИ. Машинное обучение позволяет компьютерам учиться выполнять задачи, анализируя данные.

Китайский интернет-гигант Baidu был одной из компаний, которые погрузились в эту сферу. Baidu открыла лабораторию в Саннивейле, штат Калифорния, и наняла пионера ИИ Эндрю Нг из Google в качестве главного научного сотрудника.

Дарио присоединился к Baidu в 2014 году и быстро стал известен благодаря тому, что работал в офисе всю ночь и откровенно выражал свои мнения.

Подпись: Пионер ИИ Эндрю Нг, работавший в Google и Baidu. Дарио присоединился к Baidu для работы в области ИИ.

Исследователь Грегори Диамос, который работал с Дарио в Baidu, сказал: "Дарио почти каждый раз, когда у него была возможность, очень активно спорил".

Даже на ранних этапах этого раунда развития ИИ Дарио уже беспокоился о потенциальной опасности этой технологии. Диамос вспомнил, что в 2015 году Дарио сказал коллегам, что ИИ может вскоре достичь или превзойти способности человеческого мозга, поэтому компании, разрабатывающие ИИ, не должны избегать возможности технологического выхода из-под контроля.

В том же году Дарио присоединился к лаборатории ИИ Google Brain, сосредоточившись на безопасности ИИ. Он и еще пять исследователей, включая своего соседа по комнате Олаха, в 2016 году опубликовали статью "Конкретные проблемы безопасности ИИ", в которой изложили возможные аномальные поведения ИИ, если его разрабатывать неправильно.

В 2016 году Дарио присоединился к новому проекту ИИ: некоммерческой организации OpenAI. Он возглавил команду безопасности OpenAI, а также другую команду, исследующую "закон масштабов". Закон масштабов описывает, как с увеличением размера модели, объема обучающих данных и вычислительных ресурсов производительность модели ИИ может улучшаться.

В OpenAI: идеи, власть и разногласия

Семь человек, которые работали с Дарио, сказали, что во время работы в OpenAI его вера в правильный способ разработки ИИ укрепилась. Он стал чаще говорить о силе ИИ и потенциальных опасностях, а также предпринял шаги, чтобы интегрировать свои идеи в процесс разработки этой технологии.

Например, 11 ноября 2016 года, через три дня после того, как Дональд Трамп был избран президентом США, Дарио написал в внутреннем коммуникационном приложении OpenAI, что он обеспокоен тем, что Америка скатывается к авторитаризму.

Сообщение, увиденное в The New York Times, показало, что он заявил, что не может с чистой совестью исследовать технологии с мощным военным применением в авторитарной стране.

Внутренние сообщения показали, что Дарио также написал, что инвестор Питер Тиль "должен быть осуждён морально" за пожертвование 1,25 миллиона долларов на кампанию Трампа, и что OpenAI не должна больше принимать его деньги. (Венчурная компания Founders Fund, основанная Тилем, позже инвестировала в Anthropic.)

Дарио также помог OpenAI заключить соглашение с финансирующими сторонами, которые разделяли его идеи. Три человека, знакомые с этой сделкой, сказали, что в 2017 году он помог OpenAI установить контакт с благотворительной организацией, управляемой Карнофски, в которой он сам был техническим консультантом.

Организация Карнофски теперь называется Coefficient Giving и пожертвовала OpenAI 30 миллионов долларов. Карнофски также вошел в совет директоров OpenAI.

Подпись: Дарио, работающий в OpenAI в 2017 году, и Даниэла, работающая в OpenAI в 2019 году.

Позже в том же году Карнофски женился на Даниэле. Согласно свадебному сайту пары, гости получили плюшевых игрушек, а те, кто организовал "самые романтичные пары между разными персонажами", получили награды.

Дарио пришел на свадьбу в костюме панды, а дресс-код для банкета был "смешной формальный стиль". На фотографии, увиденной в The New York Times, он запечатлен в этом наряде вместе с Олахом, который был в костюме жирафа, и своей тогдашней девушкой Кэми Кларк. Он женился на Кларк в 2022 году.

В 2018 году Даниэла присоединилась к OpenAI и в конечном итоге стала вице-президентом по безопасности и политике. Некоторые сотрудники вскоре начали ставить под сомнение растущее влияние этой пары.

Три человека, знакомые с обсуждениями, сказали, что в декабре того же года исследователь OpenAI Джошуа Ачиам сказал генеральному директору Сэму Альтману, что назначение Дарио на должность главного этического директора было неразумным. Ачиам упомянул о растущей власти братьев и сестер Амодеи и заявил, что надзор за ИИ должен осуществляться совместно людьми с различными взглядами.

Когда Ачиам настаивал на том, что следует назначить внешнего эксперта на должность главного этического директора, Дарио столкнулся с ним лицом к лицу. Осведомленные источники сказали, что Дарио повысил голос, заявив, что никто не подходит для этой должности лучше него.

В 2018 году брат и сестра Амодеи взяли на себя проект компании под названием GPT. GPT — это аббревиатура от "генеративный предобученный трансформер".

Шесть человек, которые ранее работали в компании, сказали, что они исследовали технологию безопасности, предназначенную для обучения ИИ выполнению задач с помощью человеческих команд.

Этот подход впоследствии стал яркой чертой карьеры Дарио: приближать ИИ к потенциальным опасностям, а затем тестировать его с помощью технологий безопасности.

Президент OpenAI Грег Брокман хотел участвовать в проекте GPT, но столкнулся с сопротивлением братьев и сестер Амодеи. Два человека, знакомые с ситуацией в компании, сказали, что Дарио многократно говорил Алтману, что если он не уберет Брокмана от этой работы, то сам уйдет.

Один человек, знакомый с мыслями Алтмана, сказал, что Алтман считал эти ультиматумы чрезмерными и поэтому отказался от требований братьев и сестер.

В декабре 2020 года братья и сестры Амодеи и другие коллеги покинули OpenAI. Через четыре месяца они основали Anthropic.

Подпись к изображению: В мае этого года на конференции разработчиков Anthropic в Сан-Франциско братья и сестры Амодеи выступили на одной сцене с главным продуктовым директором компании Ами Ворой (слева).