ニューヨーク・タイムズ：AIの終末論からAnthropicの設立まで、ダリオ・アモデイの信念はどこから来たのか？

著者：ニューヨークタイムズ

編纂：佳欢，ChainCatcher

ダリオ・アモデイはAI業界で最も確固たる安全の提唱者の一人です。彼はこの技術が人類の病気を克服し、科学の進歩を加速させる可能性がある一方で、制御を失った場合には人類に災厄をもたらす可能性もあると信じています。

この信念は早くから彼の選択に影響を与えました。OpenAIで働いていた間、彼は自らの安全理念をAI開発に取り入れようとし、同僚たちと倫理的監視やGPTプロジェクトについて意見の相違を持ちました。OpenAIを離れた後、彼は妹や他の同僚と共にAnthropicを設立しました。

支持者の目には、ダリオは責任ある方法でAIを開発しようとしているように映りますが、批評家の目には、彼の安全への強調が別の問題を引き起こしています：誰がAIがどのように発展すべきかを決定する権利を持ち、誰がその境界を定めるのか？

『ニューヨークタイムズ』はダリオの同級生、友人、教師、元同僚にインタビューを行い、彼の成長過程や思想の源を振り返りました。ダリオ本人はこのインタビューを拒否しました。以下が本文です。

2007年のある夜、プリンストン大学で博士課程を学んでいたダリオ・アモデイは、訪問中の友人を迎えました。彼はちょうど2005年に出版されたコンピュータ科学者レイ・カーツワイルの『シンギュラリティは近い』を読み終えたばかりで、友人にその内容を急いで共有したいと思っていました。

カーツワイルはこの本の中で、人工知能が最終的に人間の脳を超え、「シンギュラリティ」と呼ばれる瞬間が訪れると予測しています。ダリオは髪を指で弄りながら、友人のコリン・ヘックマンに、この瞬間が彼らの生きている間に訪れるかもしれないと語りました。

"彼は夢中になっていました。"ダリオと同じ高校に通っていたヘックマンは言いました。"彼は、AIは正しい方法で創造されなければならない、さもなければ私たちは終わりだと言っていました。"

当時24歳のダリオは物理学の博士課程の学生で、情報を大量に吸収している段階でした。彼は『加速する未来』や『偏見を克服する』などの比較的マイナーなブログを読み漁り、ブロガーたちがAIが人類を滅ぼす可能性について議論しているのに夢中になっていました。

彼はまた、GiveWellのオンラインフォーラムにも深く関わっていました。GiveWellは慈善寄付の効果を最大化することを目的とした組織で、知識人たちがフォーラムで慈善事業のためにどのように最大限のお金を稼ぐかを議論しています。

私たちはダリオの20人以上の同級生、友人、教師、同僚にインタビューを行いました。彼らの話から、これらの書籍、ブログ、オンラインコミュニティが今も彼に影響を与え続けており、43歳のAnthropic CEOがAIをどのように見ているかを理解する手がかりが得られました。Anthropicは今月上場する予定で、これは世界最大規模の公開上場の一つになる可能性があります。

彼の友人や同僚によれば、ダリオの世界観の核心には、相互に絡み合った二つの思想があります。どちらも数学的推論が人類の未来を変えることができると信じています。

一つは「合理主義」で、冷静かつ理性的に世界を見つめることを強調します。独学でAI研究者のエリエザー・ユドコウスキーなどがこの思想を信奉し、AIが十分に強力になれば、最終的には社会を破壊する可能性があると考えています。

もう一つは、合理主義と共に発展した「効果的利他主義」で、正確な数学的計算を通じて社会福祉を最大化しようとします。

彼の友人や同僚は、ダリオのもとでこれら二つの思想が融合し、AIが極めて危険であるという確固たる信念が生まれたと言います。彼と志を同じくする技術専門家だけがこの技術を開発するに値すると考えています。これが、彼が人類の安全を気にしない人々に先んじてAIを創造しようとする動機となり、この技術を制御したいという願望を刺激しました。

ダリオは9月にAIの発展を遅らせるよう呼びかける記事の中で、「正しい方法でこの技術を構築することで、私たちはその恩恵を受けることができます。私たちが得た時間を有効に活用できる限り、特に慎重な態度で物事を正しく行う価値があります。」と書いています。

これらの思想はAnthropicの基盤となっています。2021年、ダリオは妹のダニエラ・アモデイと他の5人と共にこの会社を設立しました。彼らは皆、合理主義や効果的利他主義のコミュニティに接触した経験があります。会社が成長するにつれて、彼らの見解はますます注目を集め、ダリオはこれらの見解を公然と推進し続けています。

キャプション：Anthropic共同創設者ダニエラ・アモデイ、2023年のサンフランシスコオフィスにて撮影。彼女は兄のダリオと親しい関係にあります。

ダリオは地政学的な問題についても議論に参加しています。彼はアメリカが中国へのチップ販売を制限すべきだと述べ、中国のAI分野での競争力を弱めるべきだと主張しています。彼はAIの規制を呼びかけ、この技術が制御を失うのを防ぐべきだとしています。アメリカ国防省との論争の中で、彼はAIがアメリカ人に対する大規模監視に使用されるべきではなく、自律兵器にも使用されるべきではないと述べました。

"彼は本当に、私たちが直面しているのは巨大な生存リスクだと考えています。"ネイサン・エイブリーは言います。エイブリーはダリオと共に高校のクロスカントリー競技に参加し、長年にわたって多くの深い会話を交わしてきましたが、今では次第に疎遠になっています。"彼は自分が行動を起こすことができる立場にいる必要があると感じているようです。"

ダリオは億万長者であり、Anthropicの公開上場に伴い、彼の資産はさらに増加する見込みです。彼は会社を通じてインタビューを拒否しました。

彼の考えは支持者を得ており、特に一部のAI安全分野の専門家の間で評価されています。彼らはダリオが責任ある方法でAIを開発していると考えています。

しかし、これにより彼はシリコンバレーやワシントンで敵を作ることになり、批評家にはMetaのマーク・ザッカーバーグやNVIDIAのジェンスン・ファンが含まれています。彼らは彼を「終末論者」と非難し、AI分野の権力を自分の手に集中させようとしていると主張しています。9月、アメリカ国防省はソーシャルメディアで「アメリカ主義、ではなく効果的利他主義」と投稿しました。

ダリオは自分の考えが一部の人々を怒らせていることに気づいているようで、彼の信念を合理主義や効果的利他主義と区別しようとしています。2023年、彼は『ニューヨークタイムズ』のポッドキャスト『Hard Fork』で、自分は効果的利他主義者ではないと述べました。

"私はその中のいくつかの考えには賛同します。"彼は言いましたが、「人々を異なる部族に分けることには反対です」と付け加えました。

"ダリオ、リラックスして！"

ダリオと妹のダニエラはサンフランシスコのミッション地区で育ちました。彼らの父リッカルド・アモデイは皮革職人で、母エレナ・エンゲルは公共図書館の改修プロジェクトを管理していました。離婚書類によれば、二人は1991年に別居しました。

ロートン・オルタナティブ・スクールで8年生の時、ダリオはすでに非常に優れた才能を示していました。1997年、彼と同級生は「最も成功する可能性が高い人」として評価され、卒業アルバムの写真でドル札を持っていました。

サンフランシスコのトップ公立高校であるロウェル高校に通っていた時、ダリオは貪欲に学び、カリフォルニア大学バークレー校の授業にも参加していました。同級生たちは、彼が功利主義などの思想について考えていたと言います。功利主義は、人々ができるだけ多くの命に最大の幸福をもたらすべきだと主張します。彼はまた、ミレニアムバグ（当時、一部のコンピュータプログラムが年を2桁で記録しており、2000年に「00」を1900年と誤解する可能性がある問題）が世界のコンピュータシステムを麻痺させる可能性を心配していました。

当時ロウェル高校の物理教師だったリチャード・シャピロは、ダリオがしばしば試験でうまくいかなかったと感じていたと言います。

"私は彼に向かって叫ぶことがありました：'ダリオ、リラックスして！'"シャピロは言いました。

2001年、ダリオはパサデナのカリフォルニア工科大学に入学しましたが、彼は頻繁にサンフランシスコに戻って友人や家族を訪れていました。ある帰省の際、彼はエイブリーやヘックマンと一緒に寿司店に行き、功利主義について議論しました。ダリオはベジタリアンでしたが、カニは無脊椎動物なので食べることに問題はないと考えていました。

食事中、ヘックマンは思考実験を提起しました：もしある人が鶏を殺し続けている場合、さらなる鶏の殺害を防ぐために、その人を殺すことが正当化されるのはどのような状況か？

エイブリーは、ダリオが軽く笑った後、功利主義の観点から、鶏の数が一定の程度に達した場合、鶏の命は一人の命よりも重要になる可能性があると述べたと回想しています。

友人たちは、ダリオが無神論者であると述べたことがあるが、彼には依然として確固たる信念があると語っています。2003年、彼はエイブリーや他の人々を車に乗せてサンフランシスコに向かい、アメリカのイラク侵攻に反対する抗議活動に参加しました。

翌年、ダリオはシリコンバレーの中心にあるスタンフォード大学に転校しました。この転校により、彼は妹に近づくことができました。当時、ダニエラは近くの高校に通っていました。

2023年、彼はポッドキャストで妹について語り、「私たちはずっと一緒に世界を救いたいと思っていました。」と言いました。

時間と生命についての考察

2006年にスタンフォード大学を卒業した後、ダリオはプリンストン大学で物理学の博士号を取得するために入学し、最終的には物理学を生物学や計算神経科学に応用することに専念しました。この年、彼はC型肝炎を患っていた父を亡くしました。

ダリオは網膜細胞の研究に全力を注ぎ、科学の進歩を加速させる技術の開発に興味を持ち始めました。

ダリオと交際し、科学討論グループを共に設立したジェイド・ワンは、二人がしばしば次のような問題について議論していたと語ります：特定の病気を一生研究している科学者が、全体の分野のために技術や方法を開発することができれば、より大きな影響を与えることができるのか。

彼女は、ダリオが自分の父について言及したことを思い出しました：大多数のC型肝炎患者が治療を受けられる薬が登場する前に、彼の父は亡くなったのです。

キャプション：『シンギュラリティは近い』の著者レイ・カーツワイル。ダリオは彼の人工知能に関する著作に非常に興味を持っています。

その頃、ダリオはすでにカーツワイルや合理主義のリーダーであるユドコウスキーの著作に共感を持ち始めていました。特にカーツワイルの一つの見解に興味を持っていました：先進技術は人類が自身の自然な限界を突破するのを助ける可能性があるという考えです。この思想は「超人間主義」と呼ばれています。

2007年、ヘックマンがプリンストンを訪れた際、ダリオは彼に、シンギュラリティは2040年までに訪れるだろうと語り、人類はいつか思考と機械を融合させる可能性があると言いました。

ヘックマンは、ダリオが当時「時間が経つにつれて、私たちは新しいスーパーインテリジェントAIになるか、あるいはAIと人間の混合体になるだろう」と述べたことを思い出しています。

Dario はこの考えに非常に魅了され、友人や妹に Yudkowsky のシンギュラリティ研究所が主催する年次会議に参加するよう勧めました。この組織は現在、機械知能研究所と呼ばれています。

『ニューヨーク・タイムズ』で見た2008年の電子メールの中で、Dario は友人に Yudkowsky を「私が出会った中で最も深い思考を持つ人の一人」と述べ、「人類に有利なシンギュラリティを促進しようとしている」と言いました。

Yudkowsky は『ニューヨーク・タイムズ』への電子メールの中で、Dario が「現在、私の提案を求めたり受け入れたりすることはなく、彼がそうしたことを覚えていない」と述べました。

キャプション：独学の AI 研究者 Eliezer Yudkowsky。Dario は彼の著作に共感を持ち始めました。Yudkowsky は、AI が社会を破壊するほど強力になると考えています。

同じ頃、Dario はロケット会社 SpaceX の創設者であるイーロン・マスクと通信を始めました。二人の交流を知る人々によれば、Dario は友人にこのテクノロジーの巨人を高く評価し、彼のために働くことを考えたこともあるが、最終的にはこの宇宙スタートアップに参加しなかったと語ったそうです。

2008年、Dario は経済学者タイラー・コーエンのブログを読んで GiveWell に出会いました。コーエンはブログの中で、この機関が慈善団体に関する「興味深い提案」を提供していると述べました。

Dario は GiveWell のメールリストやフォーラムで活発に活動し、効果的利他主義の観点から慈善活動や科学研究を行う方法について議論しました。『ニューヨーク・タイムズ』で見た電子メールによれば、2010年、彼は「金融業界に従事することを考えている。そうすれば、今よりも多くのお金を寄付できる」と書いていました。

同年、Dario は GiveWell のブログ記事で、1万ドルを寄付することを決めた経緯について語りました。彼は二つの寄付先の間で選択をしていました：一つは成人の結核予防に焦点を当てた「結核制御パートナーシップ」、もう一つはアフリカの村の子供たちにワクチンを接種する VillageReach です。

Dario は「結核制御パートナーシップ」の「コスト効果」が高いと書きました。なぜなら、その組織は成人にサービスを提供しており、「成人は赤ちゃんよりも深く、意味のある経験を持っている」と述べました。彼は「成人の死は赤ちゃんの死よりも2倍から3倍深刻だと思う」と付け加えました。

しかし、二つの機関がプロジェクトを実行する方法をさらに比較した後、Dario は最終的に考えを変え、VillageReach の活動の方が効果的だと判断しました。

2011年、彼はスタンフォード大学で博士後研究を始め、癌細胞の研究を行いました。友人たちは、彼が個人的な生活の中で抗老化サプリメントを試し、厳格な水泳プログラムを守り、カロリー摂取を減らすことに興味を持っていると語りました。一部の研究は、カロリー摂取を減らすことで実験室のマウスの寿命が延びることを示しています。

「彼は時間の有限性についてよく話し、時間は唯一再生不可能な資源だと言っていました。」と Avery は言いました。彼はさらに、Dario が「時間に対してほぼ厳格だ」と付け加えました。

彼を知る二人によれば、2014年、Dario は精巣癌と診断され、彼のこの感覚はさらに深まりました。彼は化学療法を受け、最終的には完全に回復しました。

その頃までに、彼は GiveWell の創設者の一人であるホールデン・カルノフスキーとの親しい関係を築いていました。GiveWell は Good Ventures と提携を始めました。Good Ventures は Facebook の共同創設者ダスティン・モスコビッツと彼の妻キャリ・チューナの慈善団体で、効果的利他主義に関連する事業を資金提供しています。

Dario は両者の共同プロジェクトである GiveWell Labs に対してライフサイエンスの資金提供に関するアドバイスを始めました。

キャプション：GiveWell の創設者の一人ホールデン・カルノフスキー（右）、2012年撮影。Dario は GiveWell のオンラインフォーラムで活発に活動していました。

その時、カルノフスキーはダニエラと交際していました。二人はサンフランシスコのシェアハウスに引っ越し、その後、Dario、理論物理学者ジャレッド・カプラン、大学中退者クリストファー・オラと共に住むことになりました。Dario はオラに数学を教えていました。

この住所を訪れた三人は、ルームメイトたちが Yudkowsky の記事について議論し、合理主義や効果的利他主義を探求していたと語りました。彼らはまた、ネバダ州の砂漠で行われる年次の反主流文化イベント「バーニングマン」に参加し、時には動物のコスチュームを着ることもありました。

カプランとオラは後にアモデイ兄妹と共に Anthropic を設立しました。2025年、カルノフスキーもこの会社で働き始めました。

百度、グーグルから OpenAI へ

2010年代初頭、機械学習が進展し、テクノロジー企業は AI への投資を再度強化しました。機械学習はコンピュータがデータを分析することで、タスクを完了する方法を学ぶことを可能にしました。

中国のインターネット大手百度は、その中に参入した企業の一つです。百度はカリフォルニア州サニーベールにラボを設立し、グーグルから AI の先駆者であるアンドリュー・ンをチーフサイエンティストとして迎えました。

Dario は2014年に百度に参加し、すぐにオフィスで徹夜で働き、率直に意見を述べることで有名になりました。

キャプション：かつてグーグルと百度で働いていた AI の先駆者アンドリュー・ン。Dario は百度に参加し、AI 研究に従事しました。

かつて百度で Dario と共に働いていた研究者グレゴリー・ディアモスは、「Dario はほぼ毎回機会があるたびに非常に激しく議論をしていました。」と語りました。

この AI の発展の初期段階において、Dario はこの技術の潜在的な危険性についてすでに懸念を抱いていました。ディアモスは、2015年に Dario が同僚に対して、AI がすぐに人間の脳の能力に達するかそれを超える可能性があるため、AI を開発する企業は技術の暴走の可能性を避けるべきではないと述べたことを思い出しました。

同年、Dario はグーグルの AI ラボ Google Brain に参加し、AI の安全性に焦点を当てました。彼は他の五人の研究者と共に、2016年に「人工知能の安全性における具体的な問題」という論文を発表し、開発方法が不適切であった場合に AI が異常な行動を示す可能性について説明しました。

2016年、Dario は新しい AI プロジェクトである非営利団体 OpenAI に参加しました。彼は OpenAI の安全チームと、別の「スケールの法則」を研究するチームを率いました。スケールの法則は、モデルの規模、トレーニングデータ、計算リソースが増加するにつれて、AI モデルのパフォーマンスが向上する可能性を説明しています。

OpenAI における理念、権力、そして対立

Dario と共に働いた七人は、OpenAI での勤務中に彼の AI 開発に対する正しい方法への信念がより強固になったと述べました。彼は AI の力と潜在的な危険性についてより頻繁に話し、自分の考えをこの技術の開発プロセスに組み込むための行動を取りました。

例えば、2016年11月、ドナルド・トランプがアメリカ大統領に選出されてから三日後、Dario は OpenAI の内部コミュニケーションアプリで、アメリカが権威主義に向かっていることを懸念していると書きました。

『ニューヨーク・タイムズ』で見たメッセージによれば、彼は「権威主義国家で強力な軍事用途を持つ技術を研究することに心安らかではない」と述べました。

内部のメッセージによると、Dario は投資家ピーター・ティールがトランプの選挙活動に125万ドルを寄付したことについて「道徳的に非難されるべきだ」と書き、OpenAI は彼のお金を受け取るべきではないと述べました。（ティールが設立したベンチャーキャピタル会社 Founders Fund は後に Anthropic に投資しました。）

Dario はまた、OpenAI が彼の考えに賛同する資金提供者と協力するのを助けました。三人の知人によれば、2017年、彼は OpenAI とカルノフスキーが運営する慈善団体との連携を助け、彼自身はその団体の技術顧問でした。

カルノフスキーの団体は現在 Coefficient Giving と呼ばれ、OpenAI に3000万ドルを寄付しました。カルノフスキーも OpenAI の理事会に参加しました。

キャプション：2017年に OpenAI で働いていた Dario と、2019年に OpenAI で働いていた Daniela。

同年の後半、カルノフスキーはダニエラと結婚しました。二人の結婚式のウェブサイトによれば、ゲストにはぬいぐるみが贈られ、「異なる役割間の最もロマンチックなペアリング」を手配した人には報酬が与えられるとのことでした。

Dario はパンダの頭巾をかぶって結婚式に参加し、披露宴の服装は「滑稽な正装」とされていました。『ニューヨーク・タイムズ』で見た写真の中で、彼はその衣装を着て、長い首のキリンの頭巾をかぶったオラや当時のガールフレンドであるキャミ・クラークと一緒に写っています。彼はクラークと2022年に結婚しました。

2018年、ダニエラは OpenAI に参加し、最終的には安全と政策を担当する副社長になりました。一部の従業員はすぐにこの兄妹の影響力の増大に疑問を呈し始めました。

三人の関係者によれば、同年12月、OpenAI の研究者ジョシュア・アチアムは CEO サム・アルトマンに対し、Dario を会社のチーフエシックスオフィサーに任命することは賢明ではないと伝えました。アチアムはアモデイ兄妹の権力の増大を指摘し、AI の監視は異なる見解を持つ人々が共同で行うべきだと述べました。

アチアムが外部の専門家をチーフエシックスオフィサーに任命すべきだと主張した際、Dario は彼に対して対質しました。関係者によれば、Dario は声を上げ、「誰よりも自分がこの役職に適している」と述べました。

2018年、Amodei兄妹は会社の「GPT」というプロジェクトを引き継ぎました。GPTは「生成的事前学習トランスフォーマー」の略です。

この会社で働いていた6人は、AIに人間の指示を通じてタスクを完了させることを教える安全技術を探求していたと述べています。

このアプローチは後にDarioのキャリアの際立った特徴となりました：AIを潜在的な危険に近づけ、その後安全技術でテストすることです。

OpenAIの社長Greg BrockmanはGPTプロジェクトに関与したいと考えていましたが、Amodei兄妹に反対されました。会社の状況を知る2人は、Darioが何度もAltmanに対して、Brockmanをこの仕事から遠ざけなければ自分が辞めると言ったと述べています。

Altmanの考えを知る人物によれば、Altmanはこれらの最後通牒が行き過ぎだと考え、兄妹の要求を拒否しました。

2020年12月、Amodei兄妹と他の同僚はOpenAIを離れました。数週間後、彼らはAnthropicを設立しました。

キャプション：今年5月、サンフランシスコで開催されたAnthropic開発者会議で、Amodei兄妹と会社の最高製品責任者Ami Vora（左）が共演しました。