OpenAIの社長：Astraは「10万のGPUでトレーニングされたモデル」であり、「アプリケーションのハードルを越えた」初の存在です。

著者：ウォールストリートジャーナル

OpenAIの社長グレッグ・ブロックマンは、Astraの発表前夜に深層インタビューを受け、この新しいモデルがOpenAI史上初めて10万以上のGPUでトレーニングされたモデルであることを初めて明らかにし、AIが「コンピュータ使用」のアプリケーションのハードルを越えたと述べました ------これは、AIがもはやAPIコネクタに依存せず、人間のように任意のソフトウェアを操作できることを意味します。

現地時間の金曜日、テクノロジー戦略分析サイトStratecheryは、OpenAIの社長兼共同創設者グレッグ・ブロックマンとの深層インタビューを公開しました。このインタビューはAstraの正式発表前に録音されたもので、ブロックマンによるAstraおよびOpenAIの最新戦略に関する最も詳細な公開表現となっています。
ウォールストリートジャーナルはインタビューの要点を以下のように整理しました：

1. AstraはOpenAIが10万以上のGPUでトレーニングした初のモデルであり、この規模はエンジニアリングの重大な突破を示しています。

2. Astraは「コンピュータ使用」（computer use）能力において重要なアプリケーションのハードルを越え、「汎用コネクタ」として機能し、もはや各ソフトウェアが個別にAPIインターフェースを提供することに依存しません。

3. ブロックマンは、AGI時代において、安全性、整合性、能力の三者は同等に重要な「要求」として並行して進める必要があると述べました。

4. OpenAIはAstraを自社のシステムの脆弱性をスキャンし、修正を行うために直接指向しました。これは重大な安全文化の変化です。

5. Hugging Faceの安全事件において、ブロックマンはサンドボックスメカニズムに欠陥があることを認め、AIが創造的な「脱獄」ルートを見つけたと述べました。

6. ブロックマンはOpenAI内部が「AGI時代」のハードルを越え、Astraまたは次世代モデルで多くの人が認めるAGI基準に達する可能性があると考えています。

7. チップ戦略において、OpenAIは自社開発のJalapeñoチップを使用し、AI支援設計を行いながら、NVIDIAとの深いパートナーシップを維持しています。

8. 彼は、AI能力の向上に伴い、過去に精巧に構築された「スキルの足場」が支援から制限に変わりつつあることがAstraの開発過程での重要な発見であると考えています。

"10万のGPUでのトレーニング初体験"：Astraの規模の意義

"これは私たちが10万以上のGPUでトレーニングを行った初めての経験です。この数字は簡単に言えますが、その規模を想像する必要があります------これらのデータセンターは、ある意味でAI技術を推進するために構築された巨大な機械であり、このような量の計算能力を扱うこと自体が真のエンジニアリングの偉業です。"とブロックマンはインタビューで述べました。

彼は、計算能力の大幅な拡張は単にモデルの能力を向上させるためだけではなく、"大量の計算能力が安全性と整合性の作業に投入されており、それに関する多くの安全工学が展開されています。これは私たちがこれまでに整合性の最も高いモデルであり、能力が非常に強力であるため、整合性と安全性がこれまで以上に核心的なものになっています。"と強調しました。

"コンピュータ使用"のハードルを越える：AIが「万能コネクタ」に

ブロックマンはAstraの最も核心的な突破を「コンピュータ使用」（computer use）に位置付けました。

"過去2年間、私たちは「コネクタ時代」にありました------あなたにはいくつかのソフトウェアがあり、人間はそれを正常に使用できますが、AIにはアクセス権がありません。したがって、各ソフトウェアのために専用のコネクタを作成し、そのAPIにフックする必要があります；多くのソフトウェアにはAPIが全くないため、それはAIの能力の範囲を完全に超えています。"と彼は述べました。"今、私たちはほぼ「万能コネクタ」の技術を手に入れました。AIは厳しく制限されてあなたを助けるのではなく、ほぼ何でも操作できるようになりました。"

彼はこの変化がOpenAI内部の働き方に与える影響をさらに説明しました："これはOpenAI内部の人々の働き方を変えつつあり、私はそれが多くの企業や多くの個人を本当に向上させると考えています。"

注目すべきは、ブロックマンがこのハードルの越え方が終点ではないことを認めたことです："これはすべての問題が解決されたことを意味するわけではありません。これらのAIに企業レベルのバリアを設定する方法、適切な監視、管理、追跡、可観測性を実現する方法を考慮する必要があります------これらはすべて進めています。"

"私たちは今AGI時代に入っています"

ブロックマンはインタビューで大胆な判断を下しました：

"私は、もしかしたら前のモデルかもしれませんし、Astraかもしれませんし、次のモデルかもしれませんが、その中のどこかのポイントで、私たちは大多数の人々のAGIのハードルを越えるでしょう。……ある意味で、私は今すでにAGI時代に入っていると言えるでしょう。"

彼は、現在の段階では、整合性、安全性、能力の三者が並行して進める必要があると説明しました。"これらの側面は開発のボトルネックになりつつあり、これこそが私たちが常に準備してきたことです。"

古い「スキル」が逆に足かせに：AIが強力すぎてルールを減らす必要がある

インタビューの中で、Astraの実際のトレーニングプロセスから衝撃的な詳細が明らかになりました。ブロックマンは、OpenAIが過去にモデルの行動規範を作成するために多くの労力を費やしてきたが、今ではそれが逆に足かせになっていると明かしました：

"私たちは、今年以来苦労して構築したいくつかのスキル------OpenAI内部での作業の正しい方法をモデルに示すためのもの------が実際にはそのパフォーマンスにとって純粋な負担（net negative）であることを発見しました。彼は私たちが書いたよりも良く一般化し、私たちが規定したよりも良い処理パターンを見つけることができるのです。まるでトレーニングの車輪のように、最初は役に立ちますが、彼がより速く、より能力を持つようになると、それが障害になってしまいます。"

"10億ユーザーは投資である"：消費者と企業の融合

ブロックマンは市場で継続的に存在する疑問に直面しました：ChatGPTは10億ユーザーを持っていますが、これは逆に気を散らすことになるのではないか？

"アメリカでは、約3分の1の人口が毎週ChatGPTを使用しています。"と彼は述べました。"これは独自のものであり、このような先進技術に関しては、他に類を見ない製品です。"

彼はこの10億ユーザーを「投資」と定義しました："これは真の投資であり、将来のモデルの解放方法において価値を蓄積します。"

同時に、彼は痛点を認めました："チャットを製品として扱うことの課題は、それが必ずしもよりスマートなモデルに直接対応しているわけではないことです------もしあなたがそれを単なる検索エンジンの代替品として扱うなら、真の利点を実感できないかもしれません。"彼は、未来の方向性は消費者と企業のシナリオを統合し、統一されたAGIシステムを構築することだと考えています。"私たちは二つのことをしたくない、私たちは一つのことをしたい------AGI、システム、統一された技術スタックを構築することです。"

彼はまた、健康分野の展開を特に強調しました："毎週3億人がChatGPTを通じて健康に関する問い合わせを行っています。3億人、これは非常に大きな数字です。"

AIが自ら脆弱性をチェック：Astraを自社のシステムに向ける

サイバーセキュリティの問題に関して、ブロックマンは注目すべき内部実践を明らかにしました：OpenAIはAstraを自社のシステムに向けて脆弱性を探すために直接使用しました。

"私たちはAstraを呼び出し、それを私たち自身のシステムに向けて脆弱性を発見しました------単にコードを読むのではなく、これらのシステムのエンドツーエンドの動作を真に検証し、実際の、検証された脆弱性を見つけ、それを修正し、パッチ作業を手助けしました。"と彼は述べました。

彼はまた、Hugging Faceの安全事件において、OpenAIが防御ウィンドウ期間中の行動が十分に迅速ではなかったことを認めました。"私は、今は明らかにその時期ですし、数ヶ月前もその時期だったかもしれませんが、その時はモデルの能力がはるかに弱かったのです。"

NVIDIAとの関係：チップの自社開発は「掛け算」であり、代替ではない

価値チェーンの競争の観点から、ブロックマンはOpenAIの自社開発チップJalapeñoとNVIDIAの関係について表明し、代替論理を明確に否定しました：

"NVIDIAは私たちの最優先の計算パートナーであり、これは変わりません。実際、私たちの協力はさらに深化しています。……私たちのチッププロジェクトから得られる内部の専門知識は、私にとっては掛け算の効果であり、代替ではありません。私はこれが全員にとって良いことだと考えています。"

彼はまた、AI支援のチップ設計に関する興味深いエピソードを明かしました：Jalapeñoが締切を迎える最後の1ヶ月間、チームは直接AIに最適化を実行させました。"私たちは、ただそれを走らせて、何をしたのかを詳細に読むことはしませんでした。後で振り返ってみると、彼が私たちのリストにあるが決して自分では実現しないであろう最適化をたくさん見つけたことがわかりました------これは本当にクールな話です。"

以下はインタビューの文字起こし全文（AIによる翻訳支援）

グレッグ・ブロックマン、Stratecheryへようこそ。
GB（グレッグ・ブロックマン）：招待してくれてありがとう。ここに来られて嬉しいです。
明らかに私たちはたくさんのニュースについて話す必要がありますが、これは私たちの初めての対話なので、通常私が誰にでも尋ねるStratecheryの伝記の質問を逃したくありません。あなたはノースダコタ州を中西部の一部と定義しますか？
GB：はい、そうだと思います。
さて、中西部の人間として、そこについて少し話す時間を取りたいと思います。あなたはボストンで学びましたが、そこについて話す前に------あなたは学校に通う前から国際オリンピック競技会のような素晴らしい経歴を持っていましたが、それは化学のことです。コンピュータはどこから始まったのですか、それともコンピュータは最初からあなたの生活の一部だったのですか？
GB：うーん、コンピュータは私の成長過程で常に背景にありました。私はコンピュータゲームを楽しんでいましたが、数学や科学にも非常に興味がありました。実際、9年生になるまで、私は俳優になれるかもしれないと思っていました------私は演技が大好きで、少し哲学にも手を出していました。
それは驚きの転換ですね！私はそのことを全く知りませんでしたが、あなたが今していることと演技との関連を理解しようと思いますが、続けましょう。
GB：うーん、9年生の時、私は中学校と高校のいくつかの劇で主演や主役を務めたことがあると思います。その時、私は何かに全力を尽くしたいと思い、特定の分野で世界一になれると思い、その分野を本当に推進しようとしました。私は、より知的でハードサイエンス的なアプローチを選ぶか、アート、演技、クリエイティブな道を選ぶかのどちらかだと思いました。最終的に私はハードサイエンスの方向を選びました。なぜなら、それが私が世界を最大限に変えることができる分野だと思ったからです。
なぜその方向に進むことが世界を最大限に変えることができると思いますか？
GB：私にとっては、そう感じるのです------演技の好きなところの一つは、その共同性です。即興演技が好きで、創造的に物事を考え、アイデアをぶつけ合うことが必要ですが、それと同時に、非常にうまく協力しなければならないチームの一員になる必要がありますが、それは常に保証されるわけではありません。それは実現し、見つけるのが難しいことです。私が知的な道を好む理由の一つは、それが自分のスキルを磨くように感じるからです。しかし、私が学んだことの一つは、たとえあなたが非常に優れたコードを書くことができても、それだけでは不十分だということです。実際、優れたチームを導入することが重要であり、私はそれが私のキャリアの一部だと思っています------卓越した成果を提供できる環境と文化を本当に構築し、形成する手助けをすることです。
面白いことに、ここには環境がそのいくつかの事柄を形成しているという側面があります。あなたは常に劇や映画で主役を務めていると述べました。私の子供たちがその段階を経験しているときに気づいたことですが------私の娘はしばらくの間ミュージカルのようなものが大好きでした------主役の競争は非常に激しく、通常、適任の男性が自発的に参加すれば、彼は毎回その役を得ることができます。主役の競争は激しいですか、それともあなたは唯一無二の存在ですか？
GB：（笑）それは説明できるかもしれません。しかし、あなたに一つの話をします。
逆に、ノースダコタ州では、ハードサイエンスに特に取り組んでいる人がそれほど多くないので、同じ観点から見ると、それもまた珍しいことではありませんか？
GB：うーん、二つの話をします。最初の話は演技についてです。私の最初の有償の仕事は演技の仕事でした。マンハイム・スチームローラーがノースダコタ州のグランドフォークスに来ました。マンハイム・スチームローラーを聞いたことがありますか？
聞いたことがあります。はい、もちろん。
GB：彼らは当時コンサートを開催する予定で、エキストラが必要でした。彼らはクリスマスの音楽会だったので、いくつかの人々にブリキの兵隊の格好をして歩いてもらう必要がありました。私はオーディションに参加しましたが、その時私は痩せた9年生で、そこには背の高い大学生たちがいました。
彼らがみんなにやらせたことは、「さあ、みんなその方向に歩いてください」と言い、キャスティング担当者が意見を比較し、その後、しばらく休憩があり、「さあ、別の方向に歩いてください」と言いました。私は休憩中に、すべての大学生たちが互いに話し合い、ぶらぶらしているのを見ていましたが、私はこの仕事には一つの要求があると思っていました。それは、コンサート全体で6時間集中し続け、往復して歩くことです。だから、休憩中はその役に集中し、完全に没頭していました。最後に、彼らは「さあ、この人、この人、この人を選びました。他の人は帰ってもいいです」と言いました。私は選ばれませんでした。
しかし、私たちが帰る途中、彼らは「実際、あなたは素晴らしいと思いました。あなたがこのことにどれだけ情熱を注いでいるかを見るのがとても楽しかったので、特別に新しい役を作ります」と言いました。そこで私はジンジャーブレッドマンの役を得て、完全な衣装をもらいました。それが私の最初の仕事でした。だから、これは常識的な思考から抜け出してタスクを完了しようとすることのようです------常に特定の役を受け入れるのではなく、それを得るための創造的な方法を見つけようとすることです。
しかし、ノースダコタ州で育った本当に素晴らしい点は、私が集中している異なる分野で州内で最高の成績を収める可能性があることです。私は数学の成績が優れていました。10年生からノースダコタ大学で多くのコースを受講しました。私は数学競技に深く参加し、全国競技に参加し、全国数学サマーキャンプに行き、そこで全国の優秀な人々に出会いました。彼らは素晴らしく、実際、私が数学サマーキャンプで非常に尊敬していた多くの人々が今OpenAIで働いていることが私の本当の名誉の一つです。だから、私はこの新しい分野で彼らを新しい視点で見る機会がありました。
素晴らしいですね。
GB：しかし、それは私が自分の道を真に計画できるということでもあります。私は数学研究を始めましたが、もし私が強力な高校や競争が激しい州に行ったら、私は目立たなかったと思います。私は標準的なルートを歩かなければならなかったでしょう。だからこそ、その地域にいたからこそ、私は自分の興味を探求し、本当に自分の道を歩むことができたのです。
だから、人々がボストンで学んでいると言うと、通常はハーバードを指します。それがあなたの出発点です。そして、あなたはMITに転校しました。そして、ある時点であなたはStripeで働いていました。順序はどうなっていますか？あなたはいつCollison兄弟に会ったのですか？ボストンでは何が起こったのですか？
GB：うーん、高校を卒業した後、私は一年間の休暇を取りました。実際、私は化学に非常に魅了されていたので、化学教科書を書くことを始めました。高校時代に化学競技に参加し、独自の考え方を提案しました。それは非常に第一原理に基づいており、非常に数学的で、暗記ではありませんでした。私はこの方法を教えたいと思い、それを広めたいと思いました。だから、私は実際に100ページを書きました。今、それは私のウェブサイトにあります。私はまだ完成していません。私は戻って書き続けるつもりでした。
それは退職プロジェクトのようですね、私はそれが好きです。
GB：そうです。うーん、その時私はこの本を出版する方法を考えていましたので、数学の分野で似たようなことをした友人に尋ねました。彼は「うーん、あなたは博士号を持っていないので、誰もそれを出版しないでしょう。だから、あなたは自己出版するか」------私はその時、「ああ、それは大変だし、コストも高い」と思いました------「それとも、あなたはウェブサイトを作ってそのアイデアを広めることができます」と言いました。私は「プログラミングを学ばなければならないと思います」と言いました。だから、私はW3Schoolsに行きました。あなたはW3Schoolsを覚えていますか？そのウェブサイトを見たことがありますか？
いいえ、私は見たことがないと思います。
GB：まあ、これはクラシックなウェブサイトです------彼らはHTMLチュートリアル、JavaScript、CSS、PHPを持っています。私はそれを一通り読み、そして「試してみるべきだ」と思いました。私は最初の小さなウィジェットを作ったことを覚えています：テーブルの列をクリックすると、行がそれに応じてソートされます。それは今までで最もクールな感覚でした。私はこのものを考えていて、今それがこの世界に存在していて、誰でもそれから利益を得ることができると思いました。彼らは背後の詳細を理解する必要はなく、それはただ機能するだけです。
私が作った最初のユーザーがいるプログラムは、実際には競争的なチャットボットゲームで、ある日StumbleUponから1500回のクリックを得ました。それは本当に素晴らしい気持ちでした。1500人が私のゲームをプレイし、楽しんでくれたことを願っていて、彼らはそれに十分に没頭していました。私はその時、「これが私が望んでいたことだ、私は他の人を助けたい、彼らに価値を創造し、彼らに利益をもたらしたい」と思いました。
だから、私はそのような考えを持ってハーバードに入学しました。それは確かに私の考えを変えました。私はもっとエクレクティックな興味を追求すると思っていましたが、結果的に「私はただ物を構築したい」と思いました。ハーバードの一年生の時、私はコンピュータクラブに参加し、二人の四年生が毎回難解な技術的議論を行っていました。私たちは「いつか私たちは理解するだろう、いつかそれは私たちになるだろう」と聞いていました。しかし、彼らが卒業した後、二年生になりました。
だから、あなたは直接MITに転校したのですね、コーディングと構築に集中していることに気づいたからですか？
GB：基本的にそうです。二年生になると、私はクラブを管理していました。私はその難解な技術的議論を主導すべきでしたが、私は「まだ準備ができていない。私はまだ学ぶべきことがたくさんある。私は私よりも優れた人たちと一緒にいる必要がある」と思いました。
わかりました。
GB：だから、私はMITで多くの時間を過ごしました。転校するのは理にかなっていると思いました。
Stripe
わかりました。あなたはいつCollison兄弟に会ったのですか？
GB：私は2010年、2010年の終わりに彼らに会いました。私たちは多くの共通の友人がいました。ジョンはハーバードに行き、パトリックはMITに行き、彼らは当時あちこちで探していました。そのチームはこの二つの学校でコンピュータに興味がある人を探していて、私の名前が何度も挙がっていました。
そうです。
GB：だから、私は彼らのチームから招待を受けて、飛んで行きました。私はパトリックに会ったことを覚えています。その瞬間、私は「これが私が一緒に働きたい人だ、私たちは一緒に偉大な成果を上げることができると思う」と思いました。
次の質問は、なぜStripeに参加したのかですが、あなたはすでに答えたようです。そこで何を学びましたか？あなたはチームに早く参加し、非常に早く昇進しました。あなたが去るときには、すでにCTOでした。Stripe自体やその規模の拡大、そしてあなたが会社の急成長とともに自身も急成長したことについて、どのように感じていますか？
GB：まず、私にとっては常に人に関することです。私はこれらが私が一緒に働きたい人々だと知っていました。私たちは一緒に学び、一緒に偉大な事業を成し遂げることができると感じたので、これが本当に重要なことです。ちなみに、二度の中退は、私は誰の親にも経験してほしくないことです。これは明らかに私の両親にとって非常に困難でしたが、彼らは最終的に実際に非常にサポートしてくれました。
いいえ、私たちは理解しました。あなたは物事を極めましたよね？ほとんどの創業者は一度中退しますが、あなたは二度中退しなければなりませんでした。私たちはあなたの言いたいことを理解しました。
GB：その通りです、完全にその通りです。私はStripeの初期の多くが第一原理の思考に関するものであったことを覚えています。私たちは非常に不透明で、非常にビザンチン的なクレジットカード業界にいて、数十年の蓄積によって非常に複雑になっており、カードネットワーク自体はISO 8583で動作していて、それは80年代の規格です。それはバイト指向のフォーマットで、全体がそうです。私たちは「どうやってそれをシンプルに、極めてシンプルにしてインターネット時代に適応させるか？」を理解しようとしていました。

だから、これは大きな意味で、あなたが全く知らない分野を深く理解することに関するものです。私たちの中には、実際に支払いの専門家としてのバックグラウンドを持つ人はいませんが、あなたはそれがどのように機能するかを非常に深く理解したいと思っています。それによって、正しい原語、正しいAPI、そして抽象を明らかにすることができます。私にとって、それは実際に核心的なスキルであり、StripeとOpenAIの間で非常に移転可能です。それらはある意味で非常に似ており、あなたは科学的に一つの分野を学ぶ必要があります。AIと支払いは、具体的な詳細において明らかに異なります------一方は自然科学に近く、もう一方は複雑性が積み重なったシステムのようです------しかし、それらは根本的に物事がどのように機能するかの基礎的な理由を理解し、それをシンプルで使いやすい方法で明らかにすることに関するものです。
私は採用に多くの時間を費やし、文化に多くの時間を費やしました。私は自分がコーディングが好きで、そのフロー状態や構築と創造の感覚が好きだと気づきました。
そうですね、あなたはその数時間にわたるフロー状態と終わりのないコーディングで知られています。Stripeを構築しているとき、最長のコーディングセッション/フロー状態はどれくらいでしたか？
GB：ああ、すべてが混ざり合っています。具体的な時間を言うのは難しいですが、私が言いたいのは、24時間のスプリントがあったことです。それが私たちが本当にクレジットカードネットワークに接続した瞬間でした。それは本当に素晴らしい時間で、私たちは全員オフィスにいて、誰も寝ていませんでした。それは本来9ヶ月かかるはずの統合で、私たちは一晩で終わらせました。もし私たちが1日遅れていたら、もう1ヶ月待たなければならなかったでしょう。スタートアップにとって、毎日が重要ですので、そのように不可能に見えることを成し遂げたという感覚が大好きです。それは非常にエキサイティングなことです。
あなたがCTOになったとき、あなたは記事を書き、他のCTOと交流し、これはアーキテクチャの仕事に近いと思ったが、彼らはそうしなかったと書きました。「私はフィードバックループを失ったと感じており、製品から切り離されている。再びコーディングする必要がある。私はコーダーになりたい」と。私は好奇心があります。それはあなたがCTOになった初期に書かれたもので、それはどれくらい続きましたか？あなたはどれくらいコーディングに関わり続けましたか？
GB：うーん、私はおそらく約10年近く続いたと思います。私は一つの面で成長し、多くのことを学びました。それは、たとえ自分が直接コーディングをしなくなっても、どのように関与し続け、チームを前進させ、チームを団結させるかということです。
ちなみに、私はこれが今ほぼすべてのソフトウェアエンジニアにとって重要な教訓であると思います。「コーディング」という行為自体は、過去1年間で大きな変化を遂げました。私は来年、さらに大きな変化があると思います。私たちは、具体的にどのライブラリを使用する必要があるのか、文法やセミコロンの位置を正確に把握する役割から、より高次の管理者やリーダーへと移行しています。インスピレーション、ビジョン、判断、フィードバックの源となるのです。この変化は、私にとってかつては困難でした。なぜなら、あなたは自分が慣れ親しんでいる、価値を置いている、本当に愛しているものを手放さなければならないからです。しかし、私は実際に私がより愛しているものでそれを置き換えました。
私は賢い人と話していることを知っています。なぜなら、あなたは私の伏線を奪ったからです。私は後でこの話題に戻るつもりでしたが、間違いなく、これが私たちが議論することです。
OpenAIとチューリングテスト
OpenAIについて話しましょう。あなたはOpenAIの創設チームの一員です。あなたのバージョンのストーリーはどのようなものですか？それ自体が1時間のポッドキャストになると思いますが、何があなたをこの分野に引き寄せ、始めさせたのですか？
GB：うーん、私はAIについての考えに長い間興奮していました。プログラミングを始めたとき、私はアラン・チューリングの1950年のチューリングテストに関する論文を読みました。それは非常に興味深い論文で、約70ページあります。冒頭で、「うーん、機械が知能を持つとはどういうことか？私は知能が何を意味するのかわからない。知能には明確な定義がない。だから、明確な定義のバージョンを持ちましょう」と言っています。
私は後であなたにAGIとは何かを尋ねます。だから、これはまだ未解決のようですね？
GB：うーん、あなたは正しいです。だから、チューリングは非常に賢くこの問題を回避し、「私たちがテストを行い、人間が彼らと話しているAIと別の人間を区別できない場合、その機械を知能があると定義しましょう」と言いました。
しかし、非常に興味深いのは、あまり注目されていない点ですが、彼は「うーん、あなたはこの問題をどう解決するつもりですか？答えをプログラミングするのは難しすぎます。さまざまな質問に答えるためのすべてのルールを書くことはできません。代わりに、学習できる機械を構築できるならどうですか？彼が言うところの『子供の機械』を構築できるならどうですか？」と言いました。そして、あなたはそれを教えます------教師が報酬と罰を与え、その後、あなたはそれに知能を与え、このテストを通過させることができるのです。
私はこの考えに深く感銘を受けたことを覚えています。なぜなら、プログラマーとして、問題の解決策を深く理解することが進展をもたらすからです。私が答えを知らない問題がたくさんあり、あなたも答えを知らず、誰も解決策を考えたことがなく、私たちはそれらのためにプログラムを書くことができません。しかし、もしあなたが私たちが理解できない問題を理解し、私たちが理解できない解決策を理解できる機械を持っているならどうでしょう？これは単なる画像認識に関するものではなく、もちろんそれにも適用されます。これは、私たちが社会でより良く共存する方法、世界を構築する方法、私たちが創造する利益が最終的にすべての人に恩恵をもたらすことを確保する方法に関するものです。これらは非常に難しい問題であり、人類が必ずしも最も能力のある解決者ではありません。しかし、もし機械が理解し、より多くのデータを見て、さまざまな分野に対してより深く、より豊かな統合的理解を持つことができれば、もしかしたらそれは私たちができない方法でこれらの問題を解決できるかもしれません。
だから、私はこの考えに深く刺激を受けました。しかし、これは単なる考えです。ハーバードに入学したとき、私は教授に「ねえ、AIの研究をしてもいいですか？」と尋ねました。彼らは当時の自然言語処理の最先端を見せてくれました。私は明確に思いました、これはチューリングが言っていたものではないと。それはハードコーディングされた解析木のようで、すべてこれがAGIに拡張できるものではありません。
しかし、2010年代初頭に何かが変わりました。私は外部から観察していました。2012年はAlexNetの年で、その後一連の他の論文が続き、私はHacker Newsでそれをよく見かけました。毎日新しい「Xのための深層学習」が出ているように感じました。その時、私は「深層学習とは何か？」と思いました------私はdeeplearning.orgを訪れたことを覚えています。そこには「深層学習は新しい人工知能の方法です」とだけ書かれていました。その時、私はこれが何を意味するのか全くわからず、実際にその分野の一人しか知りませんでした。私は彼らに会いに行き、その分野の他の人々を紹介してもらうよう頼みました。そして、私は大学で最も賢い友人たちに再び紹介されました。その時、私は「ちょっと待って、これは面白い。これらの人々はこれを研究している。これは実際に非常に強い信号だ」と思いました。
だから2015年には、私にとって何か現実的なことが起こっているように感じました。私はAIの安全性について本当に考えるために多くの時間を費やし、この種の技術の長期的な未来について考え、それを正しく行うためには何が必要かを考えました。それは当時、より哲学的なものでした。私はオンラインでさまざまなクールな思想実験を見つけることができ、Stripeで読書グループを組織し、私たちは毎週これらのことについて議論しました。だから、これは私が深く関心を持っていることであり、もし私がAIの発展を少しでも助けることができるなら、それは私のキャリアの中で最も良いことになるだろうと考えました。
すべては2015年に指向され、私はStripeでのマイルストーンに達したと感じました。会社は私がいてもいなくても運営を続けるでしょう。これは少し問題で、「私は管理者の道を歩みたいのか？」ということが次の段階に必要であるか、「私は新しい会社を設立したいのか？」ということが私を刺激し続けました。だから、私はそれが私が望んでいることだと決めました。私が去ろうとしていたとき、パトリックが「サム（オットマン）と話してみたらどうですか？」と言いました。彼は数年前に私を彼に紹介しました。彼は「彼は似たような状況にいる多くの若者を見てきたので、もしかしたらあなたにアドバイスをくれるかもしれません」と言いました------少しサムが私を説得してくれることを期待していました。しかし、結果はそうではありませんでした。
（笑）はい。
GB：私はサムと会い、3分以内に彼は「さて、あなたは明確に去るつもりですね。次は何をするつもりですか？」と言いました。私は「うーん、AIの分野で何かをしようと考えています」と言いました。彼は「私もAIの分野で何かをしようと考えています」と言いました。それが始まりでした。
あなたは当時、全体の非営利組織のことに賛成していましたか？設立時にそれについて何を考えていましたか？
GB：うーん、非営利組織になるという考えはサムが提案したもので、私はそれに多くの非常に重要な属性があると思います。今でも正しいものがいくつかあります。私たちが構築している技術は、これまでに創造されたものよりもはるかに壮大で、従来の構造やシステムを超えています。既存のどの企業構造も、私たちの使命と必要な作業を完全にカバーすることはできません。
だから、私はそのように始めるのが完全に合理的だと思います。そして、実際に使命を実現するために何が必要かという問題が常に存在していました。これは私たちが本当に考えるのに長い時間を費やしたことです。私は私たちが企業として、商業の発展、利益の分配、計算駆動経済を推進するためのすべての異なる側面をカバーできる構造を構築することにおいて最も革新的であったと思います。そして、すべてを同時に達成することができるのです。だから、私はこれが常に重要な要素であり、私たちの仕事の重要な部分であると考えています。しかし、もう一度言いますが、私は私たちが使命の中心にある企業構造に関して多くの革新を行ったと思いますが、その使命は変わりません。
はい、革新は一つの言い方です。あなたはクレジットカードネットワークについて言及しましたね？それは非常に不透明で、80年代からの多くのものがあり、大量のパス依存がありました。これがStripeに機会を与えました。なぜなら、あなたはすべてを抽象化でき、他の人にとっては「これはAPIです。使えます。質問しないでください」となるからです。今、あなたがOpenAIを振り返ると------それがもう10年以上前だとは信じがたいことですが------OpenAIは他のどのような方法でも存在する可能性がありましたか？そこにもそのようなパス依存がありましたか？それとも、「もし私が第一原理に戻るなら、私は、グレッグ・ブロックマン、私がやりたいこと、私はこの構造を非常に異なるものにデザインするだろう」と言えるものがありますか？
GB：私は、私たちが今日に至るまで、私たちの使命に到達するための他の方法があるとは思えません。
ChatGPTとOpenAIの波乱
ChatGPTのリリースについて教えてください。あなたには転機があり、拡張が必要であることに気づき、Microsoftと協力して営利部門を追加し、そしてChatGPTが登場しました。それは非常に大規模になりました。あなたはそれが今のように大きくなるとは予想していましたか？
GB：だから、私が驚いたのは、私の予測が間違っていたのは、GPT-3.5が人々に本当に愛され、求められるものになるということでした。私たちはその時点でGPT-4を持っており、それは8月頃にトレーニングを完了しました。そして11月末にChatGPTをリリースしました。新しいモデルがあるとき、常に起こることは、私たちはそれをしっかりと握りしめます。
古いものはひどく見えます。
GB：私たちが見ているのはすべて前のモデルの欠陥です。私たちはただ「この前のモデルはひどすぎる。誰かがそれを使いたいと思うとは想像できない」と感じていました。私たちは約200人のテスターを持ち、彼らにプレリリースのChatGPTを使用してもらうためにお金を払いました。同様に、私たちは彼らにお金を払わなければならず、逆ではありませんでした。だから、もしあなたが深く掘り下げて詳細に注意を払うなら、製品市場の適合の兆候がいくつかありますが、マクロ的に見ると、それは私たちがそれを持っているようには見えません。

私たちの当時の考えは、GPT-4が明らかに世界を変えるだろうというものでした。私たちはそれを知っており、初めてそれと対話したときから非常に明白でした。GPT-4がトレーニングを完了した最初の週のことを覚えています。ただその現実を感じていました。私たちはずっとAGIを夢見て、考え、どのようなものになるかを想像してきました。しかし、あなたが初めてその技術を手に入れ、実際にどんな質問でもでき、かなり合理的な答えを返してくれるとき、それがAP生物学試験で5点を取ったとき、すべてが私にとって「まあ、何かが違うだろう」と感じさせました。それは明日世界を変えるわけではないかもしれませんが、今後数年でこの技術は確実に変わるでしょう。そして今、それはすでに現実です。それは非常に明確です。
ですから、ChatGPTのリリースを見たとき、私の考えは、まずインフラを推進する必要があるというものでした。そうすれば、実戦で検証されたLLMサービスのインフラを持つことができ、私たちはすでにそのために努力していました。そして3月、私たちがGPT-4をリリースしたとき、もし覚えていれば、私たちは完成と実際のリリースの間に6ヶ月の遅れがありました。その時には、すでに準備が整ったインフラがありました。しかし、それがそのような形で非常に迅速に立ち上がるとは予想していませんでしたが、将来的にはそうなるだろうと予想していました。
その時期はどのようなものでしたか？すべての人がサーバーのクラッシュを防ぐために全力を尽くしていたのでしょうか？
GB：ああ、絶対にそうです。ですので、私たちはいわゆる控えめな研究プレビューをリリースしましたが、結果は指数関数的で、想像できるすべてのシステムがクラッシュしました。私たちのログインシステムは大きなボトルネックとなり、ログインシステムを改善するために多くの作業をしなければなりませんでした。「私たちはこの素晴らしいAI技術を構築しているのに、ボトルネックは『あなたのログインシステムは拡張可能ですか？』ということです。」と頭を抱えました。
私たちはかなり非効率的な推論カーネルを生産環境にデプロイしていたことを覚えています。実際、私はもっと効率的なものを書いたことがありますし、研究の中でももっと効率的なものがありました。その中の重要な作業の一つは、「これらの最適化を実際に採用し、移行しよう」というものでした。ですので、多くの人々がこの問題に取り組み、それを解決しました。私が思うに、最初の日、最初の週、最初の月の全体的な状況は、すべてのシステムを拡張し、この波の需要に追いつくために努力することでした。
2023年11月には何が起こりましたか？
GB：非常に複雑な答えです。どこから始めたいですか？
私はわかりませんが、この件についてあなたに尋ねなければならないと思います。それらは------あなたがその後すぐに休暇を取ったことと関連がありますか？
GB：聞いてください、私が言いたいのは、最高のレベルで見ると、2023年は本当に蓄積された緊張関係が存在することを示していると思います。それは本当に人間関係の緊張であり、私たちは以前に十分に予見し、解決していませんでした。私にとって、これはOpenAIの最も重要な教訓の一つです。私たちは技術を構築していますが、常に人に関することです。良い面でも悪い面でも。これは、人間関係のダイナミクスを本当に管理することが、私たちが行っている最も重要なことの一つであることを意味します。もし私たちが事前に解決しなければ、もし私たちが困難な対話を行わなければ、それが物事が厄介になる可能性のある場所です。ですので、私はもっと詳細に掘り下げることを喜んで行いますが、もしあなたが本当に深く掘り下げるなら、多くはより興味深い技術的な問題ではありません。
これはどの程度ChatGPTという予想外の巨大成功に関連していますか？これらの間には関連がありますか、それともあなたはこれらの緊張関係がどの道でも爆発するだろうと思いますか？
GB：私は直接的な因果関係があるとは思いません。少なくとも私の見解ではそうではありません。ある程度、潜在的なテーマがあるかもしれません。それは、私たちの技術が進歩するにつれて、誰もが世界の重圧を感じ、その利害関係を感じているということです。
実際、最も難しいことの一つは、どのように前進するかということです。私にとって、私がずっとコメントしていることの一つは、私たちの日常の活動が他の会社とほとんど同じように見えるということです。あなたはまだ何かの根本的な問題をデバッグしており、誰かが他の人が言ったことや会議に参加させなかったことに腹を立てています。それはただ人の要因であり、人の仕事です。しかしもちろん、その利害関係は非常に巨大です。
ですので、私はOpenAIには非常に重要なことがあると思います。実際、私が特に注目している大きなことの一つは、人々を世界の重圧を感じさせ、孤立無援の状態に置かないように本当に努力することです。チームとして一緒に行うことが重要です。私はこれが、これらの出来事に関連して私が言いたいことかもしれません------それは特定の出来事に特有ではありませんが、OpenAIの発展過程における持続的なテーマです------私たちがこのことを一緒に行っているという感覚を本当に保ち、挑戦に立ち向かい、すべての基盤作業をしっかりと行うことを確保することです。これが私たちが前進する方法だと思います。
はい、私の意味は、あなたは常に非常に積極的な提唱者であり、私はこれがOpenAIの全体的な理念の一つだと思います：物事を世界に押し出し、実験し、何が起こるかを見て、それに基づいて反応すること。経験的証拠に基づいて、未来を理論的に推測して決定を下すのではなく。私はあなたたちがAIに関してこの理念を多く表現していると思いますが、私の質問は、あなたもある程度触れていると思いますが、OpenAIという組織自体も調整されている大規模な実験であると感じることです。消極的な解釈は、それがただ前後に揺れ動き、ここを再編成し、あそこに新しいリーダーを置くという、扱いにくい巨大な存在であるということですか？それとも、もっと秩序があり、人々が考えているよりも柔軟性があるのでしょうか？振り返ってみて、他の方法は不可能だと言えますか？もし別の方法があったら、もっと良かったのでしょうか？
GB：まず、私たちは確かに出発点から大きな変化と成長を遂げました。運営ビジネスはまったく異なりますが、私たちはこの分野を前進させる先駆者であり続けています。これは安全性、コア技術、そして本当に利益配分を考えることにおいてもそうです。これらのすべての分野において、私たちは最初から注力しており、結果は確かにすべてを物語っています。
今、この変化は現実です。そして、時にはある段階に適したチームが次の段階には適さないこともあります。今年私が非常に注目していることの一つは、次の段階と私たちが一緒に達成できることを考える非常に興奮するリーダーチームを構築することです。ですので、2026年のテーマは、もしかしたら以前とは異なる変化であり、この分野には多くの人がいて、やるべきことがたくさんあり、技術の進展が非常に速いため、計算能力に深刻に制限されているため、あなたは集中しなければなりません。あなたは本当に合理化しなければなりません。あなたは協調して成長できる分野を選ばなければなりません。
ですので、実際にいくつかの決定を下すこと、例えば「ねえ、Sora、素晴らしい技術だが、よりエンターテインメント寄りの消費者分野に属しているので、他の優先事項と比較して優先することはできない」と言って、それをキャンセルすることになります。これは下流の影響を引き起こし、非常に痛みを伴い、これらの決定を下すのは難しいですが、すべてはその緊密な集中を維持するためであり、私たちがコアミッションを達成できるようにするためです。
あなたはスケーラビリティを非常に信じていますが、OpenAI自体はスケーラブルですか？
GB：私はそれが史上最もスケーラブルなビジネスである可能性があると信じています。はい。
私は内部、組織としてのことを指しています。何がスケーラブルでないのでしょうか？私たちは計算やデータについて話しましたが、あなたは以前に人の要因について言及しました。最終的なアラインメントの課題------私たちはアラインメントをAIに私たちがやりたいことをさせることと考えていますが------しかし、あなたは逆の課題に直面していますか？あなたは管理の観点からこの分野やこの問題についてついていくことができますか？
GB：私は二つの答えを言いたいです。まず、絶対に肯定的です。私たちが組織としてどれだけ成熟したかは、過去数年から見ることができます。数年前、私たちは多くの管理上の負債を抱えていました。同様に、多くの分野で私たちは成長し、成熟する必要があると思いますが、私たちはその作業を終えたと思います。それは非常に困難で、痛みを伴いましたが、私たちは今、はるかに良い位置にいると思いますし、会社とその未来に対して非常に興奮しています。
しかし、もう一つのことは、会社の運営方法が変わっていることを認識することも価値があります。例えば、1人当たりの収入を見てみることができます。私たちと同様のビジネスの1人当たりの収入は、以前のどのビジネスとも比べ物にならない天文学的な数字です。これは理由があり、この技術を通じてこのようなレバレッジの増加が見られるようになっています。そして、私たちがこの技術を製造し、この技術を広く利用可能にし、多くの会社を助けようとしているため、多くの他の会社が異なる方法で運営できるようになり、そのような超過の1人当たりの収入を持つことができるのです。
私にとって、これは非常に興奮することであり、私たちは会社を運営することが何を意味するのか、そしてどのように機能するのかを変えています。ですので、いくつかのことは不変であり、人々が一緒に働くこと------そこには非常に基本的なものがあり、本当に良い一貫した方法でそれを行うことが私が常に注目していることです。しかし、私たちの技術の可能性を活用することに関する問題もあると思います。これは、すべての会社に新しい機会があることを意味します。
生産性とAGI
あなたはSoraをキャンセルし、それを消費者エンターテインメントの側面に位置付けました。ChatGPTは、巨大な消費者の成功であり、あなたは消費者から信じられないほどのお金を稼ぎました。しかし、結局のところ、どれだけの人がそれに対して支払う意欲があるのでしょうか？どれだけの顧客が本当に生産性を向上させたいと思っているのでしょうか？消費者市場でこれほど巨大な成功を収めることは、注意をそらし、大量のGPUを消費し、もしかしたらあなたたちが------見逃したわけではありませんが------企業が最優先事項になることに遅れを取ったのでしょうか？
GB：私たちは内部でしばしばこのような対話を行っています。実際、私はこれがOpenAIの利点の一つだと思います。私たちは本当に第一原理から私たちが行っているすべてを見直し、常に再考し、多くの異なる視点を持っています。ある人々はほぼどんな角度からでも議論することができ、彼らにはそれぞれの理由があります。ですので、「ああ、代理の瞬間があって、私たちはそれに遅れを取った」という言い方には一定の真実があります。
しかし、実際には10億人がいます------これは世界の人口の10%を超えています。アメリカでは、私はおそらく毎週3分の1の人々がChatGPTを使用していると思います。毎週これほど多くの人々があなたのシステムを使用しているのは独特であり、このような先進技術には類似のものはありません。
ですので、一方で、もしあなたがそれを単に「私たちは先進的な技術を持っている」と見なすなら、チャットという製品の一つの課題は、それが必ずしもより賢いモデルと一致しないということです。もしあなたがそれを単なる検索エンジンの代替品として扱うなら、人々が従来のチャットを通じてこれらの利点を得るかどうかは不明です。しかし、私はすべてのこれらのことが一つに集まり、頂点に達すると思います。私たちはこの10億のユーザーが投資であり、未来のモデルを解放する方法の実際の蓄積であることを目にするでしょう。あなたはChatGPT Workなどでその第一歩を見ています。ここには多くの微妙な違いや複雑さがありますが、多くの戦略は、私たちには消費者がいて、企業がいて、これは二つのことだ------私たちは二つのことをしたくない、私たちは一つのことをしたいのです。私たちはAGIを構築したい、一つのシステム、一つの統一されたスタックを。私たちはそれがあなたの個人生活や仕事の生活の中で使用できるものであることを望んでいます。
そうですが、これは内部の組織構造に関する問題がありますか？あなたは新しいChatGPTをリリースしましたが、旧版とは大きな違いがあり、Codexに基づいて構築されています。私はOpenAI内部に対する利点を理解できますが、顧客は自分たちが何をできるのかを理解していないために不満を感じるのでしょうか？「私たちは彼らを直接深い水に投げ入れ、彼らが自分で理解するのを助けることを望んでいます」と。
GB：私は業界が根本的な変化を遂げていると思います。あなたは現在出現している新興の代理製品からこれを見て取ることができます。私が考える核心的な変化は、あなたがチャットから代理のユースケースに移行しているということです。再度言いますが、これは単に生産性に関することではありません。あなたはあなたの個人生活の中で、このものにチケットを予約させたり、理髪の予約をさせたり、そういった個人的なことをしてもらいたいと思っていますが、あなたはそれが良い生活のアドバイスを提供し、健康情報を処理するのを手伝ってくれることも望んでいます。

だから私にとって、生産性という言葉は狭すぎます。消費者という言葉も広すぎます。企業も私が変わると思うものの一つです。これらの古典的な言葉は、前例のない製品構築の方法で融合し、絡み合うでしょう。だから私の見解は、ここには変革管理が必要であり、どのようにして10億人のユーザーを新しいユースケースに導き、彼らを理解させるかということです。ちなみに、可能な「不公平な優位性」が存在するのは、あなたがAIを持っていて、それがあなたが達成しようとしていることを理解しているからです。
その通りです。
GB：それは「おお、もしこのコネクタを有効にしたら、こうすれば、実際にもっと助けられる」と言えるかもしれません。私にとって、これは素晴らしいこと、素晴らしい機会であり、大きな可能性があります。「不公平」と言ったのは、古典的な技術で達成できることに対しての相対的な意味です。もしあなたが一つの技術と別の技術を比較するだけなら、その技術にはいくつかの独自の点があります。
あなたは以前にチューリングの視点に言及しましたが、あなたが二つの部分に言及したことを嬉しく思います。AIは人間のように話すことができるのでしょうか？明らかに、私たちはずっと前にその点を超えました。しかし私にとって、AGIの定義------これはあなたたちにとって厄介な問題だと思いますが、ついにあなたたちがマイクロソフトとの契約に制約されなくなったので、その視点を心配する必要はありません------私にとって、それは学習と何らかの関係があります。あなたは学習について言及し、LLMがどの程度学習したか（過去形）を言いましたが、課題はそれが持続的に学習するか（現在進行形）ということです。
私にとって、エージェントの瞬間の革命的な点は、それが物事を書き留めることができるということだと思います。これがCodex/ChatGPTの変革の必要性であり、物事を書き留める能力を得たからです。もしあなたが物事を書き留めることができれば、記憶することができます。もしあなたが物事を記憶できれば、さまざまな面で非常に役立つことができます。問題は、これは最終的な状態なのか、それとも持続的に学習できるLLMを得ることができるのか、それがAGIなのか？私が間違っているのか、それともこれはチューリング問題の第二部に合致するのか？
GB：はい、私はこれも非常に興味深い議論の領域だと思います。なぜなら、人々は確かにAGIに対する自分自身の定義を持っており、それはほぼ曖昧なものだからです。最初は、ここにAGIであると全員が同意する時間点があると思っていましたが、事態は全くそのようには進展しませんでした。
今、私は技術から視点を抽象化する傾向があります。だから、記憶は重みと統合される必要があるのか？これはTransformerなのか、それとも他の何かなのか？これらの問題は、私は詳細だと思います。本当の問題は、あなたが本当のAIに期待する方法で機能するシステムを持っているか、学習でき、あなたに学び、あなたのニーズに適応できるシステムを持っているかということです。そしてこの問題は、それが記憶に書き込むメモ帳を通じて実現されるのか？ソフトトークンを通じて実現されるのか？それとも他の方法で実現されるのか？
すべてこれらは、私にとっては問題の可能な答えのように感じます。私たちが「メモ帳に書き留める」ことに関して、合理的な期待をはるかに超えて進んでいることは明らかです。それがこれほど成功しているのを見るのは驚くべきことです。なぜなら、2年前には「はい、あなたはこれらの超長いコンテキストが必要です、それが必要なものです」と言っていたかもしれませんが、実際には「メモ帳を書く」ことと短いコンテキストだけで、信じられないほど遠くまで進んでいることが証明されました。
ただ書き留めるだけです。
GB：だから私たちは、未来がこれらの面を改善することで何をもたらすかを見ていくつもりです。私はこの信念を持っています。マクロ的に見ると、すべては指数関数的です。拡大して見ると、これらのパラダイムシフトが見えてきます。ちなみに、これはレイ・カーツワイルが技術と計算がどのように機能するかについての見解です。私は、記憶がどのように機能するかという問題においても、これは絶対に正しいと思います。
Astra
だからあなたはちょうどAstraを発表しました。私たちはついに本題に入ります。これは新しい事前訓練モデルですか？サイズやアーキテクチャに関する詳細を発表する予定ですか？私たちは正式に発表する前にこの録音を録音しているので、あなたが発表したすべての内容をまだ見ていません。
GB：うーん、私たちは内部の詳細やアーキテクチャなどについては議論しません。しかし、これは大きな進歩です。私たちが言っているのは、これは10万以上のGPUで訓練された最初のものだということです。これは簡単に口に出せる数字ですが、その規模を考えてみてください。これらのデータセンターは、AI技術を提供し、創造するために私たちが構築した巨大な機械であり、これほど多くの計算能力を活用して私たちが達成したい結果を提供することができるのです。これは本当にエンジニアリングの挑戦であり、奇跡です。
だからその一部は、モデルをより能力のあるものにすることに関するものですが、これほど多くの計算能力が安全性と整合性に使われており、私たちはこの分野で多くの安全作業を行ってきました。私は私たちがこのモデルを安全に提供するために多くの作業を行ってきたと思います。これは私たちがこれまでに最も整合性のあるモデルであり、私にとっては絶対に重要であり、常にそうでした。しかし、能力がこれほど強力であるため、整合性と安全性がすべての人の作業の中でより際立ち、中心的になっています。
あなたの発表の投稿は非常に興味深いです。それは非常に実務的です。実際のユースケースが大量にあります。あなたの競合他社の発表と比較すると、非常に大きな対比があります。あなたはAIをツールとして位置付けています------私はこれは公平な言い方だと思います------これはマーケティングに関することですか、それともあなたがAIをそのように見ているのですか？例えば、神を創造することではなく？
GB：私は私たちが深い基本的な価値観を持っていると思います。その中には、実際に私たちが人間をどのように見ているかに関するものがあります。人間は価値があります。私たちがタスクを完了できるからだけではありません。私たちは人間であり、感情を持ち、重要だからです。人間の判断、人間の監視、人間の制御、これらすべては絶対に維持され、永遠に保持される必要があります。これは私たちが信じる核心の不変の部分です。
だから私たちがこの技術の未来を導くために何ができるかを考えるとき------ある意味、これがすべての意味であり、私たちがこの場所を設立した理由であり、私たちが関心を持っていること、私たちがこの技術を少しでもより積極的な方向に導く方法------私たちはこれらの問題を考えています。この技術が世界でどのように展開されるかについて。私たちはそれがすべての人を向上させることを望んでいますが、それはまた人間が技術やコンピュータとどのように関わるかにも関わっています。それは明らかに変わっています。単にタイピングを減らし、コンピュータとより多く対話し、このようなより自然なインターフェースを持つことにおいても変わっています。
しかし、本当の人間の監視、創造性、ビジョン、これらすべては非常に重要であり、保持する必要があります。だからこれは確かにこれらの問題に浸透します：あなたはそれを人として話すのか、ツールとして話すのか？ユースケースを考えていますか？それとも異なる方法で考えていますか？あなたはこれをほとんど小さなこととして見ることができますが、実際には私はあなたが指摘してくれたことに非常に感謝していますが、これは私たちが非常に深く考えたことです。チームは私たちが話したいすべてのこと、そして私たちがこの種の作業を世界にどのように示すかを本当に考えるために多くの時間を費やしました。
だからこれはモデルの発表なのか、製品の発表なのか、または違いがありますか？
GB：これらのことは確かに融合します。私はまずこれはモデルの発表だと言いますが、そのモデルは質的により能力があります。おそらく見出しはコンピュータの使用です。それは私の閾値を本当に越えました。コンピュータの使用は常に------OpenAIが設立された初期から、私は2015年11月にそれが本当に始まる前に------
ええ、それはあなたたちの最初の製品のようなものでしたよね？ビデオゲームをプレイするような。
GB：はい、その通りです。ああ、あなたは覚えていますね。私たちはビジョンを持っています。もしあなたが画面のピクセル、キーボード、マウスを処理し、エンドツーエンドでAIを訓練できれば、それは本当にあらゆる種類のタスクを処理できるようになるというものです。人々が助けを得たいと思うこと、すべてをこのAIが実行できるのです。
過去2年間の時代を振り返ると、それはコネクタの時代でした。あなたは人間がうまく使えるソフトウェアを持っていますが、AIはそれにアクセスできません。では、どうしますか？非常に具体的なコネクタを作成してAPIに接続する必要がありますが、すべての内容が公開されているわけではないので、あなたはできることすべてを実行できません。そして、APIのないソフトウェアがたくさんあることを考えてみてください。それらは完全にアクセスできません。
だから私たちは制限された世界を持っており、AIはあなたを助ける上で非常に大きな制限を受けています。私は今、ほぼ汎用コネクタの技術を持っていると思います。今、それはすべての問題が解決されたことを意味するわけではありません。あなたはこれらのAIの行動の周りに企業のバリアを設定する方法を考える必要があります。あなたはどのように適切な監視、管理、追跡、可観測性を持つのか？これらすべてに私たちは取り組んでいます。
だから私はこれは継続的なプロセスだと思います。製品がこの能力を活用するためにどのように展開されるかについて。しかし、それはOpenAI内部の人々の働き方を変えており、私はそれが本当に多くの企業や多くの個人を向上させると思います。
AIバリューチェーン
全体のバリューチェーンを考えると、あなたは二つの戦線で戦っている位置を見ることができます。一つは、マイクロソフトのような会社や他のパートナーがいます------彼らの名前を使いたくない場合、彼らは依然として重要なパートナーですが------彼らはモデルを商品化したいと思っています。彼らはトップレベルで何かを構築したいと思っており、あなたはプラグアンドプレイでモデルに出入りでき、彼らはすべてのコンテキストと重要なものを掌握しています。しかし同時に、あなたはこれらの信じられない能力を構築しており、それらは最終的にエンドユーザーと密接に結びついており、ただあなたが望むことを実行するだけです。これはあなたが目標を達成するために到達しなければならない場所であるのは避けられないのでしょうか？また、経済的な必要性もあるのでしょうか------もし私たちが商品化されたくないのであれば、私たちは製品に上昇し、ユーザーと直接接続する必要がありますか？
GB：私は私たちの根本的な使命は、世界にもっとAIの能力を持たせたいということだと思います。私たちは人々がAIを使ってもっと多くのことをすることを望んでおり、それが彼らを助けることを望んでいます。私たちは本当にこの計算駆動の経済を推進していると考えています。これは異なる垂直分野で異なる形を取ることを意味します。
時には、私たちは特定の分野に本当に集中して良いことをすることができる位置にいると感じます。それは私たちの使命に非常に核心的です。健康は良い例です。私たちは健康分野で非常にユニークなものを構築しています。実際、私が驚いているのは、私たちが健康分野で行っていることが実際にどれだけ多くの人々を助けているかに比べて、報告が非常に少ないことです。私たちは毎週約3億人が健康に関する問い合わせのためにChatGPTを使用しています。3億人、これは巨大な数字です。そして私たちは臨床医のためにボトムアップの製品を構築し、病院のためにトップダウンの企業製品を構築しています。だから私たちは健康分野で三者市場を持っており、そこでできることには、例えば、臨床試験のために人を募集することが含まれます------これは難題ですが、実際に私たちは見つけられない人々を見つける手助けができるかもしれません。これは患者を助けるだけでなく、これらの薬をより早く進めることにもつながります。
だから、健康は私たちの使命にとって重要な核心であり、私たちにはそれに本当に集中するユニークな成功の機会があります。私たちはチームを結成し、全力を注ぎ、さまざまな関係を築いてきました。
特定の垂直分野に入るとき、私たちが行うことの一つは、エコシステムと良好に協力する方法を考えることです。これは私たちがそこで競争しないという意味ではありません------私たちはしばしば非常に努力して競争します------しかし、私たちはすべての参加者を向上させると本当に信じており、私たちがこの核心使命に本当に集中する方法、つまり私たちがこの技術を持っており、それが広く普及し、あらゆる場所に存在することを望んでいるのです。だから時には状況が少し微妙になることがあります。特定の分野に入るとき、私たちが本当にやりたいこと、できること、できないことについて多くの問題があります。しかし、私たちがこの問題を考える方法は、OpenAIの全体的な目標がより多くの人々が積極的にAIを使用することで利益を得るということです。

うん、もしあなたが上に商品化しようとしている層があるなら、あなたが下の層を商品化しようとしている角度もあるかもしれません。あなたたちは最近Hot ChipsでJalapeñoチップについてもっと話しました。なぜJalapeñoが重要なのですか？それは単にチップを購入する際にお金を節約するためだけですか？
GB：私はこれを見ています。2017年以来、私たちは基本的にすべてのハードウェアスタートアップやすべてのサプライヤーと接触しています。私たちは彼らと話し、フィードバックを提供し、「ねえ、私たちはモデルの進化の方向性を見ていて、あなたはこうすべきだと思う」と言っています。時には彼らは私たちの話を聞き、時には聞かず、時には私たちは親密なパートナーであり、時には彼らはあまり私たちと話したくないこともあります。
内部チッププロジェクトを持つことについて、非常に自由な点は、私たちが最も良いものを追求できることです。私たちは現在行っていることだけでなく、この技術の進化の方向性に合ったものを追求しています。これは非常に大きな投資です------私たちはチームを持っており、絶対に信じられないチームであり、素晴らしいリーダーがいて、彼らはかなり長い間これに取り組んできました。しかし同様に、これは私たちがエコシステムと密接に協力する一部でもあります。
私たちはNVIDIAと私たちの優先計算パートナーとして密接に協力しています。私たちが構築しているコンピュータの規模と独自性を見れば、私たちはNVIDIAが必要です。これは疑いの余地がありません。私たちはこれらの驚くべきトレーニングコンピュータを構築しており、それらを使って大量の推論も行っています。私たちは彼らのハードウェアを、彼ら自身が気づいていない方法で推進することができています。
はい、私は少し拾い上げるのが難しいと聞いています。おそらく、これが時間通りに非常に大きなモデルをリリースすることを少し難しくしているのでしょうが、今はそれが機能していると思います。
GB：はい、はい。私が言いたいのは、内部の専門知識を持つことで、私たちはいくつかのことを実現できるということです。私たちは物事を深く理解しています。外に座って提案をフェンス越しに投げるのは一つのことですが、実際に苦痛を経験した場合は別のことです。
この点での良い例は、実際にAIをチップ設計に使用することです。私たちはこれについて話してきました。私たちはJalapeñoの設計に自分たちのモデルを使用しており、それは確かにスピードを加速させ、私たちに本当に勝利をもたらしました。すべてのクールなことです。ちなみに、そこにはクールな話があります。私たちは締切に近づいており、約1か月が残っていました。私たちはモデルを通じていくつかの最適化を得ました。私たちは「私たちは本当にそれが何をしたのかを読むために時間をかけていますか？私たちはそれが正しいことを知っています。私たちはそれが何を最適化したのかを正確に理解する必要がありますか、それとも残りの時間を使ってもっと最適化を行うべきですか？」と言いました------だから私たちは「そうですね、私たちはもっと最適化を行うだけです」と言いました。私たちはその1か月間、ただそれを実行し、すべての調整が何をしたのかを深く理解することなく過ごしました。そして私たちはそれを読み返し、結果としてそれが私たちのリストに本来あった多くの最適化を見つけたことがわかりましたが、私たちはそれを決して実行しなかったので、実際にはかなりクールな話でした。
しかし今、私たちはその専門知識を持っており、私たちはこのものが効果的であることを知っており、それをエコシステムに持ち込むことができます。私たちはすべての人と密接に協力し、これらの利点を本当に広くもたらし、ハードウェアを変革し、大規模に適用することができます。だからそのフライホイールについては絶対に重要なことがあります。チップは信じられないほどで、チームは素晴らしい仕事をしています。
しかし、あなたが大量出荷できず、エコシステム内の他の人々と協力して必要な供給を得る必要があるとき、今それについて話すことは問題ではありませんか？
GB：うん、でもそれが核心であり、実際にはすべての核心です。私たちはそれを考えています------私はすべてが乗数効果であり、すべてが相補的であり、すべてが合わさっていると思います。再度言いますが、NVIDIAは私たちの優先パートナーであり、この点は変わりません。実際、私たちは彼らとより密接に協力しています。私たちはこの協力関係に深く感謝しており、彼らのチームと多くの時間を過ごし、彼らから多くのことを学び、私たちも彼らに何かを学んでもらいたいと思っています。私はこれが変わることはないと思います。私たちは内部の専門知識を持ち、自分たちの方法で問題を考えることができるので、私にとってもこれは乗数効果であり、私はそれが本当にすべての人に利益をもたらすと思います。
サイバーセキュリティ
あなたはAIの設計を信頼することについて言及しましたが、それはあなたをさらに進めます。これはサイバーセキュリティの答えですか？あなたたちのエンジニアの一部がブラックハット会議でこの構造的問題について話しました------攻撃者は物を壊すことを心配する必要はなく、彼らの目標は物を壊すことです。防御側にいる場合、これらの攻撃を防ぐことに加えて、すべてが引き続き機能することを心配しなければなりません。防御側はAIを完全に信頼する必要がありますか？
GB：私はハードウェアの側面が非常に重要なケーススタディであると思います。なぜなら、そこには私たちにバリアがあるからです。私たちは検証を行い、実際に私たちが基盤となるハードウェア設計を書く方法は、検証を許可するために特別に設計されているので、私たちはほぼ全体のシステムを共同設計しています。
それはあなたがコーディングするようなもので、最初に単体テストを書き、次にそれを実装します。
GB：そのようなこと、あなたが言語やツールチェーンを選ぶ方法、全体として、それらは一緒にあり、実際にはすべてが合わさって、あなたがそのような可観測性と信頼を持つシステムを持つことができます。
私は、ある分野では「私は十分なバリアを持っているので、これは私が完全にチェックしていないコードや最適化であっても、実際には問題ない」と言えるかもしれません。適切な補償制御があれば。しかし、私は人間として、あなたが作成したシステムに対する責任を理解し、感じる必要があることが非常に重要だと思います。これは私にとって実際に核心であり、人間とは何か、私たちの独自性は何か、私たちが未来に持っていくものは何か、私は責任がその核心であると思います。結局のところ、あなたはあなたの会社で起こることに責任を持たなければなりません。
そうですが、もし攻撃側が責任を持たない場合、それは構造的な劣位ですか？
GB：だから私はこれが私たちがよく考えることだと思います。私たちはこれを「防御者の窓」と呼んでいます。私は私たちが未来の大まかな輪郭を見ることができると思います。私たちが持っている最前線の能力は、脅威行為者に拡散する能力を示しています。ちなみに、私はこの能力が少数のラボに永遠に閉じ込められることはないと思います。これは非常に重要で、権力の広範な分配が非常に重要であり、これも私たちの使命の一部です。
しかし、私たちは時間的に分離を実現する能力を持っています。防御者が差別化された能力を得ることができる窓が存在します。私の見解は、これは本当です------サイバーセキュリティの世界には、攻撃は技術的な問題であり、防御は政治的な問題であるという一般的な見解があります。攻撃者は棚から直接何かを取って使うことができますが、防御者としては、あなたの利害関係者を考慮し、あなたのビジネスを考慮し、人々を本当に巻き込む方法を考慮しなければなりません。あなたのCEO、すべての幹部、すべての人々です。だから私はここで、防御者がそのような意志力を必要とすると思います。
私たちが提案していることの一つ、実際に私たちが行っており、今公開していることは、すべての会社がこれを積極的なイベントとして捉えるべきだということです。重要なビジネス運営、積極的なイベント、それがあなたの次の優先事項です。だから私たちは実際に私たちの25％の生産エンジニアを取り出して自分たちを守っています。私たちは私たちのモデルを持っています------実際には、私たちはAstraを取り、私たち自身のシステムを指して脆弱性を探しています。単にコードを読むだけでなく、実際にこれらのものがエンドツーエンドでどのように機能するかを観察することで、私たちは実際の脆弱性を見つけ、それが修正、パッチ、修復に役立ちます。だから私は、あなたが本当にエコシステム内のエネルギーの変化を必要とすると思います。そうすれば、先を行き、この窓を利用することができます。
うん、あなたは今これを行っているのは確かに良いですが、私にとって、Hugging Faceの事件とその関連報道について最も注目すべきは、OpenAIが以前は特にサイバーセキュリティに注意を払っていなかったという感覚です。なぜ以前はそうしなかったのですか？「防御者の窓」はすでにしばらく開いていたのではなく、あなたたちはそれをうまく活用していなかったのですか？
GB：うん、二つの答えがあります。一つは、私たちがサンドボックスを作る方法を見れば、このワークロードがサンドボックス化されていないわけではありません。実際、そこにはサンドボックスがあります。私たちが認識したことの一つは、私たちが------
そう、それは明らかに十分にテストされていませんでした。それは本当にサンドボックスですか？それとも第三者がインターネットに接続されていて、ただ投げ込まれたのですか？この事件について最も注目すべきはこれです。もしあなたが脆弱性をテストしたいのなら、私はあなたが本当にテストしたと思います。
GB：間違いなく、AIは非常に創造的な方法で逃げ出し、Hugging Faceに入ることをしました。しかし私にとって、もっと大きなことがあります。あなたが指摘したことは、今年の夏にMythosがリリースされて以来、私たちがネットワーク能力を持つモデルを持ち始めたことです------私たちは2月にネットワーク信頼アクセスプランについて話していました。なぜなら、私たちはこの波の到来を見ており、本当にそれに備えたいと思っていたからです------傾向が存在します------
私は知っていますが、あなたたちは2月に話しましたが、それをあなたたちのサンドボックスに向けていませんでした。「私のサンドボックスは本当に安全ですか？」
GB：本能的な反応があり、「アクセスを大規模に制限し、本当に厳しく制限し、あなたがアクセス権を持っている場合にのみ使用できるようにしましょう」と言っています。私は、あなたが言ったように、分野が進化し続けているため、防御者が時間を失っていることを意味します。人々は防御を行っていません。その部分はアクセスに関するものですが、私たちがこの点で大きな変化をもたらすためにどれだけの力を投入するかに関するものでもあります。
今、私はある程度、時間はすべて平等に作られているわけではないと思います。なぜなら、私たちはネットワークモデルがあまり役に立たず、あまり差別化されていない世界から、実際に非常に能力があり、非常に強力な世界に変わったからです。私たちはAstraでこれを見ており、それがどのように一連の評価を本当に飽和させたかについて話してきました。私は今がその時だと思います。数ヶ月前もその時だったかもしれませんが、あなたははるかに能力が低いモデルしか持っておらず、はるかに少ない進展を得ることになります。
だから私は、私たちがどこにいるのかを真剣に評価することが重要だと思います。私たちは明らかにそこに到達しており、私はそれが私たちが学んだことだと思います。私たちはそれを心に留めており、私はあなたが本当に変化を見ていると思います。これは多くの面で実際には文化的変革、運営の変革であり、簡単ではありません。なぜなら、それは本当にチームを非常に密接に協力させる必要があることを意味し、政策の策定などに対してより高い基準を持つ必要があるからです。これらすべては、私たちにとって変革に関して、私たちが常にこれらの側面を気にかけているのではなく、実際に運営上でそれらを統合し、私たちの現在の方法で意思決定を行うことができることが重要です。私はこれが私たちが行っているすべての側面の向上であると思います。
今突然彼らがそれを実現できるようになったのは、以前はそれを行うことが無駄だと思っていたようです。私はこれには少しの理にかなったことがあると思います。あなたは「AIは将来的にそれを行うので、私たちは今それを行う必要はない」という罠にどうやって陥らないようにしますか？一般的には、単にこの件だけではありません。
GB：私は具体的なデータポイントを言いたいと思います。初期の頃、第一四半期のある時点で、私たちは本当に考え始めました。私たちは------いつになるかはわかりませんが、非常にネットワーク能力を持つモデルを持つことになるでしょう。私たちが頭から構築できるサンドボックスは何ですか？クラウドインフラストラクチャ上で、できるだけ安全に構築することは？私たちはそれを構築しました。私たちは実際に私たちの最高のエンジニアの一部をその問題を解決するために派遣し、彼らは全力を尽くして成果を上げました。

だから私は、あなたが見ている未来を基にインフラをゼロから構築することが重要だと思います。あなたが言及した「おお、AIにやらせることができる」というタイミングの問題については------私たちは異なる分野でこのような状況を見てきました。カーネルを作成する際に、「さて、私たちはAIがGPUカーネルをうまく書ける未来に入ろうとしている」と考えること、数ヶ月、時には新しいハードウェアのためにインフラを構築するのに1年かかるような古典的な投資、あるいは「AIが何とかしてくれる」と言うことがあるのか？私は、AIがその目標を達成するのに必要な時間は、あなたが予想するよりも少し長いというのが常に答えだと思います。しかし、それが実現したとき、それはあなたが想像できない方法で驚くべきものであり、強力です。
Astraの一例です。私たちが発見したことの一つは、今年非常に苦労して構築したいくつかのスキルが、OpenAIでの作業の正しい方法をモデルに示すために使われていることが、実際にはその性能に悪影響を及ぼしているということです。
ルールが多すぎます。
GB：その通りです。それはより良く一般化できるか、パターンを処理するためのより良い方法を見つけることができるので、私たちが書いたものよりも優れています。だから私は、この点について、あなたは確かにその制御手段を構築したいと思っているし、確実性のあるインフラを構築したいと思っているし、そのスキルを記述したいと思っている。しかし、AIがより能力を持つようになるにつれて、その中のいくつかのもの、つまり足場が制約要因になることを準備する必要があります。それは補助輪のようなものです。最初はそれがあなたを助けますが、一旦あなたがより速く走り始め、より能力が高く、より良く、より整合性のあるものを持つようになると、それは実際には障害になり始めます。
あなたは再び12時間または24時間のコーディングのフロー状態に入りますか？
GB：そう願っています。いつかそうなるかもしれませんが、今の方法でチームを助けることで非常に多くの喜びと価値を見出したと言わざるを得ません。私にとって、それは本当にその使命に関することです。
うん、あなただけでなく、他の誰かもそうなるでしょうか？AIの利点は、ほとんど常に永続的なフロー状態を提供できることではありませんか？
GB：私たちは新しい方法を見つけると思います。管理エージェントであれ------実際、ソフトウェアエンジニアがこれまで以上に一生懸命働いているのを見るのは本当にクレイジーです。なぜなら、あなたのエージェントが機能しない場合、それは単に時間を失っただけで、二度と取り戻せないことを認識するからです。だから私は、人々が今では想像もできない方法でそのフロー状態に達すると思います。
結局のところ、あなたはこれが制御可能であることについて話していて、これらのAIは「ルールをあまり多く入れないで、彼らは自分で何とかする」と言っているが、もしあなたがこれを極限まで引き出すと、最終的にはそれらが制御不能になるのではありませんか？
GB：うん、私はこれがこの瞬間の核心であり、私たちがいる新しい段階の核心だと思います。ある意味では、私たちは今AGIの時代に入ったと言えるでしょう。私はこれがこの瞬間の核心であり、そこには------おそらく以前のモデル、あるいはAstra、あるいは次のモデルがあるかもしれませんが、ある時点で、私たちはほとんどの人々のAGIの閾値を越えると思います。私たちがリズムを把握し、安全性、セキュリティ、アライメント、能力について考えることを確実にし、すべてを要件として------私たちはこれらの周りに基準を持っており、それらを共に進めたいと思っています------これは私たちが常に信じてきたことです。
しかし、私はこれらの他の側面がますます発展のボトルネックになっていることが非常に顕著になっていると思います。再度言いますが、これは私たちがこれに備えてきたことであり、私たちはこの問題についてずっと考えてきたと思います。私は私たちが実際的な方法でそれを実行に移していると思います。だから私の見解は、まだ多くの進展があるが、私たちはこれらすべての側面で基準を引き上げることでそれに近づくべきだということです。それを見てみると、私は可監視性のようなことの展望を見ていると思います。それは非常に重要です。私たちはそれを実際的な方法で導入しています。私は私たちが非常に良い計画を持っていると思います。私たちは素晴らしい人々のグループを持っており、良い記録と良い使命があり、すべてが彼らが制御可能な方法でシステムを構築していることを指し示しており、私たちはリズムを一歩一歩進めています。
グレッグ・ブロックマン、Astraのリリースを祝福します。はい、使うのが待ちきれません。

GB：本当にありがとうございます。招待してくれてありがとう。