黄仁勋が63分間でNVIDIAの次の10年について深く語る：CUDAから物理AIとロボットへ

整理 & 編纂：深潮 TechFlow

深潮導讀：この63分にわたる深いインタビューでは、著名なテクノロジークリエイターCleo Abramが、NVIDIAの共同創設者兼CEOであるJensen Huangと、計算の基盤の進化と人類のテクノロジーの未来についての本質的な対話を展開しました。30年前にゲーム用グラフィックスカードで突破口を開き、ウォール街からの10年以上の疑念に耐えながらCUDAを構築し、2012年にはAlexNetを敏感に捉えて深層学習革命を引き起こしたJensen Huangは、NVIDIAがどのように65年続く現代計算技術スタックを再構築してきたのかを深く分析しました。

生成的AIから物理AI（Physical AI）への質的変化の岐路に直面し、Jensen HuangはCosmosとOmniverseが構築する「世界モデル＋物理シミュレーション」技術基盤について詳しく説明し、「すべてのものがロボットの形を持つ」および誰もが生涯にわたってR2-D2ロボットを持つ10年のビジョンを描きました。同時に、彼はチップアーキテクチャの専門化と汎用化に関する哲学的な対立に対してしっかりと応え、デジタル生物学や気候予測などの最前線の賭けを分析し、若い世代に対して質問の技術を受け入れることの重要性を提案しました。未来にどのように人々に記憶されたいかと尋ねられたとき、彼は最も素朴で壮大な答えを返しました：「非常に簡単です：彼らは非凡な影響を創造しました。」

ゲスト：Jensen Huang（NVIDIAの共同創設者兼CEO）

ホスト：Cleo Abram（著名なテクノロジー動画クリエイター、Huge If Trueチャンネルの主宰者）

ポッドキャストソース：Huge If True（https://www.youtube.com/watch?v=7ARBJQn6QkM）

元のタイトル：NVIDIA CEO Jensen Huangの未来へのビジョン

放送日：2025年1月27日

要点まとめ

· 完璧なコンピュータは直列計算と並列計算の両方を兼ね備える必要がある：ほとんどの複雑なプログラムでは、約10％のコアコードが99％の計算負荷を占めており、この部分はGPUによる大規模な並列加速に非常に適しています。一方、残りの90％の制御ロジックはCPUによって効率的に直列処理されます。NVIDIAの創業の初心は、従来のコンピュータが克服できない超高負荷の問題を解決することでした。

· ゲーム業界は基盤研究の最良の資金エンジンである：3D仮想世界のリアルタイムレンダリングは本質的に並列計算を必要とし、さらに重要なのは、ビデオゲームが非常に大きな消費者市場規模を持ち、数十億ドルの基盤ソフトウェアおよびハードウェアの研究開発を持続的に自己資金調達できることです。

· CUDAの本質は並列計算を一般化すること：初期の研究者は物理や数学の問題をグラフィックスシェーディングプログラムに偽装してGPUを呼び出さなければなりませんでした。NVIDIAはCUDAを創造し、開発者が一般的なC言語を使用してGPUの計算能力を直接呼び出せるようにしました。この賭けは研究開発コストが高いためにウォール街から10年以上冷遇され、疑問視されましたが、最終的には後の深層学習の爆発への道を開きました。

· AlexNetはNVIDIAに基盤計算スタックの全面的な再構築を促した：2012年にIlya Sutskever、Alex Krizhevsky、Geoffrey Hintonによって作られたAlexNetは、わずか2枚のGeForce GTX 580グラフィックスカードで従来の画像分類アルゴリズムを圧倒しました。Jensen Huangはこのことから、ソフトウェアが「人工的にルールを作成する」から「データが自律的に学ぶ」方向に移行していることを敏感に認識し、NVIDIAをAIに全力で賭けさせ、チップ、相互接続、アルゴリズムライブラリ、システムアーキテクチャを全面的に再構築しました。

· 生成的AIの核心はクロスモーダルな汎用翻訳器になること：このAIの波が前例のないものである理由は、Transformerなどのアーキテクチャが任意のモーダルのデータ（テキスト、画像、音声、3D空間、ロボットアームの軌跡）を理解し、相互に翻訳できるため、人間の知識とデジタル世界の間の障壁を打破したからです。

· 物理AIは「世界モデル＋物理シミュレーション」の二輪駆動でなければならない：大規模言語モデルは幻覚を生じさせ、真実の答えを見つけるために検索と文脈に依存する必要があります。一方、物理世界ではロボットは重力、慣性、摩擦、空間の恒常性などの物理常識を持つ必要があります。NVIDIAはCosmosを物理世界の基礎モデルとして導入し、ニュートン物理法則に従ったOmniverseシミュレーションエンジンを利用してリアルな合成データを生成し、ロボットが物理世界に入る前に数百万回の極限条件での演習を完了させます。

· 未来の10年で全てのものがロボットの形を持つ：自動運転車、スマートビル、無人草刈り機、人型ロボットなど、未来のすべての移動する物体はロボット能力を持つようになります。誰もが専属の生涯デジタルパートナー（R2-D2）を持ち、それはユーザーの成長に伴って進化し、形は眼鏡、携帯電話、コンピュータ、車、家庭の実体にわたります。

· 専用ASICの罠を拒否し、革新的な計算の柔軟性を守る：Transformerを完全に専用チップ（ASIC）に硬化するという見解に対して、Jensen Huangは革新は特定のアルゴリズムアーキテクチャにとどまることは決してないと考えています。コンピュータを単一の用途に固めることは、コンピュータを電子レンジに変えるようなものです。NVIDIAは常に柔軟でプログラム可能な加速アーキテクチャの構築を貫き、学術界がFlashAttention、階層的注意などのより効率的な新しい注意メカニズムを探求し続けることをサポートしています。

· ゲームを通じて成長した企業から人類の最前線科学の嵐の中心へ：RTX 50シリーズでは、4K画面の800万ピクセルのうち、50万ピクセルのみが従来のパイプラインによる光線追跡計算であり、残りの750万ピクセルはすべてAIによって正確に予測されて補完されています。このパラダイムにより、科学者やエンジニアは貴重なエネルギーを核心的なポイントに集中させ、AIが超人的な生産性を引き出すことができます。デジタル生物学、タンパク質言語解析、微気候予測から未来のロボットに至るまで、NVIDIAの究極の歴史的ビジョンは「非凡な影響を創造する」ことです。

素晴らしい見解

· 技術信仰と先見の明について：「ある時点で、あなたは何かを信じることを選ばなければなりません。もしあなたがそれを構築するなら、人々は来ないかもしれません。しかし、もしあなたがそれを構築しなければ、人々は永遠に来る機会がありません。私たちの戦略は希望の上に築かれていますが、それは深く考えられた理性的な希望です。」

· 直列計算と並列計算の役割分担について：「おそらくプログラムの中でわずか10％のコードが99％の計算処理を占めており、この99％のタスクは並列に実行できます。しかし、残りの90％のコードは依然として順番に直列実行される必要があります。本当に完璧なコンピュータは、どちらか一方ではなく、卓越した直列処理能力と並列処理能力の両方を同時に備えている必要があります。」

· CUDA誕生の原動力について：「多くの偉大な革新は、同じような複雑な混沌の中から生まれることが多いです。一部は大きな志とインスピレーションから、もう一部は純粋に行き詰まった切迫した自救から来ています。一方ではボストンのマサチューセッツ総合病院の研究者がゲーム用グラフィックスカードを使ってCT断層画像を再構築しているのを見て、もう一方ではゲーム内で流れる水、爆発、粒子衝突をレンダリングするのに苦労しているこれらの内外の要因が交錯し、CUDAの誕生を促しました。」

· 計算アーキテクチャの専門化についての議論：「Transformerは人類の研究者が発見した最後のAIアルゴリズムアーキテクチャになるのでしょうか？絶対に違います。計算機科学の歴史を振り返ると、どのアルゴリズムも永遠にすべてを支配することはありません。もし10年前に当時のアルゴリズムを完全にチップハードウェアに固めてしまったら、コンピュータは電子レンジになり、その後のすべての革新は語れなくなります。」

· AIと人間の仕事の本質的な関係について：「4Kディスプレイの約800万ピクセルの中で、実際には50万ピクセルだけが光線追跡計算され、残りの750万ピクセルはすべてAIによって予測され、完璧に補完されています。これがAIが人間を超人的にする生き生きとした比喩です：人間は貴重なエネルギーと注意を最も重要な核心部分に集中させ、残りの重いプロセスをAIに任せることで、生産性の百倍の飛躍を実現します。」

· 若い世代への生存ガイドについて：「もし私が今日学生であれば、最初にやるべきことはAIを学ぶことです。AIとどのように対話するかを学ぶことは、非常に優れた質問者になることに似ています。あなたはただ無造作に質問するだけではいけません。AIをあなたの助手にするには、プロンプトの技術と芸術を習得する必要があります。法律、医学、化学、生物を学ぶにしても、常に自問自答しなければなりません：私はAIを利用して自分の仕事をどう改善できるか？」

· 人生の終点と歴史の継承について：「非常に簡単です：彼らは非凡な影響を創造しました（They made an extraordinary impact）。私は次の世代がNVIDIAが彼らのゲームの成長を共にした会社であることを知るだけでなく、デジタル生物学、材料科学、ロボット、自動運転の変革の嵐の中心に立っているのが、この核心信念を守る会社であることを見てほしいと思っています。」

本文

異種計算の誕生：なぜ10％のコードが独立したGPUを必要とするのか？

Cleo Abram： 今日の対談では、財務ニュースでよく見る四半期決算や株価の数字を避け、もっと本質的な問題について話したいと思います：あなたたちは一体何を構築しているのですか？コンピュータは過去数十年でどのように進化してきたのか？そして未来の技術はどのように普通の人々の生活を形作るのでしょうか？

Jensen Huang： 素晴らしいですね、そのような交流を非常に楽しみにしています。実際、ある時点で、あなたは何かを信じることを選ばなければなりません。私たちが今行っていることは、本質的に数十年続いてきた現代の計算アーキテクチャを根本的に再構築しているのです。

Cleo Abram： 現在の世界が注目するAI時代を理解するためには、まず1990年代に戻る必要があります。当時、ゲーム開発者はよりリアルで没入感のある3D画面を作りたいと考えていましたが、当時の従来のハードウェアは膨大なピクセルのリアルタイム計算に耐えられませんでした。なぜ当時のコンピュータはグラフィックスに対応できなかったのでしょうか？GPUはどのように誕生したのですか？

Jensen Huang： これはコンピュータプログラムの基盤にある一つの核心的な特性に起因しています：ソフトウェアコードの中で、通常は10％の重要な命令が99％の計算量を占めていることが多いのです。この99％の密集した計算は通常非常に高い繰り返し性を持ち、何千もの小さなタスクに分割して並列に実行するのに非常に適しています。一方、残りの90％のコードは主にシステムの制御、分岐、スケジューリングロジックであり、順番に一歩ずつ直列処理する必要があります。

当時の従来のコンピュータは完全に中央処理装置（CPU）によって主導されており、CPUは非常に高速で直列ロジックを処理するのが得意に設計されていましたが、膨大なピクセルを同時にレンダリングするという大規模な並列要求に対しては無力でした。私たちは当時敏感に観察しました：真に理想的なコンピュータは、直列処理能力だけではなく、並列処理能力だけでもなく、両方を同時に兼ね備えている必要があるのです。

私たちはNVIDIAを設立し、従来のコンピュータでは解決できない問題を解決する専用の加速プロセッサを作ることを目指しました。これがグラフィックスプロセッサ（GPU）の誕生の起点です。

Cleo Abram： これを聞いて、十数年前にNVIDIAが公式に発表した非常にクラシックな科学普及ビデオを思い出しました：流言終結者（Mythbusters）チームがロボットを作り、単一のスプレーノズルで一発ずつカラーボールを発射してCPUがタスクを処理する方法を示しました。その後、彼らは巨大な機械アレイを導入し、数千のスプレーノズルが千分の一秒で同時にカラーボールを発射し、一瞬で完全なモナリザの画像を描き出しました。これはGPUの並列加速の力を非常に生き生きと示しています。

Jensen Huang： あのデモは、両者の本質的な違いを非常に直感的に示しました。ゲームはまさにこの大規模な並列計算能力に対する極端な需要を持つ最初の分野です。

ゲームの突破口：大衆消費市場がハードコアの基盤研究を支える

Cleo Abram： なぜ当時NVIDIAはまずビデオゲームの分野に切り込むことを選んだのですか？科学計算に直接取り組むのではなく？

Jensen Huang： まず第一に、私たちはこのアプリケーションを心から愛していました。3Dビデオゲームは現実世界やファンタジー世界のデジタルシミュレーションです。誰がリアルで美しい仮想世界に入りたいと思わないでしょうか？

しかし、ビジネス戦略の観点から見ると、ここにはより深い決定的な考慮があります：私たちはビデオゲームが人類最大の消費エンターテインメント市場の一つになると予見していました。最先端の半導体チップを開発するには、想像を絶する研究開発資金が必要です。もしニッチな高性能の科学計算ラボだけにサービスを提供するなら、政府の研究助成金や高額なカスタム契約に依存しなければならず、持続的な巨額の技術革新を維持することはできません。

ビデオゲームは非常に大きな消費市場を提供しました。数千万のプレイヤーがよりスムーズで美しい画質のためにお金を払う意欲があり、これにより私たちは世界で最も出荷量の多い並列プロセッサメーカーになることができました。膨大な出荷規模は、私たちに継続的で自己資金調達の研究開発資金をもたらし、次の数十年にわたりこの並列アーキテクチャを物理的な限界まで推進することを可能にしました。

一か八かのCUDA構築：医学画像からインスピレーションを得た汎用並列計算プラットフォーム

Cleo Abram： 2000年代初頭、敏感な学者や開発者たちがGPUがゲームのテクスチャをレンダリングするだけでなく、物理衝突シミュレーションを実行し、外部の科学者が複雑な科学計算に使用できることに気づき始めました。しかし、私の理解では、その当時はそれを実現するのが非常に困難でした。科学者は行列演算を三角形のピクセルやテクスチャマッピングに偽装し、グラフィックスカードを騙して計算させなければなりませんでした。その後、あなたたちは非常に大胆な決定を下しました：CUDAプラットフォームを導入しました。当時の背景についてお話しいただけますか？

Jensen Huang： あなたはしっかりと調査しましたね、それは非常に正確です。多くの偉大な革新は、同じ複雑な混沌の中から生まれることが多いです：一部は大きな志とインスピレーションから、もう一部は純粋に行き詰まった切迫した自救から来ています。

当時、外部で最初に私たちのGPUを使用して汎用加速を行ったケースの一つは、ボストンのマサチューセッツ総合病院（Mass General）から来ました。そこで数人の研究者が私たちのゲーム用グラフィックスカードを使用してCT画像再構成を行い、私たちに大きなインスピレーションを与えました。

同時に、NVIDIA内部でもボトルネックに直面していました：私たちはゲームの世界の水流が実際の水体のように流れること、爆発によって生じる数万の破片が空気力学の法則に従うこと、煙が自然に拡散することを望んでいました。これには、グラフィックスカードがグラフィックス処理だけでなく、粒子物理学と流体力学のシミュレーションも同時に実行する必要があります。もしグラフィックスカードのハードウェアパイプラインが従来のコンピュータグラフィックスプロセスに固執しているなら、すべては実現できません。

そこで私たちは決意しました。専用のグラフィックスパイプラインの束縛を完全に打破し、汎用の並列計算アーキテクチャに変える必要があると。そして、統一計算アーキテクチャ（CUDA）を創造しました。CUDAは、世界中のエンジニアや科学者がすでに知っているC言語を使ってコードを書くことを可能にし、GPU内の何千もの計算コアを自由に操作できるようにしました。

Cleo Abram： 今日の視点から振り返ると、CUDAを構築することは非常に先見の明のある賭けでした。当時、NVIDIAは全ての資産をCUDAに賭け、出荷されるすべてのゲーム用グラフィックスカードに汎用計算ロジックを強制的に組み込みました。その結果、チップの面積が大幅に増加し、コストが高騰し、利益率が圧迫され、長い間ウォール街から厳しい批判と疑問を受けました。

Jensen Huang： 新しい破壊的技術を創造するとき、批評家は必ず「もしあなたがそれを作ったら、人々は使わないかもしれない」と言います。しかし楽観主義者の視点から見ると、私たちの信念は「しかし、もしあなたがそれを作らなければ、人々は永遠に来る機会がない」ということです。

私たちはこの技術が持つ巨大な物理的潜在能力を深く理解しており、消費者向けのGeForceグラフィックスカードの巨大な市場を通じて、この先進的な並列計算アーキテクチャを世界中のすべてのギークや研究者のデスクトップに敷設できると確信しています。この理性的な希望が、私たちを長く孤独な年月を乗り越えさせてくれました。

2012年AlexNetの啓示の瞬間：65年続く現代計算体系の再構築

Cleo Abram： その後、2012年に時間が進み、テクノロジー史上非常に重要な戦いが訪れました：ImageNet画像認識コンペティション。Alex Krizhevsky、Ilya Sutskever、そして彼らの指導者Geoffrey Hintonは、AlexNetという深層神経ネットワークモデルを提出し、すべての従来のコンピュータビジョンアルゴリズムを圧倒し、エラー率を大幅に低下させました。彼らは2枚の消費者向けGeForce GTX 580グラフィックスカードを使用して、この画期的なモデルを訓練しました。当時NVIDIA内部で、この結果を見たときのあなたの第一反応は何でしたか？

Jensen Huang： それは世界の歴史の軌道を根本的に変える瞬間でした。当時、NVIDIA内部のあるコンピュータビジョンの研究開発チームは、従来のアルゴリズムライブラリを使って画像認識の問題を解決しようとしていましたが、非常に大きな障害と挫折に直面していました。AlexNetが登場したとき、私たちはただ驚くばかりではなく、強い共鳴を感じました：この新しいアルゴリズムは人工的に書かれたルールを完全に捨て、大量のデータを使って自ら重みを学習し、能力において前例のない飛躍を遂げました。

私たちはすぐに一歩引いて、最も根本的な質問を自問しました：「もしこの深層学習アーキテクチャがコンピュータビジョンでこれほど恐ろしい拡張の可能性を示すことができるなら、その限界はどこにあるのか？もしそれが無限に拡張できるなら、コンピュータ業界全体や基盤となるソフトウェア・ハードウェアアーキテクチャにとって何を意味するのか？」

私たちはその時、非常に重要な判断を下しました：ソフトウェアの開発パラダイムが本質的なレベルでのパラダイムシフトを迎えているということです。1964年にIBM System/360が現代の汎用コンピュータの命令セット体系を確立して以来、65年間、人類は一歩一歩正確に命令を書いてコンピュータに何をすべきかを指示してきました。しかし、深層学習の台頭は、コンピュータが大量のデータを通じて自ら学習する規則に変わり始めたことを示しています。

ソフトウェアの本質が変わった以上、それを支えるハードウェアの基盤と全体のシステムスタックはすべて一から作り直さなければなりませんでした。私たちはすぐにAIに全面的に賭ける決定を下し、単一のチップアーキテクチャ、相互接続バス、ネットワーク通信、アルゴリズムライブラリ、分散システムに至るまで、全方位で計算スタックを再設計しました。その後のDGXスーパーコンピュータシステムは、この啓示から生まれたものです。

なぜ今なのか：すべてのデータモードを超える汎用翻訳者

Cleo Abram： なぜ最近の数年間、大衆は突然AIの爆発を感じるようになったのでしょうか？その背後にある本質的な技術的飛躍は何ですか？

Jensen Huang： 過去10年間、コンピュータサイエンスの分野でのハードコアな課題が次々と克服されてきました。最初はコンピュータビジョンが完全に解決され、その後音声認識が超人的なレベルに達し、さらに自然言語理解が質的な突破を遂げました。

しかし、真の質的変化を引き起こしたのは、Transformerアーキテクチャと生成AIの成熟です。従来のAIモデルは主に単一タスクの分類器であり、例えば画像の中に猫がいるかどうかを判断するものでした。しかし、現在の生成AIは汎用の「クロスモーダル翻訳システム」です。

それはテキストを理解し、テキストを別のテキストに翻訳することができます。例えば、段落を要約したり、異なる言語に翻訳したりします。また、テキストを画像に翻訳したり、画像を3D資産に翻訳したり、センサーのデータを機械アームの回転角度に翻訳したりすることもできます。デジタル世界と物理世界のさまざまな表現形式の間を自由に行き来できるため、今日のAIは非常に万能に感じられます。

物理AIと世界モデル：Cosmosが常識を与え、Omniverseが物理法則を固定する

Cleo Abram： 次に、デジタル世界の文字や画像から、物理世界の具現化された知能やロボットへと進化する最も重要な変化について深く掘り下げたいと思います。以前はロボットを訓練するために、実際の作業場に機械を置いて一歩一歩進ませたり、人間がモーションキャプチャスーツを着て非常に限られたデータを収集したりしていました。機械は簡単に摩耗したり壊れたりし、データ収集は非常に高価で遅いものでした。今、私たちは仮想世界でロボットを訓練し始めています。NVIDIAはCosmosとOmniverseを発表しましたが、仮想世界でロボットの学習の課題をどのように解決したのですか？

Jensen Huang： 物理AIを理解するための最良の参照系は、ChatGPTなどの言語モデルの発展の道筋です。

ChatGPTが登場したとき、そのパフォーマンスは驚異的でしたが、致命的な弱点がありました：幻覚です。長々と話し続けたり、訓練されていない盲点について話したりすると、事実の真実（Ground Truth）に基づかないため、真面目に無茶を言うことがあります。その後、業界はコンテキスト検索強化（RAG）を導入しました。モデルに権威あるPDFを与えたり、リアルタイムでネット検索を行ったりすると、そのPDFや検索結果がモデルの基準となる事実となり、モデルの推論に信頼できる基盤が与えられます。

今、私たちは同じ論理を物理世界に投影しています。ロボットが現実世界で自由に行動するためには、まず物理的常識を持つ基礎モデルが必要です。物理的常識とは何でしょうか？それは地球に重力があること、物体に慣性と摩擦力があることを理解しなければなりません。また、幾何学的および空間的認識能力を持ち、物体の恒常性を理解し、私が振り返って再び見ると、テーブルの上のカップがまだそこにあることを理解しなければなりません。因果論理も理解し、カップを倒すと水がこぼれることを理解しなければなりません。

AIにこの常識を注入するために、私たちはCosmosを構築しました。これは物理世界の基本的な言語モデルで、物理世界の普遍的な法則を特にコーディングしています。

しかし、Cosmosだけでは不十分です。私たちは「絶対的な物理的真実の基準」を提供する必要があります。これはChatGPTに権威あるPDFを与えるのと同じです。この基準がOmniverseです。Omniverseは普通のビデオゲームエンジンではなく、第一原理に厳密に従った物理シミュレーションシステムで、その基盤となる数学モデルは厳密なニュートン力学、流体力学、電磁気学のソルバーです。

Cosmosの世界モデルとOmniverseの物理シミュレーションエンジンを組み合わせることで、私たちはデジタル空間でロボットのために無限に、かつ物理法則に完全に従った仮想環境や突発的な状況を生成することができます：光の急変、路面の滑り、障害物の遮蔽、機械の突発的な故障。ロボットは数時間で現実世界で数十年かかる極端な訓練を完了し、その後そのモデルを実際のロボットに展開することができます。

未来十年のビジョン：すべてのものがロボットの形を持ち、誰もが専属の R2-D2 を持つことになる

Cleo Abram： この論理を続けていくと、10年後の物理的な世界はどのようになるのでしょうか？普通の人々はこれらの物理AIとどのように対話するのでしょうか？

Jensen Huang： 未来のすべての移動物体はロボット能力を持つようになり、その日はほとんどの人が想像するよりも早く訪れるでしょう。

未来には、人々が日差しの下で芝刈り機を押して庭を歩くことがあり、今日の視点から見ると少しばかげているように思えます。未来のすべての車は完全に自律的なロボットになるでしょう；未来のヒューマノイドロボットも工場や家庭に入ってくるでしょう。これらすべてのロボットは、Omniverse と Cosmos が構築したデジタルツインの世界で学び、物理的現実に向かって進むことになります。

さらに興奮するのは、誰もが専属の生涯デジタルパートナーを持つことになるということです。それはスター・ウォーズの R2-D2 のような存在です。それは必ずしも丸い金属のバケツではなく、あなたのスマートグラス、スマートフォン、オフィスのコンピュータ、あるいはあなたの車の中に存在し、家に帰るまであなたを迎えるために何らかの実体ロボットの形で現れるかもしれません。

この専属の R2-D2 はあなたの人生を共にし、あなたの経験と共に成長し、あなたの喜怒哀楽、生活習慣、仕事のスタイルを深く理解し、あなたが世界を認識し変革するための最強の延長となるでしょう。

アーキテクチャ哲学の議論：なぜ Transformer を直接チップに固定できないのか？

Cleo Abram： このインタビューの準備をする中で、多くのエンジニアの友人と深く議論しました。彼らは私にこの質問を必ず聞くように頼みました：Transformer アーキテクチャが今日のほとんどすべての大規模モデルの基盤となる中、多くのチップメーカーが完全に Transformer に特化した専用チップ（ASIC）の製造を試み始めています。特化は特定のタスクで極限の効率をもたらすことができますが、汎用性を失います。NVIDIA は専用最適化と汎用アーキテクチャの間でどのようにバランスを取っているのでしょうか？あなたはこの数十億ドルの生死に関わる重い技術への賭けをどのように行っていますか？

Jensen Huang： これはまさに私たちの最も基本的な信念に触れるものです：あなたは Transformer が人類の研究者が発見できる最後の AI アルゴリズムアーキテクチャだと信じていますか？

もしあなたの答えが「はい」であれば、もちろんあなたは Transformer のすべての数学的計算を物理回路で直接シリコンチップに固定することができます。しかし、私たちの核心的な信念は、Transformer は決して終点ではなく、より高度な AI 進化の階段の一つの踏み石に過ぎないということです。数年後の次世代の最前線のアーキテクチャは、Transformer の影を完全に見えなくする可能性があります。

人類のコンピュータアルゴリズムと革新の歴史を振り返ると、どの素晴らしいアイデアも永遠に独占することはできませんでした。答えは、これまでに一度もありません。コンピュータの本質的な魅力は、今日のコンピュータが10年前の誰もが夢にも思わなかった素晴らしいプログラムを実行できることにあります。もしあなたが10年前に当時のチップを完全に単一機能のハードウェアに固定してしまったら、コンピュータは電子レンジに退化し、アプリケーションエコシステムの繁栄も突然終わってしまったでしょう。

例えば、Transformer の核心である注意メカニズム（Attention Mechanism）について言えば、その目的は各単語と文脈中の他のすべての単語との関連度を計算することです。テキストが10単語しかない場合、計算は全く問題ありません。しかし、文脈ウィンドウが数万字、数百万トークンに拡大すると、全対全の計算コストは平方級に爆発し、物理ハードウェア上では実現不可能になります。この問題を解決するために、過去数年間で FlashAttention、階層的注意（Hierarchical Attention）、波形注意などの新しい数学的アルゴリズムが次々と登場しました。

コンピュータサイエンスには終わりがなく、AI 研究者は探求をあきらめず、NVIDIA もあきらめません。私たちの最も重要な使命は、常に高度なプログラミング柔軟性を持つ加速計算システムを構築し、世界で最も賢いアルゴリズム科学者がこの計算力の海で自由に航海し、次世代の人類の未知の偉大なアルゴリズムを探求できるようにすることです。

チップ製造の限界と物理的挑戦：ウェーハパッケージから極端なエネルギー効率まで

Cleo Abram： 現在の最先端チップは物理学の根本的な限界に近づいています。あなたたちはチップを設計し、TSMC などのパートナーが数ナノメートルの物理スケールで光刻製造を担当しています。ムーアの法則の鈍化と消費電力のボトルネックに対処する際、NVIDIA はどのように設計を考えていますか？

Jensen Huang： 従来のムーアの法則とデナードスケーリングの法則（Dennard Scaling）は物理的にほぼ終わりを迎えています。過去に単純にトランジスタのサイズを縮小して計算能力の倍増と消費電力の低下を無料で得る時代は、もはや過去のものとなりました。

これが、私たちが「チップ思考」から「データセンター思考」へと全面的に転換しなければならない理由です。単一ウェーハの光学的限界サイズ（Reticle Limit）は固定されており、単一チップの物理的限界を突破するために、私たちはデュアルウェーハ統合パッケージ（CoWoS）、超高帯域幅チップ間相互接続リンク（NVLink）、および非常に高密度のオンチップ高帯域幅メモリ（HBM）を採用しています。

さらに重要なのは、並列加速計算はまったく異なる物理法則に従っているということです。複雑なタスクを数万の効率的なコアに並列処理させることは、数個の高クロックの汎用CPUコアに対抗させるよりも、エネルギー利用効率を数十倍、数百倍向上させることができます。アルゴリズム、チップ、ネットワーク、システムレベルでの協調最適化を通じて、私たちはポストムーアの法則時代において計算能力の指数関数的成長を持続的に推進する新しい道を開きました。

次の大きな賭け：物理AI、デジタル生物学、微気候シミュレーション

Cleo Abram： 過去を振り返ると、NVIDIA は GPU、CUDA、深層学習、自動運転において行ったすべての重要な賭けが時間によって正しいことが証明されてきました。前述のロボットの他に、次の重大な賭けには何がありますか？

Jensen Huang： 物理AIやヒューマノイドロボットのソフトウェアとハードウェアのツールチェーンの他に、私が非常に興奮している分野はデジタル生物学（Digital Biology）です。

過去のコンピュータは0と1からなる人工コードを理解していましたが、現在のAIは人間の自然言語を理解しています。そして、生物学の本質は、分子、アミノ酸、タンパク質、そして生きた細胞の複雑な相互作用の言語です。私たちが物理モデルを使って現実世界を理解するように、もしAIが生物大分子間の相互作用の言語を深く解析し予測できれば、私たちは人間の身体のデジタルツインを構築することができるでしょう。これは新薬の発見、遺伝子治療、病気のメカニズム研究が、過去の湿式試行錯誤からコンピュータで迅速にシミュレーション・反復できる高精度な科学へと変わることを意味します。

もう一つ私が非常に誇りに思っているのは気候科学です。デジタルツイン技術を活用して、私たちは超高解像度の地域気候と極端な天候予測システムを構築しており、あなたの頭上1キロメートルの範囲内の微気象の変化を正確にシミュレートできるようになっています。

科学的なツールは本質的に人間が発明した「タイムマシン」です。科学者が未来を予測しようと全力を尽くすのは、未来の進化の軌跡を事前に見極め、現在において最適な設計と介入を行い、最も素晴らしい未来のバージョンを創造するためです。

ニューラルレンダリングと個人用スーパーコンピュータ：RTX 50 と DGX がもたらす生産性の飛躍

Cleo Abram： 最近の消費者電子展で、あなたたちは最新の GeForce RTX 50 シリーズのグラフィックカードと、机の上に置かれた新世代の DGX システムを展示しました。一般のクリエイターや開発者にとって、これらの新しいハードウェアは何を意味するのでしょうか？

Jensen Huang： これには非常に魅力的な技術の循環が含まれています：最初は GeForce ゲームグラフィックカードが現代のAIを育て、Alex Krizhevsky と Geoffrey Hinton が AlexNet を訓練するのを助けました；そして今日、強力で成熟したAIが再び GeForce グラフィックカードにフィードバックし、グラフィックレンダリングの基本的な論理を根本的に覆しています。

最新の RTX 50 シリーズのグラフィックカードが示す 4K 解像度の画面（合計約 800 万ピクセル）では、私たちの物理的な光線追跡パイプラインは実際にはその中の 50 万ピクセルだけを密に計算し、残りの 750 万ピクセルは深層神経ネットワークがこの 50 万ピクセルの高品質な基準に基づいてリアルタイムで推測し、完璧に補完したものです。

これは AI が人類の生産性を高める究極のメタファーです：人間自身のエネルギー、集中力、体力は非常に貴重で限られています。もし私たちがすべてのプロセスに対抗しようとすれば、成果は必然的に非常に制限されます。しかし、AI の一般化と推論能力を借りれば、人間は最も核心的で価値のある「50 万ピクセル」に全エネルギーを注ぎ込むだけで済み、AI が残りのすべてを補完してくれることで、人類全体が超人的な創造力を発揮できるのです。

同時に、私たちは2016年に OpenAI に世界初の DGX スーパーコンピュータを手渡しました。その時、Elon Musk が直接受け取りました。当時のスーパーコンピュータは巨大で、価格は25万ドルに達し、わずか数つのトップラボしか所有できませんでした；しかし今、私たちはそれを約3000ドルの個人用AIスーパーワークステーションに縮小し、学生やエンジニアのデスクの横に直接置けるようにしました。これは、すべての普通の学生や独立した開発者が自分専用のスーパー計算センターを持ち、自分の AI モデルや R2-D2 ロボットを寮で訓練できることを意味します。

若者へのアドバイスと人生の継承：プロンプティングの芸術と非凡な時代の影響力

Cleo Abram： このインタビューを見ている学生や若い世代、そしてこの時代に何かを成し遂げたいと思っているすべての人々に、私がまだ尋ねていないが重要だと思うアドバイスはありますか？

Jensen Huang： 私が考える最も重要なアドバイスの一つは、もし私が今学生であれば、最初にやるべきことは AI を全力で学ぶことです。

ChatGPT とどのように対話するか？Gemini Pro とどのように対話するか？Grok とどのように対話するか？AI と対話する方法を学ぶことは、本質的に非常に優れた質問者になることです。例えば、あなたは非常に優れた質問者であり、AI にプロンプトを書くことは非常に似ています。あなたは適当に質問を投げかけることはできず、AI をあなたの強力な助手にするためには、プロンプトの技術と芸術を習得する必要があります。

だから、もし私が今日学生であれば、数学、科学、化学、生物を学ぶにあたって、将来どの科学分野に進むにしても、どんな職業に就くにしても、自分に問いかけるでしょう：AI を利用して仕事をより良くするにはどうすればいいのか？

もし私が弁護士になりたいなら、AI を使ってより優れた弁護士になるにはどうすればいいのか？もし私が医者になりたいなら、AI を使ってより優れた医者になるにはどうすればいいのか？もし私が化学者になりたいなら、AI を使ってより優れた化学者になるにはどうすればいいのか？もし私が生物学者になりたいなら、AI を使ってより優れた生物学者になるにはどうすればいいのか？この問いはすべての人の思考に貫かれるべきです。

私が成長した時代のように、私たちはこの思考に直面しなければならなかった第一世代です：どのようにコンピュータを利用して仕事をより良くするか。私たちの前の世代にはコンピュータが全くありませんでした；私が業界に入ったときは、Windows 95の前で、1984年で、オフィスには一台のコンピュータもありませんでした。すぐにコンピュータが普及し、私たちは自分たちにどのようにコンピュータを使って仕事をするかを問わなければなりませんでした。次の世代はこの問題を問う必要がなくなりましたが、明らかに彼らは次の命題に直面しなければなりません：私はどのようにAIを利用して仕事をより良くするか？これがすべての出発点であり終点です。

AIは理解のハードル、知識のハードル、そして知恵を得るハードルを根本的に下げました。以前は、コンピュータを使ったことのない人の前に置いても、彼らは一日で使い方を学ぶことは決してできず、誰かが手取り足取り教えなければなりませんでした；しかし、ChatGPTに直面した場合、使い方がわからなければ、「ChatGPTの使い方がわかりません、教えてください」と入力するだけで、すぐに返信があり、例を示してくれます。知恵の最も素晴らしい点は、それがあなたをサポートし続け、プロセスの中であなたをより強くしてくれることです。

Cleo Abram： さて、もし時間があれば、最後に一つ質問があります。これは私が最初に聞くつもりだったことではありませんが、ここに来る途中で、実は少し飛行機恐怖症があって、これは確かにあまり理性的ではありません。飛行中、飛行機が少し揺れて、非常に揺れました。私は激しく揺れる機内に座っていて、人々が私の葬儀で何を言うかを考えずにはいられませんでした。

Jensen Huang： 「彼女はいつも良い質問をする！」あなたの墓碑にはきっとこう書かれるでしょう。

Cleo Abram： そう願いたいです！はい。「夫、友人、家族を深く愛していた」以外に、私が追い求めた目標についても人々が話してくれることを望んでいます。あなたに非常に興味があります。あなたはこの業界で長年深く掘り下げてきて、描いている未来のビジョンは非常に壮大です。あなたが達成しようとしている事業を評価するために、皆がどのようなテーマを持ってほしいですか？

Jensen Huang： 非常にシンプルです：「彼らは非凡な影響を与えた（They made an extraordinary impact）。」

私たちは非常に幸運だと思います。なぜなら、私たちはずっと前にいくつかの核心的信念を確立し、それを常に守り続け、その上に構築してきたからです。その結果、私たちは今日、世界で、さらには歴史上最も重要で影響力のあるテクノロジー企業の一つとなりました。

したがって、私たちはこの責任を非常に真剣に受け止めています。私たちが創造する能力が大企業だけでなく、各科学分野の独立した研究者や開発者にも開放されるよう全力を尽くしています。利益を追求するかどうか、規模の大小、知名度に関わらず、私たちが行っている仕事の重要な意味と、それが無数の人々に与える可能性のある深遠な影響を深く理解しているからこそ、私たちはこの能力をできるだけ多くの場所に普及させたいと考えています。

私は確信しています。数年後に振り返ったとき、次の世代が私たちが作り上げたゲーム技術によって私たちを知ることを非常に望んでいます；しかし、振り返ったとき、デジタル生物学と生命科学の分野は完全に再構築され、材料科学に対する私たちの認識は根本的に覆され、ロボットがさまざまな分野で人間を危険で面倒な作業を手伝っています。運転したいときは自分で運転し、運転したくないときは少し休憩したり、車を家庭用シアターとして使って通勤中に静かに読書したりできます。その時には、遠くに住んでいることを望むかもしれません。そうすれば、車の中で少しでも楽しむことができます。

振り返ってみると、ほぼすべての変革の中心にある会社があり、それがちょうどあなたがゲームをするために育った会社であることに気づくでしょう。これが次の世代が認識するNVIDIAであってほしいです。

Cleo Abram： 貴重なお時間をいただき、誠にありがとうございました。非常に楽しい交流でした。

Jensen Huang： ありがとう、私も嬉しいです。