Хуан Жэньсюн 63 минуты глубоко обсуждает следующее десятилетие NVIDIA: от CUDA до физического ИИ и робототехники

Собрано и скомпилировано: ShenChao TechFlow

Введение от ShenChao: В этом 63-минутном глубоком интервью известный технологический создатель Cleo Abram избегает обычных финансовых отчетов и спекуляций с акциями и ведет разговор с соучредителем и генеральным директором NVIDIA Дженсеном Хуаном о эволюции вычислений и будущем человеческих технологий. От прорыва в 30 лет назад с игровыми графическими картами до создания CUDA, несмотря на более чем десятилетние сомнения Уолл-стрита, и до острого улавливания AlexNet, который запустил революцию глубокого обучения в 2012 году, Дженсен Хуан подробно объясняет, как NVIDIA шаг за шагом перестраивает современный стек вычислительных технологий, который существует уже 65 лет.

На пороге качественного перехода от генеративного ИИ к физическому ИИ, Дженсен Хуан подробно объясняет технологическую основу «мировой модели + физического моделирования», построенную на Cosmos и Omniverse, описывая десятилетнее видение, в котором «все имеет форму робота» и каждый человек будет иметь своего личного робота-сопутника R2-D2 на всю жизнь. В то же время он уверенно отвечает на философские разногласия о специализированной и универсальной архитектуре чипов, анализирует передовые ставки, такие как цифровая биология и прогнозирование климата, и предлагает молодому поколению принять искусство задавания вопросов как основное руководство. Когда его спрашивают, как он хотел бы, чтобы его запомнили, он дает самый простой и величественный ответ: «Очень просто: они создали необыкновенное влияние».

Гость: Дженсен Хуан (соучредитель и генеральный директор NVIDIA)

Ведущая: Cleo Abram (известный создатель технологических видео, ведущая канала Huge If True)

Источник подкаста: Huge If True (https://www.youtube.com/watch?v=7ARBJQn6QkM)

Оригинальное название: Видение генерального директора NVIDIA Дженсена Хуана о будущем

Дата выпуска: 27 января 2025 года

Основные моменты

· Идеальный компьютер должен учитывать как последовательные, так и параллельные вычисления: В большинстве сложных программ около 10% основного кода занимают 99% вычислительной нагрузки, и эта часть идеально подходит для масштабного параллельного ускорения с помощью GPU; остальные 90% логики управления обрабатываются CPU эффективно в последовательном режиме. Изначальная цель NVIDIA заключалась в решении проблемы сверхвысокой нагрузки, с которой традиционные компьютеры не могли справиться.

· Игровая индустрия является лучшим финансовым двигателем для базовых исследований: Реалистичный рендеринг 3D виртуальных миров требует параллельных вычислений, более того, видеоигры имеют огромный потребительский рынок, который может постоянно обеспечивать миллиарды долларов для разработки базового программного обеспечения и аппаратного обеспечения, не полагаясь на государственное финансирование или научные гранты.

· Суть CUDA заключается в том, чтобы сделать параллельные вычисления доступными для широкой аудитории: Ранние исследователи должны были маскировать физические или математические задачи как графические программы для вызова GPU. NVIDIA создала CUDA, позволяя разработчикам напрямую использовать общепринятый язык C для доступа к вычислительной мощности GPU. Хотя эта ставка из-за высоких затрат на разработку долгое время подвергалась сомнению на Уолл-стрит, в конечном итоге она проложила путь для последующего взрыва глубокого обучения.

· AlexNet заставила NVIDIA полностью перестроить базовый стек вычислений: AlexNet, созданный в 2012 году Ильей Сутскевером, Алексом Кризевским и Джеффри Хинтоном, всего на двух графических картах GeForce GTX 580 обошел традиционные алгоритмы классификации изображений. Дженсен Хуан остро осознал, что программное обеспечение переходит от «правил, написанных человеком» к «самостоятельному обучению на данных», и сразу же поставил все ставки NVIDIA на ИИ, полностью перестроив чипы, соединения, библиотеки алгоритмов и системную архитектуру.

· Суть генеративного ИИ заключается в том, чтобы стать универсальным переводчиком между модальностями: Эта волна ИИ беспрецедентна, потому что архитектуры, такие как Transformer, могут понимать и переводить данные любой модальности (текст, изображения, речь, 3D-пространство, траектории манипуляторов), тем самым разрушая барьеры между человеческими знаниями и цифровым миром.

· Физический ИИ должен быть движим двойным механизмом «мировая модель + физическое моделирование»: Большие языковые модели могут создавать иллюзии и нуждаются в поиске и контекстуальной привязке для получения истинных ответов; в физическом мире роботам необходимо обладать физическими знаниями, такими как гравитация, инерция, трение и постоянство пространства. NVIDIA представила Cosmos как базовую модель для физического мира и использует движок моделирования Omniverse, который следует законам Ньютона, для генерации реалистичных синтетических данных, позволяя роботам пройти миллионы предельных испытаний перед входом в физический мир.

· В течение следующего десятилетия все будет иметь форму робота: Будь то автомобили с автопилотом, умные здания, газоны, которые косит робот, или гуманоидные роботы, все движущиеся объекты будущего будут обладать роботизированными способностями. Каждый человек будет иметь своего личного цифрового спутника (R2-D2), который будет продолжать эволюционировать вместе с пользователем, принимая формы очков, телефонов, компьютеров, автомобилей и домашних объектов.

· Отказ от ловушки специализированных ASIC, сохранение гибкости инновационных вычислений: В ответ на мнение о полной жесткости Transformer в виде специализированных чипов (ASIC), Дженсен Хуан считает, что инновации никогда не остановятся на какой-либо конкретной архитектуре алгоритма. Если компьютер будет зафиксирован для единственного использования, это будет все равно что превратить компьютер в микроволновую печь. NVIDIA всегда настаивает на создании гибкой программируемой архитектуры ускорения, поддерживающей академические исследования в области FlashAttention, иерархического внимания и других более эффективных новых механизмов внимания.

· От компании, выросшей на играх, до центра передовых научных исследований человечества: В серии RTX 50 из 8 миллионов пикселей 4K только 500 тысяч пикселей рассчитываются с помощью традиционного трассировки лучей, остальные 7,5 миллиона пикселей полностью заполняются точными предсказаниями ИИ. Эта парадигма позволяет ученым и инженерам сосредоточить свои драгоценные усилия на ключевых моментах, а ИИ увеличивает производительность до сверхчеловеческого уровня. От цифровой биологии, анализа языков белков, прогнозирования микроклимата до будущих роботов, конечная историческая цель NVIDIA заключается в том, чтобы «создать необыкновенное влияние».

Увлекательные мысли

· О вере в технологии и стратегическом планировании: «В какой-то момент вы должны выбрать, во что верить. Если вы собираетесь это построить, люди могут не прийти; но если вы не построите это, у людей никогда не будет шанса прийти. Наша стратегия основана на надежде, но это обдуманная рациональная надежда.»

· О разделении труда между последовательными и параллельными вычислениями: «Возможно, только 10% кода в программе занимает 99% вычислительных ресурсов, и эти 99% задач могут быть выполнены параллельно; но оставшиеся 90% кода все равно должны выполняться последовательно. Настоящий идеальный компьютер не должен быть либо-или, а должен одновременно обладать выдающимися способностями как последовательной, так и параллельной обработки.»

· О мотивации создания CUDA: «Многие великие инновации часто возникают из одной и той же сложной смеси: часть из них происходит от великих амбиций и вдохновения, другая часть чисто из необходимости спасения. С одной стороны, мы видим, как исследователи из Бостонской больницы используют игровые графические карты для реконструкции изображений КТ, с другой стороны, мы сами испытываем трудности при рендеринге текучей воды, взрывов и столкновений частиц в играх, и эти внутренние и внешние факторы переплетаются, способствуя рождению CUDA.»

· О дебатах о специализированной архитектуре вычислений: «Будет ли Transformer последней архитектурой алгоритма ИИ, открытой человечеством? Определенно нет. Оглядываясь на историю компьютерных наук, ни одна архитектура алгоритма никогда не могла доминировать вечно. Если бы вы полностью зафиксировали алгоритм десятилетней давности в аппаратном обеспечении чипа, то компьютер стал бы микроволновой печью, и все последующие инновации были бы невозможны.»

· О сущности отношений между ИИ и человеческим трудом: «Из примерно 8 миллионов пикселей на 4K дисплее мы фактически просчитали трассировку лучей только для 500 тысяч пикселей, остальные 7,5 миллионов пикселей полностью полагаются на предсказания ИИ. Это яркая метафора того, как ИИ позволит людям стать сверхчеловеками: люди могут сосредоточить свои драгоценные усилия и внимание на самых критических моментах, а остальные трудоемкие процессы передать ИИ, что приведет к стократному увеличению производительности.»

· О руководстве для молодого поколения: «Если бы я сегодня был студентом, первой вещью, которую я бы сделал, было бы изучение ИИ. Учиться взаимодействовать с ИИ, как будто становишься очень искусным в задавании вопросов. Вы не можете просто задавать случайные вопросы; чтобы ИИ стал вашим помощником, нужно овладеть искусством и навыками подсказок. Независимо от того, изучаете ли вы право, медицину, химию или биологию, вы должны постоянно задавать себе вопрос: как я могу использовать ИИ, чтобы улучшить свою работу?»

· О конечной цели жизни и историческом наследии: «Очень просто: они создали необыкновенное влияние. Я надеюсь, что следующее поколение не только знает, что NVIDIA — это компания, которая сопровождала их в играх, но и увидит, что именно эта компания, придерживающаяся своих основных убеждений, стоит в центре бурного изменения в цифровой биологии, материаловедении, робототехнике и автономном вождении.»

Основной текст

Рождение гетерогенных вычислений: почему 10% кода нуждаются в независимом GPU?

Cleo Abram: Сегодняшний разговор я хочу избежать тех квартальных отчетов и цифр акций, которые часто встречаются в финансовых новостях, и сосредоточиться на более сущностных вопросах: что вы на самом деле строите? Как компьютеры шаг за шагом пришли к тому, чем они являются сегодня? И как технологии будущего будут формировать жизнь каждого обычного человека?

Jensen Huang: Отлично, я очень жду такого общения. На самом деле, в какой-то момент вы должны выбрать, во что верить. То, что мы делаем сейчас, по сути, это полная перестройка современного вычислительного архитектуры, которая существует десятилетиями.

Cleo Abram: Чтобы понять этот момент, когда весь мир обращает внимание на эпоху ИИ, мы должны вернуться в девяностые годы двадцатого века. Тогда разработчики игр хотели создать более реалистичную и погружающую 3D графику, но традиционное оборудование того времени не могло справиться с огромным количеством пикселей в реальном времени. Почему компьютеры того времени не могли справиться с графикой? Как возникли GPU?

Jensen Huang: Это связано с одной из ключевых особенностей программного обеспечения: в коде программы обычно только 10% ключевых инструкций занимают целых 99% вычислительных ресурсов. Эти 99% интенсивных вычислений обычно имеют высокую степень повторяемости, что делает их идеальными для разделения на тысячи мелких задач, которые могут выполняться параллельно; в то время как оставшиеся 90% кода в основном представляют собой логику управления, ветвления и планирования системы, которые должны обрабатываться последовательно, шаг за шагом.

Традиционные компьютеры того времени полностью управлялись центральным процессором (CPU), который был спроектирован для очень быстрого выполнения последовательной логики, но не мог справиться с огромными параллельными требованиями рендеринга большого количества пикселей одновременно. Мы тогда остро заметили: настоящий идеальный компьютер не может обладать только способностями последовательной обработки или только параллельной обработки; он должен одновременно обладать обоими.

Мы основали NVIDIA с целью создать специализированные ускорители обработки, способные решать задачи, недоступные традиционным компьютерам. Это и есть точка рождения графических процессоров (GPU).

Cleo Abram: Это напоминает мне одно очень классическое научно-популярное видео, выпущенное NVIDIA много лет назад: команда "Разрушителей мифов" (Mythbusters) создала робота, который с помощью одного сопла выстреливал цветные шарики, чтобы продемонстрировать, как CPU обрабатывает задачи; затем они представили огромный механический массив, состоящий из тысяч сопел, которые одновременно выстреливали цветные шарики за одну тысячную секунды, мгновенно создавая полное изображение Моны Лизы, наглядно демонстрируя силу параллельного ускорения GPU.

Jensen Huang: Эта демонстрация очень наглядно показала основные различия между ними. Игры стали первой областью, которая испытывала крайнюю жажду к такой масштабной параллельной вычислительной мощности.

Прорыв в играх: использование массового потребительского рынка для поддержки глубоких исследований

Cleo Abram: Почему тогда NVIDIA решила сначала войти в сферу видеоигр, а не заняться научными вычислениями?

Jensen Huang: Прежде всего, потому что мы искренне любим это приложение. 3D-видеоигры — это цифровая симуляция реального или фантастического мира, кто не хочет попасть в реалистичный и великолепный виртуальный мир?

Но с точки зрения бизнес-стратегии здесь есть более глубокое и решающее соображение: мы предвидели, что видеоигры могут стать одним из крупнейших потребительских развлекательных рынков для всего человечества. Разработка передовых полупроводниковых чипов требует невероятных затрат на исследования и разработки, и если бы мы обслуживали только небольшие высокопроизводительные научные вычислительные лаборатории, нам пришлось бы полагаться на государственные научные гранты или дорогие индивидуальные контракты, что не могло бы обеспечить устойчивую и значительную технологическую эволюцию.

Видеоигры предоставили нам огромный потребительский рынок. Миллионы игроков готовы платить за более плавную и яркую графику, что позволило нам стать крупнейшим производителем параллельных процессоров в мире. Огромные объемы поставок обеспечили нам постоянный и самоподдерживающийся источник финансирования для исследований и разработок, что позволило нам в последующие десятилетия продолжать развивать эту параллельную архитектуру до предельных физических границ.

Рискнуть всем ради создания CUDA: от вдохновения медицинской визуализацией до универсальной параллельной вычислительной платформы

Cleo Abram: К началу 2000-х годов некоторые проницательные ученые и разработчики начали замечать, что GPU можно использовать не только для рендеринга игровых текстур, но и для физического моделирования столкновений, а также для сложных научных вычислений, выполняемых внешними учеными. Но, насколько я понимаю, в то время это было крайне сложно, ученым приходилось маскировать матричные вычисления под треугольные пиксели или текстуры, обманывая видеокарты для выполнения расчетов. Затем вы приняли крайне смелое решение: выпустили платформу CUDA. Можете рассказать о контексте того времени?

Jensen Huang: Вы провели отличное исследование, это очень точно. Многие великие инновации часто рождаются в одной и той же сложной смеси: часть из них возникает из великих амбиций и вдохновения, другая часть — из чистой необходимости спастись в безвыходной ситуации.

Одним из первых случаев, когда внешние исследователи начали использовать наши GPU для универсального ускорения, была работа группы исследователей из Бостонской больницы общего профиля (Mass General). Они использовали наши игровые видеокарты для реконструкции изображений КТ, что дало нам огромное вдохновение.

В то же время внутри NVIDIA мы также столкнулись с проблемами: мы хотели, чтобы потоки воды в игровом мире двигались так же, как в реальном мире, чтобы тысячи осколков, возникающих при взрыве, соответствовали законам аэродинамики, а дым естественно распространялся. Это требовало от видеокарт выполнения параллельных симуляций физики частиц и гидродинамики, помимо обработки графики. Если бы аппаратная линия видеокарты была жестко закреплена в традиционном процессе компьютерной графики, всего этого было бы невозможно достичь.

Поэтому мы решили, что должны полностью разрушить ограничения специализированной графической линии и преобразовать ее в универсальную параллельную вычислительную архитектуру, создав унифицированную вычислительную архитектуру (CUDA). CUDA позволяет инженерам и ученым по всему миру писать код на знакомом им языке C, свободно задействуя тысячи вычислительных ядер GPU.

Cleo Abram: С сегодняшней точки зрения, создание CUDA — это крайне дальновидная ставка. В то время NVIDIA поставила все на карту, внедрив универсальную вычислительную логику во все поставляемые игровые видеокарты, что привело к значительному увеличению площади чипов, высоким затратам и давлению на маржу, и на протяжении более десяти лет мы подвергались жесткой критике и сомнениям со стороны Уолл-стрит.

Jensen Huang: Когда вы создаете совершенно новую разрушительную технологию, критики всегда говорят: «Если вы это создадите, люди могут не прийти». Но с точки зрения оптимистов, наша вера заключалась в том, что: «Но если вы этого не построите, у людей никогда не будет шанса прийти».

Мы прекрасно понимали огромный физический потенциал этой технологии и были уверены, что благодаря огромному рынку потребительских видеокарт GeForce мы сможем внедрить эту передовую параллельную вычислительную архитектуру на столах каждого гика и исследователя по всему миру. Именно эта основанная на рациональной надежде уверенность поддерживала нас в течение долгих и одиноких лет.

Момент озарения AlexNet в 2012 году: реконструкция 65-летней современной вычислительной системы

Cleo Abram: Затем пришел 2012 год, который стал знаковым событием в истории технологий: конкурс по распознаванию изображений ImageNet. Алекс Кризжевский, Илья Сутскевер и их наставник Джеффри Хинтон представили глубокую нейронную сеть под названием AlexNet, которая буквально смела все традиционные алгоритмы компьютерного зрения, значительно снизив уровень ошибок. Они использовали две потребительские видеокарты GeForce GTX 580 для обучения этой эпохальной модели. Какова была ваша первая реакция, когда вы увидели этот результат внутри NVIDIA?

Jensen Huang: Это был момент, который кардинально изменил ход мировой истории. В то время одна из команд по разработке компьютерного зрения внутри NVIDIA пыталась решить проблему распознавания изображений с помощью традиционных библиотек алгоритмов и столкнулась с огромными препятствиями и неудачами. Когда AlexNet появился на свет, мы не только были потрясены, но и испытали сильный резонанс: этот новый алгоритм полностью отверг старый путь написания правил вручную и полностью полагался на огромные объемы данных для самостоятельного обучения весов, достигнув беспрецедентного скачка в своих возможностях.

Мы сразу же сделали шаг назад и задали себе самый основной вопрос: «Если такая архитектура глубокого обучения может продемонстрировать такой ужасный потенциал масштабирования в области компьютерного зрения, то каковы ее пределы? Если ее можно бесконечно масштабировать, что это будет означать для всей компьютерной индустрии и базовой архитектуры программного и аппаратного обеспечения?»

Мы тогда сделали крайне важный вывод: парадигма разработки программного обеспечения претерпевает качественный сдвиг. С момента создания набора инструкций для современных универсальных компьютеров IBM System/360 в 1964 году, на протяжении 65 лет человечество сообщало компьютерам, что делать, шаг за шагом точно прописывая инструкции; а восход глубокого обучения знаменует собой переход компьютеров к самостоятельному обучению закономерностям на основе огромных объемов данных.

Поскольку суть программного обеспечения изменилась, аппаратное обеспечение, поддерживающее программное обеспечение, и вся система должны быть полностью пересмотрены. Мы немедленно приняли решение полностью сосредоточиться на AI, заново спроектировав весь вычислительный стек, начиная с архитектуры чипов, межсоединительных шин, сетевой связи, библиотек алгоритмов и заканчивая распределенными системами. Позже системы суперкомпьютеров DGX стали результатом этого озарения.

Почему именно сейчас: универсальный переводчик, охватывающий все модальности данных

Cleo Abram: Почему только в последние годы общественность вдруг ощутила взрыв AI? Каков был основной технологический скачок, стоящий за этим?

Jensen Huang: Потому что за последние десять лет в области компьютерных наук были преодолены один за другим жесткие вызовы. Сначала была полностью решена проблема компьютерного зрения, затем распознавание речи достигло уровня супермена, а затем понимание естественного языка сделало качественный скачок.

Но настоящий толчок к качественным изменениям был дан зрелостью архитектуры Transformer и генеративного AI. Ранее большинство AI-моделей были одноразовыми классификаторами задач, например, определяли, есть ли на изображении кошка; а теперь генеративный AI представляет собой универсальную «систему межмодального перевода».

Он может понимать текст и переводить его в другой текст, например, подводить итоги абзаца или переводить на другие языки; он также может переводить текст в изображения, изображения в 3D-объекты, а данные с датчиков в углы поворота механических рук. Он может свободно перемещаться между различными представлениями цифрового и физического мира, и именно поэтому сегодняшний AI кажется всемогущим.

Физический AI и модели мира: Cosmos наделяет здравым смыслом, Omniverse фиксирует физические законы

Cleo Abram: Далее я хочу углубиться в одно из самых важных изменений, которое происходит: переход от цифрового мира слов и изображений к физическому миру воплощенного интеллекта и робототехники. Ранее, чтобы обучить роботов, нам приходилось ставить машины в реальные мастерские и шаг за шагом обучать их, или заставлять людей в костюмах захвата движений собирать крайне ограниченные данные, что приводило к быстрому износу и даже поломке машин, а сбор данных был крайне дорогим и медленным. Теперь мы начали обучать роботов в виртуальном мире. NVIDIA представила Cosmos и Omniverse, как вы решаете проблемы обучения роботов в виртуальном мире?

Jensen Huang: Лучший ориентир для понимания физического AI — это путь развития языковых моделей, таких как ChatGPT.

Когда ChatGPT только появился, хотя он и произвел впечатление, у него был один фатальный недостаток: галлюцинации. Если он продолжает говорить долго или обсуждает незнакомые области, он может говорить ерунду, потому что его выводы не привязаны к фактической истине (Ground Truth). Позже в индустрии была введена технология улучшения контекстного поиска (RAG), когда вы предоставляете модели авторитетный PDF-документ или подключаетесь к интернету для поиска в реальном времени, этот PDF и результаты поиска становятся базовыми фактами для модели, и выводы модели получают надежную опору.

Теперь мы проецируем ту же логику на физический мир. Чтобы робот мог свободно действовать в реальном мире, ему сначала нужна базовая модель, обладающая физическим здравым смыслом. Что такое физический здравый смысл? Он должен понимать, что на Земле есть гравитация, у объектов есть инерция и трение; он должен обладать геометрическими и пространственными способностями; он должен понимать постоянство объектов, то есть когда я отворачиваюсь и снова поворачиваюсь, чашка на столе все еще там; он должен понимать причинно-следственную логику, то есть если я опрокину чашку, вода выльется.

Чтобы внедрить этот здравый смысл в AI, мы создали Cosmos, это базовая языковая модель физического мира, специально закодированная для универсальных законов физического мира.

Но одного Cosmos недостаточно, мы должны предоставить ему «абсолютную физическую реальность», так же как мы предоставляем ChatGPT авторитетный PDF. Эта основа — Omniverse. Omniverse не является обычным игровым движком, а представляет собой строгое физическое симуляционное систему, которая основывается на первых принципах, а ее математическая модель основана на строгих решателях Ньютона, гидродинамики и электромагнетизма.

Объединив модель мира Cosmos с физическим симуляционным движком Omniverse, мы можем создавать в цифровом пространстве бесконечные и абсолютно соответствующие физическим законам виртуальные среды и экстренные ситуации: резкие изменения освещения, скользкие поверхности, препятствия, механические сбои. Роботы могут пройти экстремальное обучение, которое в реальном мире заняло бы десятилетия, всего за несколько часов, а затем их модели можно развернуть на реальных роботах.

Видение на следующие десять лет: все будут иметь роботов, каждый будет иметь своего собственного R2-D2

Cleo Abram: Следуя этой логике, каким будет физический мир через десять лет? Как обычные люди будут взаимодействовать с этими физическими ИИ?

Jensen Huang: Все движущиеся объекты в будущем будут обладать роботизированными способностями, и этот день наступит быстрее, чем большинство людей ожидает.

В будущем люди все еще будут выходить на улицу под палящим солнцем, толкая газонокосилку, что сегодня кажется несколько абсурдным. Каждая машина будущего будет полностью автономным роботом; гуманоидные роботы также войдут в фабрики и дома. Все эти роботы будут завершать свое обучение в цифровом мире, созданном Omniverse и Cosmos, а затем войдут в физическую реальность.

Меня особенно радует то, что каждый будет иметь своего собственного цифрового спутника на всю жизнь, как R2-D2 из Звездных войн. Это не обязательно будет круглый металлический бочонок; он может существовать в ваших смарт-очках, вашем смартфоне, вашем рабочем компьютере или сидеть в вашей машине, пока вы не вернетесь домой, и затем в какой-то момент встретит вас в форме физического робота.

Этот личный R2-D2 будет сопровождать вас на протяжении всей жизни, расти вместе с вашим опытом, глубоко понимать ваши радости и печали, привычки и стиль работы, становясь вашим самым мощным расширением для восприятия и преобразования мира.

Дебаты о философии архитектуры: почему нельзя напрямую интегрировать Transformer в чипы?

Cleo Abram: Готовясь к этому интервью, я глубоко обсуждала с многими инженерами, и они настоятельно попросили меня задать вам этот вопрос: с тем, что архитектура Transformer стала основой для большинства современных крупных моделей, многие компании по производству чипов начали пытаться создать специализированные чипы (ASIC), полностью адаптированные под Transformer. Специализация, безусловно, может обеспечить максимальную эффективность в конкретных задачах, но при этом теряется универсальная гибкость. Как NVIDIA балансирует между специализированной оптимизацией и универсальной архитектурой? Как вы делаете такие важные технологические ставки, которые могут стоить миллиардов долларов?

Jensen Huang: Это касается нашего основного убеждения: верите ли вы, что Transformer — это последний алгоритм архитектуры ИИ, который могут открыть исследователи?

Если ваш ответ положительный, то вы, конечно, можете зафиксировать все математические операции Transformer непосредственно в физических схемах на кремниевой пластине; но наше основное убеждение заключается в том, что Transformer — это не конечная точка, это всего лишь ступенька на пути к более продвинутым ИИ. Следующее поколение передовых архитектур через несколько лет, вероятно, будет совершенно не похоже на Transformer.

Оглядываясь на историю компьютерных алгоритмов и инноваций, можно ли найти какую-либо блестящую идею, которая могла бы навсегда доминировать? Ответ: никогда. Суть компьютеров в том, что сегодня они могут выполнять удивительные программы, о которых никто и не мечтал десять лет назад. Если бы вы десять лет назад полностью зафиксировали тогдашние чипы как однозначно функциональное оборудование, компьютеры бы деградировали до уровня микроволновых печей, и вся экосистема приложений прекратила бы свое существование.

Возьмем, к примеру, основный механизм внимания (Attention Mechanism) Transformer: его первоначальная цель — вычислить степень связи каждого слова со всеми другими словами в контексте. Когда текст состоит из 10 слов, вычисления не вызывают проблем; но когда контекстное окно расширяется до десятков тысяч слов и миллионов токенов, вычислительные затраты взрываются в квадратной прогрессии, что невозможно реализовать на физическом оборудовании. Чтобы решить эту проблему, за последние несколько лет появились новые математические алгоритмы, такие как FlashAttention, иерархическое внимание (Hierarchical Attention) и волновое внимание.

Компьютерные науки не имеют конца, исследователи ИИ не прекращают свои поиски, и NVIDIA не откажется от этого. Наша самая важная миссия — создавать высоко программируемые ускоренные вычислительные системы, позволяя самым умным алгоритмическим ученым в мире свободно исследовать этот океан вычислительной мощности и открывать великие алгоритмы, неизвестные человечеству.

Пределы производства чипов и физические вызовы: от упаковки кристаллов до экстремальной энергоэффективности

Cleo Abram: Современные ведущие чипы приближаются к физическим пределам. Вы проектируете чипы, а такие партнеры, как TSMC, отвечают за их фотолитографическое производство на физическом масштабе в несколько нанометров. Как NVIDIA рассматривает проектирование в условиях замедления закона Мура и пределов потребления энергии?

Jensen Huang: Традиционный закон Мура и закон масштабирования Деннарда (Dennard Scaling) физически практически подошли к концу. Эпоха, когда мы могли просто полагаться на уменьшение размеров транзисторов для бесплатного увеличения вычислительной мощности и снижения потребления энергии, ушла в прошлое.

Вот почему мы должны полностью перейти от «мышления чипов» к «мышлению дата-центров». Оптический предел размера одной пластины (Reticle Limit) фиксирован; чтобы преодолеть физические пределы одного чипа, мы используем упаковку с двойной пластиной (CoWoS), сверхвысокоскоростные межчиповые соединения (NVLink) и высокоплотную память с высокой пропускной способностью на кристалле (HBM).

Что более важно, параллельные ускоренные вычисления подчиняются совершенно другим физическим законам. Передача сложной задачи на обработку тысячам эффективных ядер параллельно, по сравнению с тем, чтобы заставить несколько высокочастотных универсальных ядер CPU справляться с ней, может повысить эффективность использования энергии в десятки и даже сотни раз. Оптимизируя алгоритмы, чипы, сети и системы на уровне координации, мы открыли новый путь для продолжения экспоненциального роста вычислительной мощности в эпоху после закона Мура.

Следующая большая ставка: физический ИИ, цифровая биология и моделирование микроклимата

Cleo Abram: Оглядываясь назад, каждая крупная ставка NVIDIA на GPU, CUDA, глубокое обучение и автономное вождение практически была подтверждена временем. Какие еще крупные ставки вы планируете, помимо упомянутых роботов?

Jensen Huang: Помимо физического ИИ и аппаратных и программных инструментов для гуманоидных роботов, меня очень волнует область цифровой биологии (Digital Biology).

Ранее компьютеры понимали искусственный код, состоящий из 0 и 1, сейчас ИИ понимает человеческий естественный язык; а суть биологии заключается в сложном языке взаимодействия молекул, аминокислот, белков и живых клеток. Так же, как мы используем физические модели для понимания реального мира, если мы сможем глубоко анализировать и предсказывать язык взаимодействия биомолекул с помощью ИИ, мы сможем создать цифровую двойник человеческого тела. Это означает, что открытие новых лекарств, генотерапия и исследование механизмов заболеваний перейдут от традиционного метода проб и ошибок к высокоточным наукам, которые можно быстро моделировать и итеративно улучшать на компьютере.

Еще одна область, которой я горжусь, — это климатическая наука. С помощью технологий цифровых двойников мы создаем системы прогнозирования регионального климата и экстремальных погодных условий с очень высоким разрешением, способные точно моделировать микрометеорологические изменения в пределах одного километра над вашей головой.

Научные инструменты по своей сути являются «машинами времени», изобретенными человечеством. Ученые прилагают все усилия, чтобы предсказать будущее, чтобы заранее увидеть траекторию его развития и, таким образом, сделать оптимальные проекты и вмешательства в настоящем, создавая лучшие версии будущего.

Нейронная рендеринг и персональные суперкомпьютеры: скачок производительности с RTX 50 и DGX

Cleo Abram: На только что прошедшей выставке потребительской электроники вы представили новейшие видеокарты GeForce RTX 50 и новое поколение систем DGX. Что это означает для обычных создателей контента и разработчиков?

Jensen Huang: За этим стоит крайне увлекательный технологический цикл: изначально видеокарты GeForce породили современный ИИ, помогая Алексу Крижевскому и Джеффри Хинтону обучить AlexNet; а сегодня мощный и зрелый ИИ возвращается к видеокартам GeForce, полностью переворачивая основы логики графической рендеринга.

В последних видеокартах серии RTX 50, демонстрирующих 4K разрешение (всего около 8 миллионов пикселей), наша физическая трассировка лучей на самом деле интенсивно вычисляла только 500 тысяч пикселей, остальные 7,5 миллионов пикселей были идеально дополнены нейронной сетью на основе этих 500 тысяч высококачественных эталонов в реальном времени.

Это конечная метафора того, как ИИ усиливает человеческую производительность: человеческая энергия, внимание и физическая сила крайне ценны и ограничены. Если мы будем пытаться справиться с каждой деталью, наш выход будет крайне ограничен; но если воспользоваться обобщающей и выводящей способностью ИИ, человеку нужно сосредоточиться только на самых важных и ценных «500 тысячах пикселей», а ИИ сможет помочь нам дополнить все остальное, позволяя человечеству проявить сверхчеловеческую креативность.

В то же время в 2016 году мы передали OpenAI первый в мире суперкомпьютер DGX, который лично принял Илон Маск. В то время суперкомпьютеры были огромными и стоили 250 тысяч долларов, и только несколько ведущих лабораторий могли их иметь; а сейчас мы уменьшили его до примерно 3000 долларов за персональную AI суперрабочую станцию, которую можно разместить прямо на столе студента или инженера. Это означает, что каждый обычный студент и независимый разработчик теперь имеет свой собственный суперкомпьютер, который может тренировать свои собственные модели ИИ и робота R2-D2 в своей комнате.

Советы молодым людям и передача жизненного опыта: искусство Prompting и его исключительное влияние на эпоху

Cleo Abram: Какие советы вы считаете крайне важными для студентов, молодежи и всех, кто хочет что-то сделать в этой эпохе, но которые я еще не задал?

Jensen Huang: Я считаю, что один из самых важных советов: если бы я сейчас был студентом, первое, что я бы сделал, это полностью погрузился в изучение ИИ.

Как научиться взаимодействовать с ChatGPT? Как научиться взаимодействовать с Gemini Pro? И как научиться взаимодействовать с Grok? Изучение того, как взаимодействовать с ИИ, по сути, означает стать человеком, который очень хорошо задает вопросы. Например, вы очень хорошо задаете вопросы, и написание подсказок для ИИ (Prompting) очень похоже на это. Вы не можете просто задавать случайные вопросы; чтобы ИИ стал вашим надежным помощником, нужно овладеть искусством и техникой написания подсказок.

Поэтому, если бы я сегодня был студентом, независимо от того, изучаю ли я математику, науку, химию или биологию, независимо от того, в какую научную область я собираюсь войти и какую профессию выбрать, я бы задавал себе вопрос: как я могу использовать ИИ, чтобы сделать свою работу лучше?

Если я хочу стать юристом, как я могу использовать ИИ, чтобы стать лучшим юристом? Если я хочу стать врачом, как я могу использовать ИИ, чтобы стать лучшим врачом? Если я хочу стать химиком, как я могу использовать ИИ, чтобы стать лучшим химиком? Если я хочу стать биологом, как я могу использовать ИИ, чтобы стать лучшим биологом? Этот вопрос должен проходить через размышления каждого человека.

Как и в ту эпоху, когда я рос, мы были первым поколением, которому пришлось столкнуться с этой мыслью: как использовать компьютер для улучшения работы. У предыдущего поколения вообще не было компьютеров; помните, когда я начинал, даже не было Windows 95, это был 1984 год, в офисе не было ни одного компьютера. Вскоре компьютеры стали повсеместными, и мы должны были задать себе вопрос, как использовать компьютеры для выполнения работы. Следующее поколение уже не должно задавать этот вопрос, но, очевидно, им придется столкнуться с следующим: как мне использовать ИИ для улучшения работы? Это и есть начало и конец всего.

ИИ полностью снизил порог понимания, порог знаний и порог доступа к интеллекту. Раньше, если поставить компьютер перед человеком, который никогда его не использовал, он никогда не смог бы научиться им пользоваться за один день, нужно было, чтобы кто-то учил его шаг за шагом; а с ChatGPT, если вы не знаете, как его использовать, вам просто нужно ввести: «Я не знаю, как использовать ChatGPT, научите меня», и он сразу же ответит вам и приведет примеры. Прекрасно в интеллекте то, что он будет помогать вам на протяжении всего процесса, делая вас сильнее.

Клео Абрам: Хорошо, если у вас еще есть время, у меня есть последний вопрос. Это не то, что я изначально планировала спросить, но по дороге сюда я немного боялась летать, что действительно не очень разумно. Во время полета самолет немного трясло, очень сильно трясло. Я сидела в сильно качающемся салоне и не могла не думать о том, что люди скажут на моих похоронах.

Дженсен Хуанг: «Она всегда задавала хорошие вопросы!» Это точно будет написано на вашем надгробии.

Клео Абрам: Надеюсь, так и будет! Да. Кроме «глубоко любящей мужа, друзей и семью», я надеюсь, что люди будут говорить о моем «оптимизме», я надеюсь, что все поймут цель, к которой я стремилась. Мне очень любопытно, вы проработали в этой отрасли столько лет, описывая столь грандиозное видение вперед. Какую тему вы хотели бы, чтобы люди использовали для оценки вашего труда?

Дженсен Хуанг: Очень просто: «Они создали необычайное влияние (They made an extraordinary impact).»

Я считаю, что нам повезло, потому что мы давно установили некоторые основные убеждения и всегда придерживались их, на основе которых мы постоянно строим, что сделало нас одной из самых важных и влиятельных технологических компаний в мире, возможно, за всю историю.

Поэтому мы очень серьезно относимся к этой ответственности. Мы прилагаем все усилия, чтобы обеспечить, что наши возможности могут быть использованы не только крупными компаниями, но и независимыми исследователями и разработчиками в различных научных областях, независимо от того, являются ли они прибыльными, какого размера или известны ли они. Именно потому, что мы глубоко понимаем значимость нашей работы и ее потенциальное глубокое влияние на множество людей, мы стремимся распространить эти возможности как можно шире.

Я твердо верю, что когда мы оглянемся через несколько лет, я очень надеюсь, что следующее поколение сможет увидеть: во-первых, они узнают нас благодаря технологиям игр, которые мы создали; но я уверен, что, оглядываясь назад, область цифровой биологии и наук о жизни будет полностью преобразована, наше понимание материаловедения будет полностью перевернуто, роботы будут помогать людям выполнять опасные и трудоемкие задачи в различных областях. Когда мы захотим водить машину, мы сможем водить сами, а когда не захотим, можем немного отдохнуть или превратить машину в домашний кинотеатр, спокойно читать по дороге на работу и с работы. В то время вы даже будете надеяться, что живете подальше, чтобы наслаждаться этим временем в машине немного дольше.

Когда вы оглянетесь и увидите, что есть компания, которая почти находится в центре всех этих изменений, и это именно та компания, с которой вы росли, играя в игры. Я надеюсь, что именно это следующее поколение узнает о NVIDIA.

Клео Абрам: Большое спасибо за ваше драгоценное время, это было очень приятное общение.

Дженсен Хуанг: Спасибо, мне тоже было приятно.