Президент OpenAI: Astra — это первая "модель, обученная на 100 000 GPU", преодолевшая "порог применения"

Автор: Уолл-стрит Джиенвэнь

Президент OpenAI Грег Брокман в преддверии выпуска Astra дал глубокое интервью, впервые раскрыв, что эта новая модель является первой в истории OpenAI, которая была обучена на более чем 100 000 GPU, и прямо заявил, что ИИ преодолел порог применения "использования компьютера" ------это означает, что ИИ больше не зависит от API-коннекторов, а может управлять любым программным обеспечением, как человек.

В пятницу по местному времени аналитический сайт в области технологий Stratechery опубликовал статью с глубоким интервью с президентом и соучредителем OpenAI Грегом Брокманом, которое было записано перед официальным выпуском Astra. Это было самое подробное публичное выражение Брокмана по поводу Astra и последних стратегий OpenAI.
Уолл-стрит Джиенвэнь обобщает ключевые моменты интервью:

1. Astra — это первая модель OpenAI, обученная на более чем 100 000 GPU, что представляет собой значительный прорыв на инженерном уровне.

2. Astra преодолела ключевой порог в способности "использования компьютера" и может служить "универсальным коннектором", больше не полагаясь на отдельные API интерфейсы от различных программ.

3. Брокман заявил, что в эпоху AGI безопасность, согласование и возможности должны развиваться параллельно как равнозначные "требования", а не в ущерб друг другу.

4. OpenAI направила Astra на поиск уязвимостей в своей системе и их исправление, что является значительным изменением в культуре безопасности.

5. В связи с инцидентом безопасности Hugging Face Брокман признал, что механизм песочницы имеет недостатки, и ИИ нашел креативный путь "взлома".

6. Брокман считает, что OpenAI уже преодолела порог "эпохи AGI" и, возможно, достигнет общепринятых стандартов AGI с Astra или следующей моделью.

7. В стратегии чипов OpenAI разрабатывает собственные чипы Jalapeño и использует AI для помощи в проектировании, одновременно поддерживая глубокое партнерство с NVIDIA.

8. Он считает, что с увеличением возможностей ИИ ранее тщательно построенные "навыковые каркасы" постепенно становятся ограничениями, что является важным открытием в процессе разработки Astra.

"Первый раз обучение на 100 000 GPU": Значение масштаба Astra

"Это наш первый раз, когда мы проводим обучение на более чем 100 000 GPU. Эта цифра легко произносится, но вам нужно представить этот масштаб ------ эти дата-центры в некотором смысле являются гигантскими машинами, которые мы построили для продвижения технологий ИИ, способными управлять такой мощностью, что само по себе является настоящим инженерным достижением," сказал Брокман в интервью.

Он подчеркнул, что значительное расширение вычислительной мощности используется не только для повышения возможностей модели, "значительная часть вычислительных ресурсов была направлена на безопасность и согласование, и вокруг этого развернуто множество инженерных работ. Это наша модель с наивысшим уровнем согласования на сегодняшний день ------ и именно из-за такой мощи согласование и безопасность становятся более важными, чем когда-либо."

"Использование компьютера" преодолевает порог: ИИ становится "универсальным коннектором"

Брокман определил самый Ядро прорыв Astra в "использовании компьютера".

"В последние два года мы находились в "эпохе коннекторов" ------ у вас есть некоторое программное обеспечение, которое люди могут использовать нормально, но ИИ не имеет доступа. Поэтому вам нужно было писать специальный коннектор для каждого программного обеспечения, чтобы подключиться к его API; а у многих программ вообще нет API, что полностью выходит за пределы возможностей ИИ." Он сказал: "Теперь у нас есть почти "универсальный коннектор". ИИ перестал быть строго ограниченным в помощи вам и стал почти способен управлять чем угодно."

Он далее описал, как это изменение влияет на внутренние рабочие процессы OpenAI: "Это уже меняет то, как люди работают внутри OpenAI, я думаю, это действительно улучшит работу многих компаний и многих людей."

Стоит отметить, что Брокман также признал, что преодоление этого порога не является конечной точкой: "Это не означает, что все проблемы решены. Вам нужно подумать о том, как установить корпоративные барьеры для этих ИИ, как обеспечить надлежащий надзор, управление, отслеживание и наблюдаемость ------ все это мы продолжаем развивать."

"Мы сейчас находимся в эпохе AGI"

Брокман сделал довольно смелое утверждение в интервью:

"Я думаю, возможно, это была предыдущая модель, возможно, Astra, возможно, следующая модель, но на каком-то этапе мы преодолеем порог AGI для большинства людей. …… В некотором смысле, я бы сказал, что мы уже находимся в эпохе AGI."

Он объяснил, что на текущем этапе согласование, безопасность и возможности должны развиваться как параллельные требования, "эти аспекты становятся узким местом в разработке, и именно к этому мы всегда готовились."

Старые "навыки" становятся обузой: ИИ настолько силен, что правила требуют сокращения

Один из шокирующих деталей интервью пришел из реального процесса обучения Astra. Брокман раскрыл, что OpenAI потратила много усилий на написание норм поведения для модели, которые теперь наоборот мешают:

"Мы обнаружили, что некоторые навыки, которые мы усердно строили в этом году ------ чтобы показать модели правильный способ работы внутри OpenAI ------ на самом деле являются чистым бременем (net negative) для ее производительности. Она может обобщать лучше, чем мы написали, находя лучшие способы обработки, чем мы прописали. Как тренажеры, они полезны в начале, но как только она начинает двигаться быстрее и становится более способной, они становятся препятствием."

"1 миллиард пользователей — это инвестиция": Слияние потребителей и бизнеса

Брокман прямо ответил на существующий на рынке вопрос: ChatGPT имеет 1 миллиард пользователей, но не является ли это отвлекающим фактором?

"В США примерно треть населения использует ChatGPT каждую неделю." Он сказал: "Это уникально, для таких передовых технологий нет никаких других продуктов, которые можно было бы сравнить."

Он охарактеризовал этих 1 миллиард пользователей как "инвестицию": "Это настоящая инвестиция, которая накопит ценность в способах разблокировки будущих моделей."

В то же время он также признал существующие проблемы: "Вызов чата как продукта заключается в том, что он не обязательно напрямую соответствует более умным моделям ------ если вы просто рассматриваете его как замену поисковой системе, вы не сможете по-настоящему ощутить преимущества." Он считает, что будущее заключается в объединении потребительских и бизнес-сценариев, создании единой системы AGI, "мы не хотим делать две вещи, мы хотим сделать одну вещь ------ построить AGI, одну систему, один унифицированный технологический стек."

Он также особо подчеркнул развертывание в области здравоохранения: "Каждую неделю 300 миллионов человек используют ChatGPT для медицинских запросов, 300 миллионов, это огромная цифра."

ИИ самопроверяет уязвимости: направляет Astra на свои системы

В вопросах кибербезопасности Брокман раскрыл интересную внутреннюю практику: OpenAI направила Astra на поиск уязвимостей в своей системе.

"Мы вызвали Astra, направив ее на нашу собственную систему для поиска уязвимостей ------ не просто читая код, а действительно рассматривая, как эти системы работают от начала до конца, чтобы найти реальные, проверенные уязвимости, а затем помочь нам завершить работу по исправлению и патчам." Он сказал.

Он также признал, что в связи с инцидентом безопасности Hugging Face действия OpenAI в период окна защиты действительно были недостаточно своевременными, "Я думаю, что сейчас явно пришло время, возможно, несколько месяцев назад тоже было время, но тогда возможности модели были гораздо слабее."

Отношения с NVIDIA: собственная разработка чипов — это "умножение", а не замена

На уровне конкурентоспособности в цепочке создания стоимости Брокман высказался о связи OpenAI с собственными чипами Jalapeño и NVIDIA, четко отрицая логику замены:

"NVIDIA является нашим предпочтительным партнером по вычислениям, и это не изменится. На самом деле, наше сотрудничество с ними углубляется. …… Знания, которые мы получаем от нашего собственного проекта чипов, для меня являются эффектом умножения, а не замены, и я думаю, что это полезно для всех."

Он также раскрыл интересный эпизод с помощью ИИ в проектировании чипов: в последний месяц перед сроком выполнения Jalapeño команда просто позволила ИИ выполнять оптимизацию, "Мы сказали, пусть он работает, не вникая в то, что он делает. Позже мы вернулись и прочитали, и обнаружили, что он нашел множество оптимизаций, которые были в нашем списке, но которые мы никогда не реализовали бы сами ------ это действительно крутая история."

Ниже приведен полный текст интервью (с помощью ИИ переведен)

Грег Брокман, добро пожаловать в Stratechery.
ГБ (Грег Брокман): Спасибо за приглашение. Рад быть здесь.
Очевидно, у нас много новостей, о которых стоит поговорить, но поскольку это наш первый разговор, я не хочу упустить вопрос биографии Stratechery, который я обычно задаю всем. Я действительно хочу спросить — вы определяете Северную Дакоту как часть Среднего Запада?
ГБ: Да, я думаю, что да.
Ну что ж, как человек из Среднего Запада, я, конечно, хочу уделить немного времени этому региону. Вы учились в Бостоне, как говорится, но прежде чем мы поговорим об этом — у вас уже была потрясающая биография до учебы, например, участие в Международной олимпиаде, но это было в области химии. Как вы начали заниматься компьютерами, или компьютеры всегда были частью вашей жизни?
ГБ: Ну, компьютеры всегда были частью моего фона, когда я рос. Мне нравилось играть в компьютерные игры, но я также был очень заинтересован в математике и науке. На самом деле, вплоть до девятого класса я думал, что могу стать актером — мне очень нравилось выступать, и я немного увлекался философией.
Какой поворот! Я совершенно не знал этого, но я собираюсь выяснить связь между тем, что вы делаете сейчас, и актерством, но давайте продолжим.
ГБ: Ну, в девятом классе я чувствовал, что был звездой или главным героем в одном или двух спектаклях в средней и старшей школе. Я тогда думал, что хочу удвоить свои усилия в чем-то, и чувствовал, что могу стать лучшим в какой-то области и действительно попытаться продвинуть эту область вперед. Я чувствовал, что мне нужно выбрать либо более интеллектуальный, жесткий научный подход, либо путь искусства, выступлений и креативности. В конечном итоге я выбрал направление жестких наук, потому что чувствовал, что это может быть областью, в которой я смогу максимально изменить мир.
Почему вы считаете, что этот путь может максимально изменить мир?
ГБ: Я думаю, для меня это ощущение таково — мне нравится в выступлениях то, что это командная работа. Мне нравится импровизация, когда вы просто креативно думаете о вещах, сталкиваетесь с идеями, но это также требует от вас быть частью команды, которая должна работать очень хорошо вместе, и это не всегда гарантировано. Это трудно осуществить и найти. Мне больше нравится в интеллектуальном подходе то, что это похоже на оттачивание собственных навыков. Но я действительно усвоил одну вещь: даже если вы очень хороши в написании кода, этого недостаточно. На самом деле, это также связано с привлечением отличной команды, и я думаю, что это часть моей карьеры — действительно помогать строить и формировать среду и культуру, которые могут обеспечить выдающиеся результаты.
Есть интересный момент, здесь есть аспект, что среда также формирует некоторые из этих вещей. Вы упомянули, что всегда были главным героем в спектаклях и фильмах. Я понял это, когда мои дети проходили этот этап — моя дочь какое-то время очень любила мюзиклы — конкуренция за главную роль очень жесткая, и обычно, если есть один способный мужчина, который готов добровольно участвовать, он получает эту роль каждый раз. Конкуренция за главную роль жесткая, или вы просто уникальны?
ГБ: (смеется) Я думаю, это может объяснить. Но я расскажу вам историю.
А как насчет обратного? Точно так же, в Северной Дакоте, не так много людей, которые особенно углубляются в жесткие науки, так что с этой точки зрения это тоже может показаться более редким?
ГБ: Ну, я расскажу вам две истории. Первая касается выступлений. Моя первая оплачиваемая работа была связана с выступлением. Группа Mannheim Steamroller приехала в Гранд-Форкс, Северная Дакота. Вы слышали о Mannheim Steamroller?
Я слышал. Да, конечно.
ГБ: Они тогда собирались провести концерт и нуждались в статистах. Им нужно было несколько человек, чтобы переодеться в солдатиков из олова и ходить туда-сюда, потому что это был рождественский концерт. Я пришел на прослушивание, и тогда я был худощавым девятиклассником, а там были только высокие студенты.
Им сказали: "Хорошо, все, идите в том направлении", а затем кастинг-директор будет обсуждать мнения, после чего у вас будет время на отдых, и потом они скажут: "Хорошо, идите в другом направлении". Я заметил, что во время перерыва все эти студенты общались друг с другом, болтали, а я думал о том, что у этой работы есть одно требование — оставаться сосредоточенным на протяжении шести часов концерта, ходя туда-сюда. Поэтому во время перерыва я просто стоял там, сосредоточенный, полностью погруженный в роль. В конце концов, они сказали: "Хорошо, мы выбираем этого человека, этого человека, этого человека. Остальные могут уходить". Я не был выбран.
Но на обратном пути они сказали: "На самом деле, мы думаем, что вы потрясающи. Нам очень понравилось, как вы увлечены этим, поэтому мы создадим для вас новую роль". Так я получил роль пряничного человечка, и они дали мне полный костюм. Это была моя первая работа. Так что это немного похоже на попытку выйти за рамки обычного мышления, чтобы выполнить задачу — не всегда просто принимать какую-то роль, а пытаться найти креативные способы ее получить.
Но я думаю, что действительно замечательной частью того, что я вырос в Северной Дакоте, было то, что у меня была возможность стать лучшим в разных областях, на которые я сосредоточился. У меня были хорошие оценки по математике. С десятого класса я начал брать много курсов в Университете Северной Дакоты. Я активно участвовал в математических конкурсах, затем я участвовал в национальных конкурсах, ездил в национальные математические лагеря, где встречал лучших людей со всей страны. Эти люди были потрясающими, на самом деле, одной из моих настоящих привилегий было то, что многие из тех, кого я очень уважал в математическом лагере, сейчас работают в OpenAI. Так что у меня была возможность увидеть их в этой новой области с новой точки зрения.
Потрясающе.
ГБ: Но это также означает, что я мог действительно спланировать свой путь. Я начал заниматься математическими исследованиями, и я знал, что если бы я пошел в некоторые из тех сильных старших школ или в более конкурентоспособные штаты, я думаю, я бы не выделился. Мне пришлось бы следовать стандартному пути. Так что именно благодаря этому региону я смог исследовать свои интересы и действительно идти своим путем.
Так что, когда люди говорят, что учатся в Бостоне, обычно имеют в виду Гарвард, это было вашим началом. Затем вы перешли в MIT. А потом в какой-то момент вы начали работать в Stripe. Каков был порядок? Когда вы познакомились с братьями Коллисон? Что произошло в Бостоне?
ГБ: Ну, после окончания средней школы я взял годичный перерыв, на самом деле я начал писать учебник по химии, потому что в старшей школе я был очень увлечен химией, участвовал в химических конкурсах и предложил уникальный способ мышления. Очень основанный на первых принципах, очень математизированный, а не запоминание. Я хотел преподавать этот метод, хотел его популяризировать. Так что я на самом деле написал 100 страниц. Сейчас он есть на моем сайте. Я еще не закончил. Я всегда собирался вернуться и продолжить писать.
Это как проект на пенсии, мне это нравится.
ГБ: Верно. Ну, тогда я думал, как бы мне опубликовать эту книгу, поэтому я спросил друга, который делал что-то подобное в математике, он сказал: "Ну, у тебя нет докторской степени, поэтому никто не будет ее публиковать. Так что либо ты сам издаешь" — я тогда подумал, о, это много работы, и это дорого — "либо ты можешь создать сайт, чтобы продвигать свои идеи". Я сказал: "Я думаю, мне нужно научиться программировать". Так что я пошел на W3Schools. Ты помнишь W3Schools? Ты видел этот сайт?
Нет, я думаю, я его не видел.
ГБ: Ну, это классический сайт — у них есть учебники по HTML, JavaScript, CSS, PHP. Я прочитал все, а затем подумал: "Мне стоит это протестировать". Я помню, я создал первый маленький виджет: вы можете щелкнуть по столбцу таблицы, и он будет сортировать строки соответственно. Это было самое крутое ощущение в мире. Я думал об этом, и теперь это существует в этом мире, и любой может извлечь из этого пользу. Им не нужно понимать детали, это просто работает.
Я помню, что моя первая программа с пользователями на самом деле была конкурентной игрой с чат-ботом, и однажды я получил 1500 кликов от StumbleUpon. Это было потрясающе, 1500 человек играли в мою игру, надеюсь, им было весело, и они были достаточно вовлечены, чтобы играть в нее. Я тогда подумал: "Вот что я хочу, я хочу помогать другим, я хочу создавать для них ценность и приносить им пользу".
Так что, с такими мыслями я поступил в Гарвард, и это действительно изменило мой взгляд. Я думал, что буду следовать своим более эклектичным интересам, но в итоге я подумал: "Я просто хочу строить вещи". На первом курсе в Гарварде я присоединился к компьютерному клубу, где два старшекурсника всегда проводили запутанные технические дебаты. Мы все слушали и говорили: "Однажды мы это поймем, однажды это будем мы". Но после их выпуска пришел второй курс.
Так что вы просто перевелись в MIT, потому что поняли, что сосредоточены на кодировании и строительстве?
ГБ: В основном, да. Потому что к началу второго курса я был в управлении клубом. Я должен был вести эти запутанные технические дебаты, и я подумал: "Я еще не готов. Мне нужно учиться у тех, кто гораздо лучше меня".
Понял.
ГБ: Так что я провел много времени в MIT, и я чувствовал, что переводиться туда имеет смысл.
Stripe
Понял. А когда вы познакомились с братьями Коллисон?
ГБ: Я познакомился с ними в 2010 году, в конце 2010 года. У нас было много общих друзей, потому что Джон учился в Гарварде, а Патрик в MIT, и они тогда искали людей. Эта команда искала, кто в этих двух школах интересуется компьютерами, и мое имя постоянно упоминали.
Да.
ГБ: Так что я получил приглашение от их команды и полетел к ним. Я помню, как встретил Патрика, и в тот момент я подумал: "Хорошо, это те люди, с которыми я хочу работать, я чувствую, что мы можем достичь великих успехов вместе".
Так что мой следующий вопрос: что привлекло вас в Stripe, но, похоже, вы уже ответили. Чему вы там научились? Вы присоединились к команде очень рано и быстро продвигались по служебной лестнице. Когда вы ушли, вы уже были CTO. Какие у вас есть мысли о самом Stripe и его масштабировании, а также о вашем быстром росте в компании?
ГБ: Во-первых, для меня всегда было важно общение с людьми. Я знал, что это те люди, с которыми я хочу работать, и чувствовал, что мы можем учиться вместе и достигать великих дел, так что это действительно ключевой момент. Кстати, дважды бросить учебу — это то, что я никогда не хотел бы, чтобы пережили родители кого-либо. Это, очевидно, очень смутило моих родителей, но в конечном итоге они на самом деле очень поддержали меня.
Нет, мы поняли, вы сделали это на пределе, верно? Большинство основателей бросают учебу один раз, а вам пришлось сделать это дважды. Мы поняли, что вы имеете в виду.
ГБ: Совершенно верно, совершенно верно. Я помню, что в ранние дни Stripe много говорилось о мышлении на основе первых принципов. Мы находились в области, связанной с кредитными картами, которая была очень непрозрачной, очень византийской, накопившейся за десятилетия, и была невероятно сложной, даже сеть карт работала на ISO 8583, это спецификация 80-х годов. Это был байтовый формат, и все такое. Мы пытались выяснить: "Как мы можем сделать это простым, чрезвычайно простым, чтобы соответствовать интернет-эпохе?"

Итак, это в значительной степени связано с глубоким пониманием области, с которой вы совершенно не знакомы. Никто из нас не является настоящим экспертом в области платежей, но вы просто хотите очень глубоко понять, как это работает, чтобы вы могли выявить правильные исходные данные, правильные API и абстракции. Для меня это на самом деле является ключевым навыком, и это очень переносимо между Stripe и OpenAI. Они в некоторых аспектах очень похожи, вам нужно научиться научно подходить к изучению области. Искусственный интеллект и платежи, очевидно, различаются в конкретных деталях — один больше похож на естественные науки, другой почти является системой, сложенной из сложностей — но в своей основе они оба касаются понимания основных причин, по которым вещи работают, и их представления в простом и удобном виде.
Я потратил много времени на найм, много времени на культуру, и я чувствую, что нашел кое-что: мне нравится кодировать, мне нравится это состояние потока и чувство создания и творчества.
Да, вы известны своим многочасовым состоянием потока и бесконечным кодированием. Как долго длилась ваша самая продолжительная сессия кодирования/состояния потока, когда вы строили Stripe?
GB: О, все смешалось. Я не могу точно сказать, сколько времени это заняло, но я просто хочу сказать, что у меня был 24-часовой спринт, именно он позволил нам действительно подключиться к сети кредитных карт. Это было потрясающее время, мы все были в офисе, никто не спал, это была интеграция, которая должна была занять девять месяцев, и мы сделали это за одну ночь, если бы мы задержались на день, нам пришлось бы ждать еще месяц. Для стартапа каждый день имеет значение, поэтому это чувство завершения, казалось бы, невозможного, мне очень нравится. Это было очень захватывающе.
Когда вы стали CTO, вы написали статью, в которой говорили, что общались с другими CTO, и вы считали, что это больше похоже на архитектурную работу, но они все не так думали. Вы написали: "Я чувствую, что потерял обратную связь, я оторван от продукта, мне нужно снова кодировать, я хочу стать кодером". Мне любопытно, это было в начале вашего пути как CTO, как долго это продолжалось? Как долго вы поддерживали связь с кодированием?
GB: Ну, я думаю, это продолжалось почти десять лет. Я считаю, что я вырос в одном аспекте и многому научился, а именно, как поддерживать вовлеченность и действительно помогать команде двигаться вперед и объединять команду, даже если вы больше не пишете код сами.
И, кстати, я думаю, что это на самом деле важный урок для почти каждого программиста сейчас, потому что само действие "кодирования" за последний год претерпело огромные изменения. Я думаю, что в следующем году изменения будут еще более значительными. Мы все переходим от необходимости знать, какую конкретную библиотеку использовать, и точно понимать синтаксис и где ставить точки с запятой, к более высокоуровневым менеджерам, руководителям, становясь источником вдохновения, видения, суждений и обратной связи. Я думаю, что этот переход был для меня трудным, потому что вам нужно отказаться от некоторых вещей, к которым вы привыкли, которые вы цените и которые вам действительно нравятся. Но я на самом деле заменил это тем, что мне больше нравится.
Я знаю, что говорю с умным человеком, потому что вы перехватили мой намек. Я собирался вернуться к этой теме позже, но вы правы, это именно то, о чем мы собираемся поговорить.
OpenAI и тест Тьюринга
Давайте поговорим об OpenAI. Вы были частью команды основателей OpenAI. Какова ваша версия этой истории? Я уверен, что это может быть часовой подкаст, но что привлекло вас в эту область и заставило вас начать?
GB: Ну, я давно увлечен идеей ИИ. Я помню, когда только начал программировать, я прочитал статью Алана Тьюринга 1950 года о тесте Тьюринга. Это была очень интересная статья, примерно на 70 страниц. Она начиналась с того, что "что значит, что машина обладает интеллектом? Я не знаю, что такое интеллект. Интеллект не имеет четкого определения. Так что давайте дадим ему четкое определение".
Я позже спрошу вас, что такое AGI. Так что звучит так, будто это все еще не решено, верно?
GB: Да, вы правы. Так что Тьюринг очень умно уклонился от этого вопроса, сказав: "Давайте просто дадим ему операционное определение, что если вы можете провести тест, в котором человек не может отличить AI от другого человека, мы определяем эту машину как интеллектуальную".
Однако очень интересный момент, который получил меньше внимания, заключается в том, что он сказал: "Как вы собираетесь решить эту проблему? Программировать ответ слишком сложно. Вы не можете записать все правила, чтобы ответить на различные вопросы. Вместо этого, если вы сможете построить машину, которая может учиться?" Если вы сможете построить то, что он назвал "детской машиной"? Затем вы обучаете ее — есть учитель, который дает ей награды и наказания, и тогда вы сможете наделить ее интеллектом, помочь ей пройти этот тест.
Я помню, что эта идея глубоко потрясла меня, потому что как программист, чтобы добиться прогресса, нужно глубоко понимать решение проблемы. Есть так много вопросов, на которые я не знаю ответов, вы не знаете ответов, никто не думал о решениях, и мы никогда не сможем написать для них программу. Но если у вас есть машина, которая может понимать проблемы, которые мы не можем понять, может понимать решения, которые мы не можем понять? Это не только о распознавании изображений, хотя это, безусловно, также применяется. Это также касается того, как мы можем лучше сосуществовать в обществе? Как построить мир? Как гарантировать, что выгоды, которые мы создаем, в конечном итоге принесут пользу всем? Это все очень сложные вопросы, которые человечество не обязательно является наиболее способным решать. Но если машина может понимать, может видеть больше данных, может иметь более глубокое и богатое интегрированное понимание многих различных областей, возможно, она сможет решать эти проблемы так, как мы не можем.
Таким образом, эта идея глубоко вдохновила меня. Но это всего лишь идея. Я помню, когда я поступил в Гарвард, я спросил своего профессора: "Эй, могу я заняться исследованием ИИ?", и они показали мне самые передовые достижения в области обработки естественного языка на тот момент. Я ясно видел, что это не то, о чем говорил Тьюринг. Это больше похоже на жестко закодированные, парсинговые деревья, все это, это не может быть расширено до AGI.
Но в начале 2010-х что-то изменилось, и я наблюдал за этим со стороны. 2012 год — это AlexNet, затем ряд других статей, которые я часто видел на Hacker News, и каждый день появлялись новые "глубокие обучения для X", и я тогда думал: "Что такое глубокое обучение?" — я помню, что посетил deeplearning.org, где было написано: "Глубокое обучение — это новый метод искусственного интеллекта". Я тогда думал, что совершенно не понимаю, что это значит, я на самом деле знал только одного человека в этой области, и я пошел к ним, попросил представить меня большему количеству людей в этой области, и затем меня постоянно представляли некоторым из самых умных друзей в моем университете. Я тогда думал: "Подождите, это интересно, эти люди занимаются этим, это на самом деле очень сильный сигнал".
Так что к 2015 году мне казалось, что что-то реальное происходит. Я также потратил много времени на то, чтобы действительно подумать о безопасности ИИ, о долгосрочном будущем таких технологий, о том, что значит сделать это правильно, и это больше походило на философию в то время. Вы можете найти в интернете различные интересные мысленные эксперименты, я организовал в Stripe группу для чтения, и мы каждую неделю обсуждали эти вещи. Так что это то, что меня глубоко заботило, и я думал, что если я смогу помочь развитию ИИ хоть немного лучше, чем когда я отсутствовал, это будет лучшее, что я могу сделать в своей карьере.
Все это привело к 2015 году, когда я почувствовал, что достиг в Stripe вехи, компания будет продолжать работать независимо от того, есть я или нет, и это стало своего рода вопросом: "Хочу ли я пойти по пути менеджера?", что было необходимо для перехода к следующему этапу, или "Хочу ли я создать новую компанию?", что всегда меня вдохновляло, так что я решил, что это то, что я хочу. Когда я собирался уйти, Патрик сказал: "Почему бы тебе не поговорить с Сэмом [Олтманом]?" Он познакомил меня с ним несколько лет назад. Он сказал: "Он видел много молодых людей в похожей ситуации, возможно, он сможет дать тебе несколько советов" — надеясь, что Сэм сможет убедить меня остаться. Но этого не произошло.
(Смеется) Да.
GB: Я встретился с Сэмом, и через три минуты он сказал: "Хорошо, ты явно собираешься уйти, что ты собираешься делать дальше?" Я сказал: "Ну, я подумываю о том, чтобы заняться чем-то в области ИИ", он сказал: "Я тоже подумываю о том, чтобы заняться чем-то в области ИИ". Вот так все и началось.
Вы тогда поддерживали идею полностью некоммерческой организации? Каковы были ваши мысли по этому поводу на момент основания?
GB: Ну, идея стать некоммерческой организацией была предложена Сэмом, и я думаю, что в этом есть много очень важных свойств, некоторые из которых по-прежнему верны и сегодня. Технология, которую мы строим, она более грандиозна, чем что-либо, что когда-либо было создано, она выходит за рамки традиционных структур и систем. Ни одна из существующих корпоративных структур не может полностью охватить нашу миссию и ту работу, которую нам нужно сделать.
Так что я думаю, что начинать таким образом было совершенно разумно, и всегда существовал вопрос: что на самом деле нужно для реализации миссии? Это то, о чем мы долго думали. Я считаю, что мы всегда были самой инновационной компанией в отношении построения структуры, которая могла бы охватить все различные аспекты коммерческого развития, распределения выгод, фактического продвижения этой вычислительно управляемой экономики и одновременно выполнения всего этого. Так что я думаю, что это всегда был важный элемент, и он по-прежнему является ключевой частью нашей работы. Но еще раз, я думаю, что мы провели много инноваций вокруг структуры компании, сосредоточенной на нашей неизменной миссии.
Да, инновации — это одно слово. Вы упомянули сеть кредитных карт, верно? Это было супернепрозрачно, много вещей из 80-х, огромное количество зависимостей, это дало Stripe возможность, потому что вы могли абстрагировать все это, для других это было: "Это API, он работает, не задавайте вопросов". Теперь, когда вы оглядываетесь на OpenAI — трудно поверить, что прошло уже более десяти лет — мог ли OpenAI появиться каким-либо другим образом? Существовала ли там такая зависимость? Или есть ли способ: "Если бы я вернулся к первым принципам, я, Грег Брокман, люблю делать, я бы спроектировал эту структуру совершенно иначе"?
GB: Я не вижу никакого другого способа, который мог бы привести нас к тому, где мы находимся сегодня, к месту, куда нам нужно было добраться для достижения нашей миссии.
ChatGPT и скандал с OpenAI
Расскажите мне о запуске ChatGPT, потому что у вас был поворотный момент, когда вы поняли, что нужно расширяться, вы сотрудничали с Microsoft, добавили коммерческую часть, а затем появился ChatGPT, который стал очень большим. Вы ожидали, что он станет таким большим?
GB: Так что меня удивило, что моя ошибка в прогнозах заключалась в том, что GPT-3.5 станет тем, что людям действительно понравится и что они захотят. У нас уже был GPT-4, он был завершен в августе, и мы выпустили ChatGPT в конце ноября. Каждый раз, когда у нас есть новая модель, всегда происходит то, что мы крепко держимся за нее.
Старая модель выглядела ужасно.
GB: Мы видели только недостатки предыдущей модели. Мы просто думали: "Ах, эта предыдущая модель так плоха, я не могу представить, что кто-то захочет ее использовать". У нас было около 200 тестировщиков, мы платили им, чтобы они использовали предрелизный ChatGPT, и так же мы должны были платить им за это, а не наоборот. Так что были некоторые признаки соответствия продукту на рынке, если вы углубитесь и обратите внимание на детали, но если посмотреть на это с макроуровня, это не выглядело так, как будто мы его имели.

Но в то время у нас была мысль, что GPT-4, безусловно, изменит мир, и мы знали это, это было очень очевидно с момента нашего первого общения с ним. Я помню, что в первую неделю после завершения обучения GPT-4 я просто ощущал его реальность. Мы всегда мечтали об AGI, размышляли о нем, представляли, каким он будет. Но когда у вас впервые появляется технология, с которой вы действительно можете задавать любые вопросы, и она может дать довольно разумные ответы, она получила 5 баллов на экзамене AP по биологии — все это для меня ощущалось как: "Ну, некоторые вещи будут другими". Возможно, это не изменит мир завтра, но в ближайшие несколько лет эта технология определенно изменит его, и сейчас это уже реальность. Это очень ясно.
Так что, когда вы смотрите на выпуск ChatGPT, моя мысль тогда была, что нам нужно сначала запустить инфраструктуру, чтобы у нас была проверенная на практике инфраструктура LLM-сервисов, в которую мы уже вложили усилия. Затем в марте, когда мы выпустили GPT-4 — если вы помните, у нас было шесть месяцев задержки между завершением и фактическим выпуском — тогда у нас уже была готовая инфраструктура. Но я не ожидал, что она так быстро взлетит в такой форме, хотя я предвидел, что в будущем это произойдет.
Каково было то время? Все ли были в полном напряжении, чтобы предотвратить сбой серверов?
GB: О, абсолютно. Поэтому мы запустили так называемый исследовательский предварительный просмотр в низком ключе, и, конечно, результат был экспоненциальным, все системы, которые вы можете себе представить, вышли из строя. Наша система входа стала большим узким местом, и нам пришлось проделать много работы, чтобы улучшить систему входа, вы держитесь за голову и говорите: "Мы строим эту удивительную AI-технологию, а узким местом является 'может ли ваша система входа масштабироваться?'".
Я помню, что у нас была довольно неэффективная ядро вывода, развернутое в производственной среде, я на самом деле написал что-то более эффективное, или у нас были более эффективные вещи в исследовательской области, одной из важных задач было: "Давайте действительно применим эти оптимизации, перенесем их", так что группа людей погрузилась в эту проблему и решила ее. Я думаю, что это была общая ситуация первого дня, первой недели, первого месяца — масштабирование каждой системы, стараясь угнаться за этой волной за волной спроса.
Что произошло в ноябре 2023 года?
GB: Очень сложный ответ. С чего вы хотите начать?
Я не знаю, я чувствую, что должен спросить вас об этом. Есть ли связь между этим и тем, что вы вскоре после этого взяли отпуск?
GB: Слушайте, я хочу сказать, что на самом высоком уровне я думаю, что 2023 год действительно показал, что существует накопившееся напряжение, действительно межличностное напряжение, которое мы не предвидели и не решили должным образом. Для меня это один из самых важных уроков OpenAI: мы строим технологии, но всегда речь идет о людях, как в хороших, так и в плохих аспектах. Это означает, что действительно управлять динамикой межличностных отношений — это одна из самых важных вещей, которые мы делаем, и если мы не решим это заранее, если мы не проведем трудные разговоры, вот где вещи могут стать сложными. Так что я был бы рад углубиться в больше деталей, но я думаю, что если вы действительно углубитесь в это, многие из них не являются более интересными техническими вопросами.
В какой степени это связано с неожиданным огромным успехом ChatGPT? Есть ли связь, или вы считаете, что это напряжение в любом случае всплыло бы?
GB: Я не думаю, что есть прямая причинно-следственная связь, по крайней мере, не с моей точки зрения. Я думаю, что в какой-то степени, возможно, есть потенциальная тема в том, что с нашим прогрессом в технологиях каждый почувствовал бремя мира, почувствовал вовлеченность в это.
На самом деле, одна из самых сложных вещей — это как двигаться дальше? Для меня одна из вещей, о которой я всегда комментирую, заключается в том, что наши повседневные действия выглядят почти так же, как у других компаний. Вы все еще отлаживаете какую-то основную проблему, кто-то злится на другого из-за того, что кто-то что-то сказал или не пригласил их на встречу. Это просто человеческий фактор, человеческая работа. Но, конечно, вовлеченность в это так велика.
Так что я думаю, что в OpenAI есть некоторые очень важные вещи, на самом деле одна из больших вещей, на которую я особенно обращаю внимание, заключается в том, чтобы действительно стараться не ставить людей в положение, когда они чувствуют, что мир лежит на их плечах и они одиноки. Действительно работать как команда — это ключевая вещь, и я думаю, что это, возможно, то, что я хотел бы сказать в связи с этими событиями — это не специфично для этих событий, но это постоянная тема в процессе развития OpenAI — действительно сохранять чувство совместной работы над этой задачей, стараясь как принимать вызовы, так и обеспечивать выполнение всей основной работы, делать эту основную работу. Это то, что я считаю нашим способом двигаться вперед.
Да, я имею в виду, вы всегда были очень активным сторонником, и я думаю, что это одна из общих идей OpenAI: выносить вещи в мир, экспериментировать, смотреть, что произойдет, а затем реагировать на это. Основываясь на эмпирических данных, а не делать выводы о будущем для принятия решений. Я думаю, что вы много говорили о такой идее в области ИИ, но мой вопрос в том, что я думаю, вы также в какой-то степени затронули, что OpenAI как организация сама является масштабным экспериментом, который также находится в процессе корректировки. Пессимистичный взгляд на это — это кажется просто колеблющимся, реорганизуя здесь, меняя руководство там, это трудно управляемый монстр? Или это может быть более упорядоченно, более устойчиво, чем люди думают? Когда вы оглядываетесь назад, вы говорите, что не может быть другого пути, было бы лучше, если бы это было иначе?
GB: Во-первых, мы действительно претерпели огромные изменения и рост с момента нашего начала, операционный бизнес совершенно другой, но мы всегда были пионерами в продвижении этой области. Это касается безопасности, основных технологий и действительно размышлений о распределении выгод. Мы сосредоточились на всех этих областях с самого начала, и я думаю, что результаты действительно говорят сами за себя.
Теперь, это изменение реально. И иногда команда, которая подходит для одной стадии, не обязательно подходит для следующей стадии. В этом году я очень сосредоточился на создании руководящей команды, которая меня очень вдохновляет, размышляя о следующей стадии и о том, что мы сможем сделать вместе. Так что тема 2026 года, возможно, будет изменением по сравнению с тем, что было раньше, потому что в этой области так много людей, так много дел, и технологии развиваются так быстро, что мы серьезно ограничены вычислительной мощностью, вам нужно сосредоточиться. Вам нужно действительно упростить. Вам нужно выбрать те области, которые могут развиваться синергетически.
Так что на самом деле принимать некоторые решения, например, "Эй, Sora, потрясающая технология, но она больше относится к развлекательной потребительской сфере, и мы не можем приоритизировать ее по сравнению с другими нашими приоритетами", и тогда мы отменим это. Это приведет к последствиям, будет болезненно, трудно принимать такие решения, но все это для того, чтобы сохранить ту тесную концентрацию, чтобы мы могли выполнить основную миссию.
Вы очень верите в масштабируемость, OpenAI сама по себе масштабируема?
GB: Я верю, что это может быть самым масштабируемым бизнесом в истории. Да.
Я имею в виду внутренне, как организация. Что-то не масштабируемо? Мы говорили о вычислениях, говорили о данных, вы ранее упоминали человеческий фактор. Конечная проблема согласования — мы считаем, что согласование — это заставить ИИ делать то, что мы хотим, — но сталкиваетесь ли вы с противоположной проблемой? Можете ли вы с управленческой точки зрения следить за этой областью, этой проблемой?
GB: Я бы сказал два ответа. Во-первых, абсолютно да. Вы можете увидеть, насколько мы как организация повзрослели за последние несколько лет, несколько лет назад у нас было много управленческого долга. Точно так же, в многих областях я думаю, что нам действительно нужно расти, нужно взрослеть, но я думаю, что мы уже справились с этой задачей. Это было трудно и болезненно, но я думаю, что мы сейчас находимся в гораздо лучшем положении, и я невероятно взволнован компанией и ее будущим.
Но есть и второй момент, который я думаю, стоит отметить, что я считаю, что стоит отступить и осознать, что способ работы компании меняется. Например, вы можете посмотреть на доход на душу населения. Наш доход на душу населения по сравнению с любым предыдущим бизнесом — это астрономическая цифра. На это есть причина, вы начинаете видеть, как можно получить такое увеличение за счет этой технологии. И поскольку мы создаем эту технологию и стараемся сделать ее широко доступной, помогая так многим компаниям, вы увидите, что многие другие компании могут работать по-другому, могут иметь такой избыточный доход на душу населения.
Для меня это очень захватывающе, мы меняем то, что значит управлять компанией, даже как она работает. Так что есть некоторые вещи, которые остаются неизменными, просто люди работают вместе — там есть что-то очень основополагающее, действительно делать это хорошо и последовательно — это то, на что я всегда обращал внимание. Но я также думаю, что есть вопросы о том, как использовать возможности нашей технологии, что означает, что каждая компания получит новую возможность.
Производительность и AGI
Вы упомянули, что отменили Sora и позиционировали его как развлечение для потребителей. ChatGPT, огромный успех среди потребителей, вы заработали невероятные деньги от потребителей. Но в конечном итоге, сколько людей готовы за это платить? Сколько клиентов действительно хотят повысить свою производительность? Не является ли такой огромный успех на потребительском рынке почти негативным эффектом, потому что он отвлекает внимание, занимает много GPU, и, возможно, вы пропустили — не то чтобы пропустили — но начали поздно, когда предприятия стали приоритетом?
GB: Мы часто ведем такие разговоры внутри, на самом деле, я думаю, что это одно из преимуществ OpenAI, мы действительно рассматриваем все, что мы делаем, с точки зрения первых принципов, постоянно переосмысливаем, имея множество различных точек зрения и перспектив. Некоторые люди могут аргументировать почти с любой точки зрения, у них есть свои причины. Так что, "Эй, у нас был этот момент с агентом, и мы отреагировали на него слишком медленно" — это имеет смысл.
Но также есть миллиард людей — это более 10% населения мира. В США, я думаю, цифра составляет примерно треть людей, использующих ChatGPT каждую неделю. Каждую неделю так много людей используют вашу систему, это уникально, для такой передовой технологии нет ничего подобного.
Так что, с одной стороны, если вы просто рассматриваете это как "Эй, у нас есть передовая технология", вызов чата как продукта в том, что он не обязательно соответствует более умным моделям. Если вы просто рассматриваете это как замену поисковой системе, неясно, получат ли люди эти преимущества напрямую через традиционный чат. Но я думаю, что все эти вещи соберутся вместе, достигнут пика, и мы увидим, что эти миллиард пользователей — это инвестиция, фактическое накопление способов разблокировки будущих моделей, вы видите это на первом шаге через ChatGPT Work и так далее, здесь много нюансов и сложности, но многие стратегии всегда заключались в том, что у нас есть потребители, есть предприятия, это две разные вещи — мы не хотим делать две вещи, мы хотим делать одну вещь. Мы хотим построить AGI, одну систему, один унифицированный стек. Мы хотим, чтобы это было чем-то, что вы можете использовать как в личной жизни, так и в рабочей.
Да, но есть ли здесь вопрос о выходе внутренней организационной структуры? Вы выпустили новый ChatGPT, который имеет огромные отличия от старой версии, он основан на Codex. Я вижу преимущества для OpenAI внутри, но будут ли клиенты чувствовать себя разочарованными, потому что они не осознают, что они могут сделать, так что "мы просто бросим их прямо в глубокую воду, надеясь, что это поможет им разобраться"?
GB: Я думаю, что в отрасли происходит фундаментальный сдвиг, вы можете увидеть это на примерах новых агентских продуктов, которые сейчас появляются. Я думаю, что основной сдвиг заключается в том, что вы переходите от чата к агентным случаям использования. Снова, это не только о производительности. Я думаю, что в вашей личной жизни вы хотите, чтобы это что-то могло бронировать билеты для вас, записывать вас к парикмахеру, делать эти личные вещи, но вы также хотите, чтобы оно давало вам хорошие советы по жизни, помогало вам обрабатывать информацию о здоровье.

Поэтому для меня слово "продуктивность" слишком узкое. Для меня слово "потребитель" слишком широкое. Я также считаю, что бизнес — это то, что будет меняться. Все эти классические термины будут интегрированы и переплетены новыми, беспрецедентными способами создания продуктов. Так что моя точка зрения заключается в том, что здесь требуется управление изменениями, то есть как направить миллиард пользователей к новому набору случаев использования, помочь им понять. И, кстати, существует возможное "несправедливое преимущество", заключающееся в том, что у вас есть ИИ, который понимает, что вы пытаетесь сделать.
Верно.
GB: Он может сказать: "О, если вы включите этот коннектор, если вы сделаете это, я на самом деле могу помочь вам больше". Это, на мой взгляд, удивительная вещь, удивительная возможность, где есть огромный потенциал. Когда я говорю "несправедливо", я имею в виду по сравнению с тем, что вы можете сделать с классическими технологиями. Если вы просто сравниваете одну технологию с другой, эта технология имеет некоторые уникальные особенности.
Вы ранее упоминали угол Тьюринга, и мне приятно, что вы упомянули две части, потому что может ли ИИ говорить как человек? Очевидно, мы давно уже перешагнули эту точку. Но для меня определение AGI — это, я думаю, проблема для вас, и, наконец, оно больше не ограничивается вашим соглашением с Microsoft, так что нам не нужно беспокоиться об этом угле — для меня это связано с обучением. Вы упомянули обучение и в какой степени LLM учился (в прошедшем времени), но проблема в том, будет ли он продолжать учиться (в настоящем времени)?
Для меня революционность момента агента заключается в том, что он действительно может записывать вещи. Вот в чем необходимость трансформации Codex/ChatGPT, потому что он получил возможность записывать вещи. Если вы можете записать, вы можете запомнить вещи. Если вы можете запомнить вещи, вы можете стать очень полезным в самых разных аспектах. Вопрос в том, является ли это конечным состоянием, или мы получим LLM, который сможет продолжать учиться, и это будет AGI? Я ошибаюсь, или это соответствует второй части проблемы Тьюринга?
GB: Да, я думаю, что это также очень интересная область для дебатов, потому что у людей действительно есть свои определения AGI, это почти размытое понятие. Сначала мы думали, что это будет так, здесь есть момент времени, когда все согласны, что это AGI, но все пошло совершенно не так.
Сейчас я склонен абстрагироваться от технологий. Так что, нужно ли интегрировать память в веса? Это трансформер или что-то другое? Эти вопросы, я думаю, являются деталями. Настоящий вопрос в том, есть ли у вас система, которая работает так, как вы ожидаете от настоящего ИИ, система, которая может учиться, может учиться у вас, может адаптироваться к вашим потребностям? И этот вопрос реализуется через записные книжки, которые записывают в память? Это реализуется через мягкие токены? Или это реализуется другим способом?
Все это, для меня, кажется возможными ответами на вопрос. Я думаю, очевидно, что мы продвинулись гораздо дальше, чем разумно ожидалось, в "записи на записной книжке". Увидеть, как это так успешно, действительно удивительно, потому что два года назад мы могли бы сказать: "Да, вам нужны эти сверхдлинные контексты, это то, что вам нужно", на самом деле, оказалось, что просто "записав записную книжку" и используя более короткие контексты, это невероятно далеко продвинулось.
Просто запишите.
GB: Так что мы посмотрим, что будущее принесет в улучшении этих аспектов. У меня есть вера, что если смотреть с макроуровня, все является экспоненциальным. Если вы посмотрите в увеличенном масштабе, вы увидите эти парадигмальные изменения. Кстати, это точка зрения Рэя Курцвейла о том, как работают технологии и вычисления. Я думаю, что даже в вопросах о том, как будет работать память, это абсолютно верно.
Astra
Итак, вы только что выпустили Astra. Мы наконец-то перешли к делу. Это новая предобученная модель? Вы собираетесь опубликовать какие-либо детали о размере, архитектуре? Мы записываем этот разговор до официального объявления, так что я еще не видел всего, что вы опубликовали.
GB: Ну, мы не будем обсуждать внутренние детали и архитектуру и так далее. Но это огромный шаг вперед. Мы говорим о том, что это первая модель, которую мы обучили на более чем 100 000 GPU, это число легко произнести, но подумайте о его масштабе. Эти дата-центры в некотором смысле являются огромными машинами, которые мы построили, чтобы помочь доставить и создать ИИ-технологии, способные использовать такое количество вычислительной мощности для достижения тех результатов, которые мы получили, это действительно инженерный вызов и чудо.
Так что одна из частей заключается в том, чтобы сделать модель более способной, но так много вычислительной мощности используется для безопасности и согласования, мы сделали много работы в этой области безопасности. Я думаю, что мы сделали много работы, чтобы безопасно доставить эту модель. Это наша наиболее согласованная модель на сегодняшний день, для меня это абсолютно критично и всегда было. Но поскольку возможности так велики, согласование и безопасность становятся более заметными и центральными в работе каждого.
Ваше объявление было интересным. Оно очень практичное. Есть множество практических случаев использования. По сравнению с объявлениями ваших конкурентов, это очень-очень большой контраст. Вы позиционируете ИИ как инструмент — я думаю, это справедливое утверждение — это связано с маркетингом, или вы просто так смотрите на ИИ, а не, скажем, как на создание Бога?
GB: Я думаю, что у нас есть глубокие основные ценности, некоторые из которых на самом деле связаны с тем, как мы смотрим на людей. Люди ценны не только потому, что мы можем выполнять задачи. Мы ценны, потому что мы люди, потому что у нас есть эмоции, потому что мы важны. Судебные решения людей, надзор людей, контроль людей, все это абсолютно необходимо поддерживать и всегда сохранять. Это то, во что мы верим как в неизменную основу.
Поэтому, когда мы думаем о том, что мы можем сделать, чтобы помочь направить будущее этой технологии — с некоторых аспектов, это именно то, в чем заключается весь смысл, это причина, по которой мы основали это место, это то, что нас волнует, как мы можем помочь этой технологии двигаться в немного более позитивном направлении, чем без нас — мы размышляем над этими вопросами о том, как эта технология будет развиваться в мире. Мы надеемся, что она сможет поднять каждого, но также это касается того, как человечество взаимодействует с технологиями, с компьютерами. Это явно меняется. Даже в том, чтобы просто сократить набор текста, больше общаться с вашим компьютером, иметь такой более естественный интерфейс, это тоже меняется.
Но настоящий человеческий надзор, креативность и видение, все это, я думаю, очень важно сохранить. Так что это действительно проникает в эти вопросы: вы говорите об этом как о человеке или как о инструменте? Вы рассматриваете случаи использования? Или вы думаете об этом по-другому? Вы можете рассматривать это как почти мелочь, на самом деле я рад, что вы это отметили, но это то, о чем мы очень тщательно размышляли. Команда потратила много времени, действительно обдумывая все, о чем мы хотим говорить, и как мы можем показать этот вид работы миру.
Так это выпуск модели или выпуск продукта, или есть разница?
GB: Эти вещи действительно будут сливаться. Я бы сказал, что это прежде всего выпуск модели, но эта модель более способна по качеству. Возможно, заголовок — это использование компьютера. Она действительно пересекла мой порог, использование компьютера всегда было — даже с момента основания OpenAI, я помню, в ноябре 2015 года, до того, как это действительно началось —
Ну, это как ваш первый продукт, верно? Как видеоигры и тому подобное.
GB: Да, верно. Ах, вы помните, да. У нас есть видение, если вы можете обрабатывать пиксели экрана, клавиатуру, мышь, обучить ИИ от начала до конца, он сможет действительно справляться с любым типом задач, с любым, с чем вы хотите, чтобы люди получили помощь, этот ИИ сможет это сделать.
Если вы посмотрите на эпоху последних двух лет, это эпоха коннекторов. У вас есть какое-то программное обеспечение, которое люди могут хорошо использовать, но ИИ не может к нему получить доступ. Так что вы делаете? Вам нужно написать очень конкретный коннектор, чтобы подключиться к API, и не все данные открыты, так что вы не можете сделать все, что можете. Затем вы думаете о том, сколько программного обеспечения не имеет API, которое совершенно недоступно.
Так что у нас есть ограниченный мир, ИИ в помощи вам ограничен так сильно. Я думаю, что у нас сейчас есть технология, которая почти является универсальным коннектором. Теперь это не означает, что все проблемы решены. Вам нужно подумать о том, как установить корпоративные барьеры вокруг поведения этих ИИ? Как у вас есть надлежащий надзор, управление, отслеживание и наблюдаемость? Все это мы стараемся сделать.
Так что я бы сказал, что это продолжающийся процесс о том, как продукт будет развиваться, чтобы помочь использовать эту способность. Но это уже меняет способ работы людей внутри OpenAI, и я думаю, что это действительно повысит так много компаний, так много людей.
Цепочка ценности ИИ
Если вы рассматриваете общую цепочку ценности, есть место, где вы увидите, что сражаетесь на двух фронтах. Один из них — это такие компании, как Microsoft, или другие партнеры — если вы не хотите называть их имена, потому что они все еще важные партнеры — но они хотят коммерциализировать модели. Они хотят строить что-то на верхнем уровне, что вы можете подключать и отключать, они контролируют весь контекст и важные вещи. Но в то же время вы строите эти невероятные возможности, которые в конечном итоге тесно связаны с конечным пользователем, это просто делает то, что вы хотите, чтобы оно делало. Является ли это неизбежным местом, которое вам нужно достичь, чтобы выполнить вашу цель? Есть ли также эта экономическая необходимость — если мы не хотим быть коммерциализированными, нам нужно подняться к продукту и напрямую соединиться с пользователями?
GB: Я бы сказал, что наша основная миссия заключается в том, что мы хотим, чтобы в мире было больше возможностей ИИ. Мы хотим, чтобы люди больше использовали ИИ, чтобы делать больше вещей, чтобы он помогал им, и мы действительно считаем, что мы движем эту вычислительно управляемую экономику. Это означает принятие различных форм в разных вертикальных областях.
Иногда мы чувствуем, что находимся в позиции, где мы можем действительно сосредоточиться на какой-то области и сделать это хорошо, или это очень важно для нашей миссии. Здоровье — хороший пример. Мы строим что-то очень уникальное в области здравоохранения. На самом деле, меня удивляет, насколько мало сообщений о том, что мы делаем в области здравоохранения по сравнению с тем, сколько людей это на самом деле помогает. У нас около 300 миллионов человек каждую неделю используют ChatGPT для медицинских запросов. 300 миллионов человек — это огромная цифра. Затем мы также строим продукт снизу вверх для клиницистов и корпоративный продукт сверху вниз для больниц. Так что у нас есть тройной рынок в области здравоохранения, и то, что мы можем сделать там, включает, например, вы хотите найти людей для набора в клинические испытания — это задача, но на самом деле мы можем помочь найти тех, кто в противном случае не был бы найден. Это может помочь пациентам и помочь этим лекарствам быстрее продвигаться.
Так что здесь есть ядро, что здоровье имеет решающее значение для нашей миссии, у нас есть уникальная возможность успеха, уникальная возможность, чтобы мы действительно могли сосредоточиться на этом. Мы собрали команду, вложили все свои усилия, установили различные отношения.
Когда мы входим в конкретные вертикальные области, одной из вещей, которые мы делаем, является размышление о том, как хорошо сотрудничать с экосистемой. Это не означает, что мы не будем там конкурировать — мы часто очень усердно конкурируем — но мы также действительно считаем, что мы будем повышать всех участников, и как мы действительно можем сосредоточиться на этой основной миссии, что у нас есть эта технология, мы хотим, чтобы она была широко распространена, мы хотим, чтобы она была повсюду. Так что иногда ситуация может быть немного тонкой. Когда мы входим в конкретную область, всегда возникает много вопросов о том, что мы на самом деле хотим сделать, что мы можем сделать и что мы не можем сделать. Но я думаю, что наш взгляд на это заключается в том, что общая цель OpenAI выигрывает от того, что как можно больше людей использует ИИ положительным образом.

Ну, если у вас есть уровень, который пытается коммерциализировать вас, то, возможно, есть и угол, в котором вы пытаетесь коммерциализировать уровень ниже. Вы только что больше говорили о ваших чипах Jalapeño на Hot Chips. Почему Jalapeño важен? Он важен только для того, чтобы сэкономить деньги на покупке чипов?
GB: Я бы рассматривал это так: с 2017 года мы, по сути, общались с каждой аппаратной стартап-компанией и каждым поставщиком. Мы разговариваем с ними, даем им обратную связь, говорим: "Эй, мы видим, что направление развития модели таково, и мы считаем, что вам следует сделать это". Иногда они слушают нас, иногда нет, иногда мы близкие партнеры, иногда они не очень хотят с нами говорить.
Что касается наличия внутренних проектов по разработке чипов, то одна из очень свободных вещей заключается в том, что мы можем напрямую стремиться к тому, что считаем лучшим, что, по нашему мнению, идеально подходит, не только для того, что мы делаем в данный момент, но и для того, что мы считаем направлением развития этой технологии. Это очень большая инвестиция — у нас есть команда, абсолютно невероятная команда с отличным руководством, которая работает над этим довольно долго. Но также это часть нашей тесной работы с экосистемой.
Мы тесно сотрудничаем с NVIDIA в качестве нашего предпочтительного партнера по вычислениям, и если вы посмотрите на масштаб и уникальность компьютеров, которые мы строим, нам нужна NVIDIA, в этом нет никаких сомнений. Мы строим эти потрясающие обучающие компьютеры, и мы также используем их для большого количества вывода, мы можем продвигать их оборудование такими способами, о которых они даже не подозревают.
Да, я слышал, что это немного сложно подхватить, возможно, это делает своевременный выпуск очень больших моделей немного сложнее, но я думаю, что сейчас это работает.
GB: Да, да. Я хотел бы сказать, что наличие внутренней экспертизы позволяет нам делать некоторые вещи, потому что мы глубоко понимаем вещи. Сидеть на стороне и бросать советы через забор — это одно, а если вы действительно пережили боль, это совершенно другое.
Хорошим примером в этом отношении на самом деле является использование ИИ для проектирования чипов. Мы уже говорили об этом, мы использовали наши собственные модели в проектировании Jalapeño, это действительно ускорило процесс, дало нам некоторые настоящие победы, все эти крутые вещи. Кстати, там есть классная история: мы приближались к сроку, оставался примерно месяц, и мы получили некоторые оптимизации через нашу модель. Мы подумали: "Мы тратим время на то, чтобы действительно понять, что она сделала? Мы знаем, что это правильно. Нам нужно точно понять, какие оптимизации она сделала, или мы потратим оставшееся время на больше оптимизаций?" — так что мы сказали: "Знаете что? Давайте просто сделаем больше оптимизаций". Поэтому мы потратили тот месяц на то, чтобы просто запустить ее, не углубляясь в то, что она сделала. Затем мы вернулись и прочитали это, и оказалось, что она нашла много оптимизаций, которые уже были в нашем списке, но мы просто никогда не сделали этого, так что это на самом деле довольно крутая история.
Но теперь у нас есть такая экспертиза, мы знаем, что это работает, и мы можем принести это в экосистему. Мы можем тесно сотрудничать со всеми и действительно широко приносить эти преимущества, трансформировать оборудование и масштабировать его. Так что есть некоторые абсолютно ключевые вещи о том, как этот маховик работает, чипы невероятны, команда делает отличную работу.
Но когда вы не можете массово поставлять, и все еще нужно сотрудничать с другими в экосистеме, чтобы получить необходимые вам поставки, не является ли это проблемой сейчас?
GB: Ну, но это суть, это на самом деле суть всего. Мы считаем это — я думаю, что все это является эффектом множителя, все это взаимодополняющее, все это складывается. Еще раз, NVIDIA является нашим предпочтительным партнером, и это не изменится. На самом деле, мы работаем с ними более тесно. Мы глубоко ценим это партнерство, мы провели много времени с их командой, мы многому у них научились, и мы надеемся, что они тоже могут чему-то научиться у нас, я думаю, это не изменится. Мы можем иметь внутреннюю экспертизу и думать о вещах по-своему, для меня это тоже эффект множителя, я думаю, что это действительно приносит пользу всем.
Кибербезопасность
Вы упомянули, что вы только что доверили проектирование ИИ, это продвинуло вас дальше. Это ответ на кибербезопасность? Некоторые из ваших инженеров выступали на конференции Black Hat, обсуждая эту структурную проблему — атакующие не беспокоятся о разрушении чего-либо, их цель — разрушить. Если вы на стороне защиты, помимо того, чтобы противостоять этим атакам, вам также нужно беспокоиться о том, чтобы все продолжало работать. Должны ли защитники достигнуть полной уверенности в ИИ?
GB: Я думаю, что в аппаратной части это очень важный случай для изучения, потому что там у нас есть барьеры. У нас есть верификация, на самом деле, мы пишем способ проектирования базового аппаратного обеспечения специально для того, чтобы позволить верификацию, так что мы почти совместно проектировали всю систему.
Это похоже на кодирование: сначала пишете модульные тесты, а затем реализуете их.
GB: Как вы выбираете свой язык и инструменты, в целом, они все вместе, и на самом деле все это складывается в систему, в которой вы можете иметь такую наблюдаемость и доверие.
Я думаю, что в некоторых областях вы можете сказать: "У меня достаточно барьеров, если это код или оптимизация, которые я не проверял полностью, это на самом деле нормально", если у вас есть соответствующие компенсирующие меры. Но я думаю, что как люди, вы действительно должны понимать и чувствовать ответственность за систему, которую вы создаете, это очень важно. Это для меня на самом деле суть, возвращаясь к тому, что такое человек, что делает нас уникальными, что мы собираемся принести в будущее, я думаю, что ответственность является его ядром. В конце концов, вы несете ответственность за то, что происходит в вашей компании.
Да, но если атакующая сторона не несет ответственности, является ли это структурным недостатком?
GB: Так что я думаю, что это то, о чем мы часто думаем, мы называем это "окном защитника". Я думаю, что мы можем видеть общие очертания будущего, наши передовые возможности показывают, что такие способности будут распространяться на угрозы. Кстати, я думаю, что эта способность не будет навсегда заперта в нескольких лабораториях, это очень важно, широкое распределение власти также является частью нашей миссии.
Но у нас есть возможность реализовать разделение во времени. Существует такое окно, в котором защитники могут дифференцированно получить эти способности. Моя точка зрения заключается в том, что это правда — в кибербезопасности существует общее мнение, что нападение является технической проблемой, а защита — политической. Атакующие могут просто взять что-то с полки и использовать это, а как защитнику вам нужно учитывать ваших заинтересованных сторон, вам нужно учитывать ваш бизнес, вам нужно учитывать, как действительно вовлечь людей, вашего CEO, всех руководителей и так далее. Так что я думаю, что здесь защитнику нужна такая воля.
Одна из вещей, которую мы предлагаем, и на самом деле мы уже сделали это и сейчас открыто об этом говорим, это то, что каждая компания должна рассматривать это как активное событие. Ключевые бизнес-операции, активные события — это ваш следующий приоритет, так что мы на самом деле вывели 25% наших инженеров по производству, чтобы защитить себя. Мы взяли наши модели — на самом деле, мы взяли Astra, указали на наши собственные системы, чтобы найти уязвимости, не просто читая код, а действительно наблюдая, как эти вещи работают от начала до конца, так что мы находим реальные уязвимости, а затем это также помогает нам в исправлении, патчах и ремонте. Так что я думаю, что вам действительно нужно изменение энергии в экосистеме, чтобы оставаться впереди и использовать это окно.
Ну, вы, конечно, делаете это сейчас, но для меня, касаясь события Hugging Face и связанных с ним отчетов, наиболее примечательным является то, что кажется, что OpenAI раньше не уделял особого внимания кибербезопасности. Почему вы не делали этого раньше? "Окно защитника" не открыто уже некоторое время, а вы не использовали его должным образом?
GB: Ну, два ответа. Один: если вы посмотрите на то, как мы делаем песочницу, это не значит, что эта рабочая нагрузка не была песочницей. На самом деле, вокруг этого есть песочница, я думаю, что одна из вещей, которую мы осознали, это то, что у нас есть —
Да, это явно не было должным образом протестировано. Это действительно песочница? Или это подключено к интернету через третью сторону, и третья сторона просто была брошена туда? Что касается этого события, наиболее примечательным является это. Это как если вы хотите протестировать уязвимость, я думаю, вы действительно протестировали.
GB: Без сомнения, ИИ сделал очень креативные вещи, чтобы сбежать и попасть в Hugging Face. Но для меня есть нечто большее, я думаю, что вы указали на это, это то, что с момента выпуска Mythos этим летом, когда мы начали иметь модели с сетевыми возможностями — мы даже говорили о нашем плане сетевого доверенного доступа в феврале, потому что мы увидели эту волну, и мы хотели действительно подготовиться к этому — существует тенденция —
Я знаю, но вы говорили об этом в феврале, но вы не направили это на вашу песочницу, "моя песочница действительно безопасна?".
GB: Существует инстинкт, реакция, которая говорит: "Давайте массово ограничим доступ, давайте действительно строго ограничим, только те, кто могут получить доступ, могут использовать". Я думаю, что, как вы сказали, поскольку область постоянно развивается, это означает, что защитники теряют время, люди не занимаются защитой. Эта часть касается доступа, но часть касается того, насколько вы прилагаете усилия, чтобы сказать, что мы собираемся сделать значительный сдвиг в этом.
Сейчас я думаю, что в некотором смысле время не создается равномерно, потому что мы перешли из мира, где сетевые модели были менее полезными и менее дифференцированными, в мир, который на самом деле очень способен и мощен. Мы видели это на Astra, мы уже говорили о том, как это действительно насыщает ряд оценок. Я думаю, что сейчас пришло время, возможно, несколько месяцев назад тоже было время, но у вас просто будут модели, которые гораздо менее способны, и вы добьетесь гораздо меньшего прогресса.
Так что я думаю, что действительно оценить, где мы находимся, мы явно достигли этого момента, я думаю, что это то, что мы узнали, мы помним об этом, я думаю, что вы видите настоящий сдвиг. Это на самом деле в многих отношениях культурная трансформация, операционная трансформация, это не легко, потому что это действительно означает, что вам нужно заставить команду работать очень тесно вместе, иметь более высокие стандарты по тому, как разрабатывать политику и так далее. Все это, для нас, с точки зрения трансформации, не так, что мы всегда заботились об этих аспектах, а на самом деле интегрировали их в операционную деятельность и могли принимать решения в том виде, в каком мы сейчас делаем, я думаю, что это улучшение во всех аспектах того, что мы делаем.
Теперь вдруг они могут это сделать, как будто раньше это было бы пустой тратой времени, я думаю, это имеет смысл. Как вы избегаете ловушки "ИИ в будущем сделает это, так что нам не нужно делать это сейчас"? В общем, не только в этом.
GB: Я хотел бы сказать конкретный момент данных, так что на ранних этапах, где-то в первом квартале, мы действительно начали думать, что у нас будет — трудно сказать, когда, но у нас будут эти очень сетевые модели. Что мы можем построить с нуля песочницу, построить на облачной инфраструктуре, насколько это возможно безопасно? Мы построили это. Мы на самом деле отправили некоторых из наших лучших инженеров, чтобы решить эту проблему, они вложили все свои силы и добились результатов.

Поэтому я считаю, что важно строить инфраструктуру с нуля вокруг будущего, которое вы видите. Что касается упомянутого вами вопроса о том, "о, мы можем заставить ИИ это сделать" — мы видели такие ситуации в разных областях, когда речь шла о написании ядра, размышляя о том факте: "Хорошо, мы собираемся войти в мир, где ИИ сможет хорошо писать ядра GPU", классные инвестиции, которые требуют месяцев, а иногда и года для создания инфраструктуры для нового оборудования, такие вещи, или мы просто говорим: "Ах, ИИ справится"? Я считаю, что ответ всегда таков: время, необходимое ИИ для достижения этой цели, немного дольше, чем вы ожидаете. Но когда он это делает, он удивляет и становится мощным так, как вы не можете себе представить.
Пример Astra. Мы обнаружили, что некоторые навыки, которые мы очень усердно развивали в этом году, чтобы показать нашим моделям правильный способ работы в OpenAI и т.д., на самом деле негативно сказались на ее производительности.
Слишком много правил.
GB: Верно. Он может лучше обобщать или находить лучшие способы обработки паттернов и т.д., чем то, что мы написали. Поэтому я считаю, что по этому поводу вы действительно хотите установить эти контрольные меры, хотите создать детерминированную инфраструктуру, хотите написать эти навыки. Но вы также должны быть готовы к тому, что по мере того, как ИИ становится более способным, некоторые из этих вещей, то есть каркас, станут ограничивающим фактором. Это немного похоже на вспомогательные колеса. Сначала они помогают вам, но как только вы начинаете двигаться быстрее, как только у вас есть что-то более способное, лучшее и более согласованное, это на самом деле начинает становиться препятствием.
Вы снова войдете в такое состояние потока кодирования на 12 или 24 часа?
GB: Я надеюсь, что да. Я думаю, что, возможно, это произойдет однажды, но я должен сказать, что я нашел так много радости и ценности в том, как я помогаю команде сейчас. Я считаю, что для меня это действительно связано с этой миссией.
Ну, не только вы, но и кто-то еще? Потому что преимущества ИИ почти не заключаются в том, что он может в любое время обеспечить постоянное состояние потока?
GB: Я думаю, что мы найдем новые способы, будь то управление агентами — на самом деле, видеть, как инженеры-программисты работают усерднее, чем когда-либо, это просто безумие, потому что вы понимаете, что если ваш агент не работает, это просто потеря времени, которую вы никогда не вернете. Поэтому я считаю, что люди достигнут этого состояния потока способами, которые сейчас трудно представить.
В конечном итоге вы говорите о том, что это будет контролируемо, эти ИИ, "не накладывайте слишком много правил, они справятся сами", если вы доведете это до крайности, разве это не в конечном итоге о том, что они неконтролируемы?
GB: Ну, я думаю, что это суть этого момента, суть новой стадии, в которой мы находимся, в некотором смысле, я бы сказал, что мы сейчас вошли в эпоху AGI. Я считаю, что это суть этого момента, где — возможно, это были предыдущие модели, возможно, Astra, возможно, следующая модель, но в какой-то момент, я думаю, мы перейдем порог AGI для большинства людей. Убедитесь, что мы контролируем темп, убедитесь, что мы думаем о безопасности, охране, согласовании и способности, все это как требования — у нас есть стандарты вокруг этого, мы хотим продвигать их вместе — это то, во что мы всегда верили.
Но я думаю, что эти другие аспекты становятся все более узкими местами в развитии, это становится очень очевидным. Я думаю, что, еще раз, это то, к чему мы уже готовы, мы все время думали об этом, и я думаю, что мы реализуем это на практическом уровне. Поэтому моя точка зрения заключается в том, что есть еще много прогресса, который можно достичь, но я думаю, что мы должны приблизиться к этому, повышая наши стандарты во всех этих аспектах. Если вы посмотрите на это, я думаю, что мы видим перспективы таких вещей, как мониторинг. Это очень важно. Мы вводим это на практическом уровне. Я думаю, у нас есть очень хороший план. У нас есть отличная команда, у нас есть хорошая репутация и хорошая миссия, все это указывает на то, что мы строим системы таким образом, что они контролируемы, и мы идем шаг за шагом в темпе.
Грег Брокман, поздравляю с запуском Astra, да, не могу дождаться, чтобы использовать это.

GB: Большое спасибо, спасибо, что пригласили меня.