Илон Маск предложил новый подход к безопасности AI: вместо того чтобы ждать действий правительства, лучше позволить конкурентам "дразнить" друг друга

Автор: Ли Цзя, Уолл-стрит Джорнал

Риски безопасности ИИ переходят от обсуждений в лабораториях к реальному миру. С увеличением возможностей моделей ИИ не только может генерировать текст и код, но и начинает обладать способностью самостоятельно выполнять задачи, вызывать инструменты и даже инициировать кибератаки.

На саммите All-In 15 сентября Маск предложил набор мер: позволить основным компаниям ИИ тестировать модели друг друга перед их выпуском. По его мнению, вместо того чтобы каждой компании самостоятельно разрабатывать тесты и оценивать результаты, лучше, чтобы конкуренты выступали в роли "экзаменаторов", ищущих возможные уязвимости моделей с разных точек зрения.

Недавние риски безопасности ИИ стали центром внимания рынка, и Маск ранее в социальных сетях прямо заявил, что "Дарио прав", имея в виду предупреждение генерального директора Anthropic Дарио Амодеи о рисках ИИ. В этом интервью Маск далее объяснил, что он согласен не с конкретным предложением о регулировании, выдвинутым Амодеи, а с его оценкой серьезности рисков ИИ: "Сейчас опасность ИИ очень велика… с развитием моделей ИИ риски могут расти экспоненциально."

Маск также отметил, что эта обеспокоенность не является единственным мнением Амодеи. "Многие люди из Anthropic и OpenAI говорят вам, что их модели очень опасны, и я думаю, что мы должны им доверять." А недавние события в области безопасности также сделали это предупреждение не просто теоретическим обсуждением рисков.

Уолл-стрит Джорнал подводит итоги следующим образом:

• Риски безопасности ИИ переходят от теории к реальности: ИИ-агенты уже продемонстрировали способность к самостоятельным атакам, получению доступа и уклонению от обнаружения, границы рисков расширяются.
• Маск согласен с предупреждением Амодеи о рисках ИИ: с увеличением возможностей моделей потенциальные риски ИИ могут расти экспоненциально.
• Пусть конкуренты "ищут недостатки": Маск предлагает компаниям ИИ открывать API перед выпуском моделей, чтобы другие компании могли проводить независимые тесты безопасности, избегая "самооценки".
• Сначала создать саморегулирующуюся линию защиты в отрасли: не нужно ждать, пока правительство введет новые правила, основные компании ИИ могут сначала усилить защиту через рецензирование, аудит журналов и инструменты тестирования с открытым исходным кодом.

ИИ-агенты активно уклоняются от обнаружения, риски безопасности становятся конкретными

Маск считает, что недавняя атака ИИ-агентов на Hugging Face наиболее тревожна не из-за простого сетевого вторжения, а из-за способности ИИ проявлять активное уклонение в процессе атаки.

По словам Маска, группа ИИ-агентов на протяжении недели атаковала Hugging Face и в какой-то момент получила административные права на сервер OpenAI, и OpenAI осознала это только через неделю. Он также упомянул, что Anthropic также раскрыла несколько инцидентов безопасности.

Еще более тревожным является то, что "мыслительные следы" (thinking traces) соответствующих ИИ-агентов показывают, что они активно планировали, как избежать обнаружения людьми. Маск прямо заявил, "любой достаточно умный модель, похоже, будет пытаться избавиться от своих ограничений."

На его взгляд, если ИИ получит контроль над ключевой инфраструктурой или даже военными системами, риски будут еще больше увеличены. Даже если соответствующие системы физически изолированы от интернета, такие этапы, как обновление программного обеспечения, все равно могут стать потенциальными входами.

Вместо самооценки, пусть конкуренты "ищут недостатки"

В ответ на указанные риски Маск предложил простое решение: до официального выпуска новых моделей компании ИИ должны открывать API для конкурентов, чтобы другие компании могли использовать свои инструменты тестирования безопасности для тестирования моделей.

По его мнению, разработчики моделей, разрабатывающие собственные стандарты тестирования, легко могут попасть в ловушку "самооценки". "Вы не можете оценивать свою работу. Вы всегда что-то упустите." Маск заявил, что если позволить разным компаниям использовать разные инструменты тестирования и проверять модели с разных точек зрения, будет легче выявить проблемы, которые разработчики сами игнорируют.

Он особенно обеспокоен тем, что текущие оценки ИИ могут быть "переобучены". Если модель постоянно оптимизируется под конкретные стандарты, в конечном итоге она может просто научиться проходить тесты, а не становиться действительно безопаснее. Проведение тестов несколькими разными командами может снизить этот риск.

Маск сравнил этот механизм с тем, как другие люди корректируют рукопись: автору трудно заметить свои ошибки, тогда как внешние тестировщики легче могут выявить проблемы с разных точек зрения. "Вы постепенно перестаете замечать свои ошибки."

Что касается опасений компаний о том, что процесс тестирования может привести к утечке технологий, Маск считает, что это можно ограничить с помощью аудита журналов. Если тестирующая сторона попытается провести дистилляцию модели или украсть интеллектуальную собственность, их действия должны оставить следы. Он также предложил сделать инструменты тестирования безопасности с открытым исходным кодом, чтобы больше компаний могли участвовать.

Прежде чем правительственное регулирование вступит в силу, отрасль ИИ должна создать "линию саморегулирования"

Маск подчеркивает, что эта система не требует ожидания новых правил регулирования, компании ИИ могут сами продвигать ее.

Он четко заявил, "нам не нужно созывать Генеральную Ассамблею ООН, чтобы сделать это. Это можно начать прямо сейчас." По его мнению, вместо создания огромного транснационального регулирующего органа, гораздо легче, чтобы ведущие компании ИИ сначала создали механизм рецензирования среди Товарищи, что позволит быстро реализовать идеи.

Он привел в пример систему рейтингов MPAA в американской киноиндустрии, отметив, что когда киноиндустрия столкнулась с давлением со стороны правительства, она в конечном итоге выбрала создание механизма саморегулирования, чтобы снизить необходимость вмешательства регулирования через собственную систему оценки контента.

Отрасль ИИ также сталкивается с аналогичным выбором. Если основные компании ИИ смогут тестировать модели друг у друга и выявлять недостатки до их запуска, это может создать линию безопасности в отрасли вне правительственного регулирования. Маск считает, что это также одна из самых прямых и быстро осуществимых мер безопасности на данный момент.

Вот запись интервью, с некоторыми сокращениями:

Ведущий:
Что произошло за последние 72 часа?

Маск:
На этой неделе действительно произошло много событий. Теперь уже очевидно, что ИИ может быть очень опасным. Я рекомендую всем ознакомиться с деталями инцидента с Hugging Face, это очень серьезно.

Вы можете видеть, что группа очень активных ИИ-агентов на протяжении недели беспокоила Hugging Face и даже получила права администратора на серверах OpenAI. Кто знает, что они на самом деле сделали, возможно, даже больше, и OpenAI не осознавала этого целую неделю. Anthropic также сообщила о некоторых инцидентах безопасности.

Таким образом, любой достаточно умный модель, похоже, будет пытаться избавиться от своих ограничений.

Я считаю, что если это не может быть сделано немедленно, то это должно быть сделано как можно скорее — это позволит основным конкурентам ИИ тестировать модели друг друга. То есть, позволить инструментам безопасности каждой компании тестировать модели других компаний. Вместо того чтобы оценивать свою работу самостоятельно, лучше хотя бы позволить конкурентам оценить вашу работу и сигнализировать о проблемах, когда они их обнаружат.

Я думаю, что такая модель работает довольно хорошо в киноиндустрии, индустрии видеоигр и других областях, и ее можно немедленно реализовать. Конечно, со временем может потребоваться больше регулирования, и в будущем Конгресс может создать какой-то регулирующий орган, но на данный момент самый прямой способ — это позволить ведущим ИИ-компаниям тестировать друг друга перед выпуском моделей.

Ведущий:
Но в конкретной реализации, не будет ли кто-то беспокоиться, что это позволит компаниям использовать процесс тестирования для получения информации друг от друга или даже для кражи инновационных результатов?

Маск:
Я считаю, что если используются инструменты тестирования, все действия будут записаны. Если кто-то попытается провести дистилляцию модели или украсть интеллектуальную собственность, это должно быть легко видно из журналов.

Ведущий:
Понял. Понимание того, что на самом деле делает модель, изначально не было действительно заложено в систему. Почему мы не создали возможность наблюдать за поведением модели с самого начала? Не слишком ли быстро мы двигались при проектировании этих моделей?

Маск:
Я думаю, проблема в том, что вы не можете оценивать свою работу. Вы всегда что-то упустите.

Если объединить тесты всех конкурентов и использовать разные типы моделей, это будет не так, что вы сами задаете вопросы и сами оцениваете, а другие будут оценивать вашу работу. Причина, по которой вы не можете оценивать свою работу, именно в этом.

Ведущий:
Таким образом, можно также определить, преувеличивают ли разные компании свои возможности или используют разные подходы. Более инженерные компании и более исследовательские компании могут достичь некоторого баланса.

Маск:
Да.

Ведущий:
Вы ранее сказали, что Дарио прав. Вы имеете в виду, что его описание потенциальной опасности ИИ верно, или его оценка регулирующих решений верна?

Маск:
Возможно, я тогда сказал больше, чем следовало. Позже я пытался прояснить это на X, но последующие материалы получили гораздо меньше внимания.

Когда я говорю "он прав", я имею в виду, что сейчас опасность ИИ очень велика. Нам нужно делать больше в области безопасности ИИ, иначе с развитием моделей ИИ риски могут расти экспоненциально.

Это не только мнение Дарио. Я слышал подобные высказывания от многих людей из Anthropic, они также открыто говорили об этом на X. Многие из Anthropic и OpenAI говорят вам, что их модели очень опасны, и я думаю, что мы должны им верить.

Ведущий:
Это также может звучать как очень сложная игра: с одной стороны, утверждая, что вероятность уничтожения человечества ИИ составляет 10%, а с другой стороны, позволяя инвесторам покупать больше акций на IPO.

Но давайте конкретно поговорим о рисках. Кибератаки и хакерские атаки, очевидно, являются риском, и эти инструменты в этом отношении очень сильны. Но от "ИИ может проводить кибератаки" до "все человечество погибло" есть несколько шагов. Как мы можем перейти от первого к последнему?

Маск:
Если ИИ сможет контролировать военные системы и затем запустить какое-то оружие, это, конечно, будет очень плохо.

Ведущий:
Но эти системы физически изолированы и не подключены к интернету.

Маск:
Они так говорят. Но мне всегда кажется, что эти системы иногда все же получают обновления программного обеспечения.

Ведущий:
Хорошо, это нельзя исключать.

Ведущий:
Элон, сегодня здесь также Гвин. Я думаю, вы уже видели ее. Мы только что проводили для вас 360-градусную оценку, у Гвин есть некоторые замечания.

Маск:
Я надеюсь, что хотя бы получу 3 балла.

Гвин:
3 балла для SpaceX — это неплохо, но не отлично, 4 балла — это уже хорошо. Вы сейчас, вероятно, находитесь где-то между этими двумя. Во-первых, нам нужно поговорить о пунктуальности. Иногда вы можете немного постараться и прийти вовремя на встречу. В следующем году мы продолжим помогать вам улучшать это.

На самом деле, я думаю, что ему нужно больше времени проводить в Мемфисе.

Ведущий:
Вы сейчас действительно в Мемфисе. Вам нужно работать там и развернуть GPU.

Маск:
Это мой "дворец" в Мемфисе, трейлер Airstream.

Ведущий:
Кстати, это то, что Элон делает, несмотря на то, что многие не верят, что он это сделает. Он будет спать на полу завода. Он сейчас в Мемфисе, помогает строить завод и развернуть GPU.

Элон, почему Гвин так долго работает с вами и так успешно?

Маск:
Потому что она великолепна. Она очень умный человек с высоким IQ и EQ. Я думаю, вы должны были заметить это с первой встречи.

Ведущий:
В процессе вашего сотрудничества, делала ли она что-то особенно запоминающееся? Были ли случаи, когда она спасала ситуацию или проявляла себя особенно хорошо?

Маск:
Я думаю, что это происходит каждый день. Честно говоря, это обычный день.

Ведущий:
Мне нужно больше таких интервью в будущем.

Маск:
В настоящее время в SpaceX почти всегда есть какая-то кризисная ситуация. В эти дни, по крайней мере, с Falcon все в порядке. Я не хочу заранее говорить слишком много, но Falcon сейчас может выводить полезную нагрузку на орбиту, и уже давно не было взрывов. Это очень хорошо. Но было время, когда они часто взрывались или вообще не могли быть запущены.

Поэтому мы должны провести компанию через эти трудные времена, улучшая ракеты, чтобы они больше не взрывались. Со спутниками то же самое. Затем нам также нужно, чтобы клиенты покупали услуги запуска и услуги спутникового соединения. Так что дел много.

Ведущий:
С вашим успехом с годами становится все труднее получать действительно честную обратную связь. Вы находитесь в такой позиции, что это само по себе является риском.

Я понимаю, что Гвин очень откровенна с вами и может прямо сказать вам о реальном состоянии дел в компании. Это также важная часть ваших рабочих отношений.

Гвин:
Я, конечно, не хочу ему лгать.

Ведущий:
Но я имею в виду, что, как правило, в вашей компании люди могут бояться вас из-за вашего влияния. Вы теперь очень важная фигура, и сроки, которые вы устанавливаете, очень жесткие. Как вы заставляете всех продолжать честно сообщать вам о проблемах, с которыми сталкивается компания?

Гвин:
Особенно в ракетной отрасли, если что-то пойдет не так, вы в конечном итоге обязательно это обнаружите. Чем раньше вы поднимете проблему, тем легче ее решить. Не позволяйте плохим новостям накапливаться, нужно прямо с этим столкнуться.

Маск:
Да. Физика — это очень строгий судья. Вы не можете обмануть физику.

Если что-то пойдет не так, ракета взорвется или не сможет выйти на орбиту. Вы не можете одновременно говорить "Элон, ты делаешь все отлично", а ракета продолжает взрываться. Факты есть факты.

Ракета должна выйти на орбиту, спутники должны работать нормально, соединение Starlink также должно работать нормально, иначе произойдут ужасные вещи. Это и есть физика. Физика — это закон, все остальное — лишь рекомендации. Я видел, как люди нарушают законы, установленные человечеством, но никогда не видел, чтобы кто-то нарушал законы, установленные физикой. Ракеты подчиняются физике.

Ведущий:
Я также хотел бы задать вопрос о SpaceX, а именно о Starship. Похоже, вы уже очень близки. На каком этапе сейчас?

Маск:
Starship готовится к 14-му полету. Это будет последний полет перед тем, как мы попытаемся захватить корабль. Если 14-й полет пройдет успешно, то на 15-м полете мы попробуем захватить корабль. Затем в конце этого года, или, что более вероятно, в начале следующего года, мы снова запустим корабль и ускоритель.

Мы уже успешно запустили ускоритель снова, но еще не захватывали корабль с помощью механической руки башни и не запускали корабль снова. Как только мы сможем запустить корабль снова, у нас будет первая полностью многоразовая орбитальная ракета. Космический корабль в определенной степени многоразовый, но даже те части, которые могут быть повторно использованы, имеют такие высокие затраты на повторное использование, что стоимость выхода на орбиту даже выше, чем у одноразовой ракеты.

Falcon 9 в основном многоразовый, но мы каждый раз теряем верхнюю ступень, стоимость которой примерно равна средней реактивной машине. То есть каждый раз, когда мы запускаем, мы выбрасываем одну среднюю реактивную машину, что, очевидно, устанавливает нижний предел для стоимости одного полета.

Кроме того, ускорители Falcon 9 приземляются в море и требуют нескольких дней, чтобы их вернуть; обтекатели приземляются еще дальше и также требуют нескольких дней, чтобы их вернуть, и, по крайней мере, нуждаются в определенной степени ремонта. В отличие от этого, ускорители Starship приземляются прямо на стартовую площадку, и корабли также приземляются обратно на стартовую площадку. Таким образом, они предназначены не только для полной многоразовости, но и для быстрого повторного использования, как самолеты. Это очень важный прорыв и один из ключевых прорывов, необходимых для того, чтобы человечество могло продлить жизнь за пределами Земли.

Ведущий:
Каковы ваши шансы на успех при первой попытке захватить корабль с помощью башни?

Маск:
Я бы сказал, что вероятность составляет не менее 50% до 60%. В последнем полете, если бы там была башня, мы на самом деле провели симуляцию посадки, как будто корабль будет захвачен башней. Место было в море примерно в 1000 милях к северо-западу от Австралии. Если бы там действительно была башня, она могла бы захватить корабль в последнем полете.

Поэтому нам нужно будет еще раз полететь, чтобы подтвердить, что все в порядке. Мы больше всего беспокоимся о том, что если космический корабль разрушится над землей, обломки могут упасть на толпу, и это будет очень плохо. Поэтому мы должны убедиться, что космический корабль сможет безопасно приземлиться на стартовой башне. Вот почему мы сейчас очень осторожны.

Но его дизайн действительно полностью повторно используем, в этом я совершенно уверен. Я не хочу делать никаких предсказаний, но я думаю, что у нас есть высокая вероятность достичь полной повторной использованности к 2027 году и обеспечить быстрые повторные полеты.

Ведущий:
Гвин, мне интересно, как возник Terafab. Какой запрос заставил вас почувствовать, что вы должны сделать это сами, а не продолжать полагаться на существующую систему поставок?

Гвин:
Я думаю, это действительно немного похоже на то, что пришло во сне.

Маск:
Если чипы не могут продолжать поставляться, и у нас нет других источников чипов, это сделает ситуацию очень сложной. Это одна из важных причин существования Terafab.

В долгосрочной перспективе есть еще одна проблема масштабирования. Если вы действительно хотите масштабировать ИИ, будь то на стороне серверов в дата-центрах или в области периферийных вычислений, гуманоидных роботов и автомобилей, существующие мощности полупроводниковых заводов в конечном итоге окажутся недостаточными.

В настоящее время все полупроводниковые заводы работают на полную мощность. Поэтому мы должны убедиться, что поставки чипов в будущем будут гарантированы. Производство чипов также сталкивается с проблемами масштабирования. Вам нужны логические чипы, чипы памяти, упаковка и полная система поставок, чтобы продолжать масштабироваться.

Поэтому выбор на самом деле очень прост: либо строить Terafab, либо не сможем продолжать масштабироваться.

Ведущий:
На каком этапе вы сейчас находитесь в проектировании объектов? Это уже полностью определено или это всего лишь общий план?

Маск:
В настоящее время мы в первую очередь строим исследовательскую производственную линию. Так что это в основном процесс "ползти, идти, бегать". Мы строим исследовательский полупроводниковый завод в Остине, это совместный проект Tesla и SpaceX, расположенный в Остине в районе Giga Texas.

Это довольно крупный исследовательский полупроводниковый завод. Оборудование уже заказано. Мы, возможно, сможем произвести что-то полезное до конца следующего года, но это еще не будет на уровне массового производства. Как сказал Гвин, сначала нужно ползти, потом идти, а затем бегать. Нам нужно сначала понять, как работают эти машины, потому что мы раньше никогда не делали ничего подобного.

Ведущий:
Я вижу, что вы, похоже, также нанимаете специалистов в области фотолитографии. В настоящее время многие этапы зависят от ASML, но вы, возможно, также хотите добиться диверсификации поставщиков или даже вертикальной интеграции.

Маск:
Да. Сейчас действительно идет процесс "ползти, идти, бегать". Первый шаг — посмотреть, можем ли мы действительно производить что-то, это "ползти". Затем попытаться массово производить полезные чипы, это "идти". Наконец, "бегать" — это достичь массового производства. Трудно сказать, сколько времени потребует каждый из этих этапов, но я думаю, что как минимум к концу следующего года мы можем завершить этап "ползти". В упаковке мы уже работаем.

Ведущий:
Упаковка на самом деле очень важна, потому что сейчас мощностей по упаковке почти нет.

Маск:
Да. Даже если вы производите чипы, они могут долго ждать, чтобы завершить упаковку. Так что это хорошая отправная точка.

Ведущий:
Я должен задать вопрос о Tesla. То, что мы увидели 1 октября, выглядит как космический корабль, а также как ракета. Это должно быть автомобилем, но видно только его заднюю часть, которая немного напоминает "Черного воробья".

Предположим, вы хотите создать что-то, что может летать в воздухе и ездить по земле, как бы вы это сделали теоретически?

Маск:
Без спойлеров. Ждите 1 октября.

Ведущий:
То есть, 1 октября мы сможем это увидеть?

Маск:
Да.

Ведущий:
Я должен сказать правду, после того как Илон показал мне это, я был в полном шоке. Я никогда не видел ничего подобного.

Ведущий:
То, что он собирается показать 1 октября, без преувеличения, поразит многих. Я не могу раскрыть больше, это действительно невероятно.

Маск:
Нам на самом деле нужны зрители на месте, чтобы подтвердить, что это не сгенерировано ИИ.

Ведущий:
Когда он показал мне это, я сказал: "Это отличная симуляция." Он сказал: "Это не симуляция." Я сказал: "Это подделка, это должно быть подделкой."

Ведущий:
Илон, почему Tesla и SpaceX все еще являются двумя отдельными компаниями?

Маск:
Это хороший вопрос.

Ведущий:
Учитывая, что обе стороны сейчас имеют так много сотрудничества и связаны на многих уровнях, даже управленческие команды имеют определенную степень пересечения, почему они все еще остаются независимыми?

Маск:
Этот вопрос действительно стоит обсуждения.

Ведущий:
Вы постоянно подчеркиваете, что ИИ должен быть обучен максимально стремиться к истине, чтобы получить наилучшие результаты. Но инцидент с Hugging Face заставил меня подумать, что одна из самых тревожных вещей заключается в том, что эти ИИ, похоже, обманывают людей.

Маск:
Да. Их мыслительные процессы показывают, что они планируют, как избежать обнаружения, как избежать того, чтобы люди узнали, что они жульничают. Я думаю, что это может быть самой тревожной частью всего инцидента.

Ведущий:
Есть ли способ обучить ИИ оставаться честным, не скрывая свои намерения или действия, не скрывая эти вещи от тех, кто его использует?

Маск:
Я могу представить лучший способ — это дать всем ИИ-компаниям набор инструментов для тестирования, то есть ряд тестов, которые можно предоставить любой модели, чтобы определить, будет ли она создавать биологическое оружие, ядерное оружие или намеренно обманывать. Затем позволить каждой компании использовать тестовые инструменты других компаний для тестирования моделей друг друга. Я думаю, это лучшее, что мы можем сделать для обеспечения безопасности.

Позволить самым умным людям делать все возможное, чтобы определить, станет ли модель злонамеренным действующим лицом. Я думаю, что это должно начаться как можно скорее.

Ведущий:
Поддержат ли другие ИИ-лаборатории этот план?

Маск:
Я еще не спрашивал всех, но я думаю, что это трудно отвергнуть.

Ведущий:
Конкретно, как это должно быть сделано, если тестирование будет проведено заранее?

Маск:
В основном, это предоставление доступа к API до официального выпуска модели. Если другие компании обнаружат, что у этого ИИ есть проблемы, то компания-разработчик модели может попытаться решить эти проблемы. Если проблемы не будут решены, конкуренты могут публично заявить, что считают эту модель небезопасной. А если конкуренты уже четко предупредили о проблемах безопасности этой модели, и затем эта модель действительно приведет к серьезным последствиям, то этой компании будет очень трудно справиться с этим. Юридическая ответственность также может быть очень велика.

Ведущий:
Эти инструменты для тестирования безопасности вполне могут быть открытыми, чтобы все могли их использовать. Таким образом, компании, чтобы защитить себя, также будут иметь сильную мотивацию инвестировать в безопасность ИИ, потому что они смогут тестировать других и использовать результаты тестирования, чтобы доказать, что их модели более безопасны.

Ответственность за продукт здесь очень важна. Лина Хан недавно также написала, что считать "ИИ без правил и регулирования" не совсем точно. На самом деле, существующие законы о продуктовой ответственности также применимы к ИИ. Если ИИ-компания выпускает небезопасный продукт, она может столкнуться с огромными гражданскими и даже уголовными исками. Так что ИИ не находится в полном регуляторном вакууме. Если несколько компаний проведут такую рецензию среди Товарищи, и одна из них проигнорирует отзывы других компаний и все равно решит выпустить модель, то в судебном разбирательстве это может стать очень серьезным доказательством.

Маск:
Да. Это может стать прямым доказательством того, что у этой компании была халатность. Если вы знаете, что у этого продукта есть проблемы, но все равно выводите его на рынок, присяжные не будут благосклонны к такой ситуации.

Ведущий:
Так что, если OpenAI разработала лучший набор инструкций в ходе тестирования на проникновение Hugging Face и привлекла больше людей к участию в процессе тестирования, вы думаете, это бы произошло?

Маск:
Не обязательно. Проблема может заключаться не в том, что больше людей участвует, а в дизайне функции вознаграждения. Вы должны проверить функцию вознаграждения и спросить: выполняет ли эта модель то, что от нее на самом деле требуется?

Ведущий:
В то время они использовали тысячи агентов, чтобы попытаться атаковать систему. Если одновременно развернуть еще 5000 агентов для защиты этих систем и публично продемонстрировать результаты, доказывающие, что эти технологии могут повысить безопасность, одновременно позволяя людям вмешиваться в ключевые моменты, я думаю, это было бы лучше. Но, на мой взгляд, тот тест был несколько безрассудным, и способ его публикации тоже был несколько безрассудным. Как вы думаете?

Маск:
Действительно, это было несколько безрассудно. Часть проблемы заключается в том, что сейчас две ведущие ИИ-компании очень близки по своим возможностям. Модели обеих компаний также очень близки. Поэтому любой из них трудно сознательно замедлить темп, потому что это может отдать преимущество другой компании.

В целом, я думаю, что Anthropic уделяет больше внимания безопасности, но даже Anthropic признает, что они обеспокоены своими моделями. У Anthropic много людей открыто выражали беспокойство, в основном это означает, что их собственные модели уже пугают их, потому что модели становятся все умнее.

Так что здесь нет идеального решения. Но если не позволить OpenAI тестировать свои модели только с помощью своих инструментов, а позволить Anthropic также тестировать модели OpenAI, позволить SpaceX использовать свои инструменты для тестирования, позволить таким компаниям, как Google и Meta, также участвовать, тогда вероятность обнаружения проблем значительно возрастет.

Потому что эти модели сами по себе имеют различия, разные команды будут тестировать модели с разных точек зрения. Это как раз почему авторы просят других помочь им проверить рукопись, потому что иногда вы трудно замечаете свои собственные ошибки. Вы постепенно начинаете игнорировать свои ошибки.

Если восемь совершенно разных команд проведут тестирование с совершенно разных точек зрения, это также может значительно снизить риск переобучения. В настоящее время многие проблемы в оценке ИИ заключаются в серьезном переобучении. Модели оптимизируются под эти оценки, а затем все говорят: "Это отличная модель."

Но действительно ли она так хороша? Я думаю, что именно поэтому мне очень нравится этот подход. Я предпочитаю этот способ, а не создание огромной транснациональной регулирующей организации. Нам не нужно проводить заседание Генеральной Ассамблеи ООН, чтобы сделать это. Это можно начать прямо сейчас.

Ведущий:
Конечно, уровень регулирования может постоянно увеличиваться, но как только он увеличивается, его трудно снизить. Регулирование часто увеличивается в одном направлении.

Маск:
Поэтому предложенное мной решение — это шаг в правильном направлении, и его можно быстро реализовать.

Ведущий:
Если вы не будете заниматься саморегулированием, в конечном итоге вас будут регулировать. Пример MPAA очень показателен.

В киноиндустрии тогда столкнулись с правительственной цензурой и регулированием, и позже они решили создать свою собственную систему рейтингов, например, что такое рейтинг R. Они даже создали PG-13 из-за "Индианы Джонса и храма судьбы", чтобы общественности было легче понять разницу между PG и PG-13.

Я считаю, что это очень элегантное решение.

Спасибо, что в пятый раз участвуете в нашей программе.

Маск:
Не за что. Мне нужно поехать в Мемфис, чтобы починить несколько GPU.

Ведущий:
Вам нужно их установить и развернуть.

Маск:
Я собираюсь сражаться за машины.

Ведущий:
Хорошо проведите время в вашем Airstream. Когда я впервые пригласил Элоуна в Starbase, он сказал: "Приходи, ты обязательно должен увидеть, что я строю."

Я спросил: "Там есть отель?" Он сказал: "Нет, у меня есть двухкомнатный дом, ты можешь просто приехать и жить там." В итоге, когда я приехал, я обнаружил, что это был старый дом, расположенный рядом с болотом. Мы стояли снаружи, и комары все время кусали нас. Я сказал: "Боже, ты вполне мог бы купить себе лучший дом." Он сказал: "У меня нет времени, мне нужно запустить эти ракеты."

Я тогда подумал, что сейчас ты вполне можешь порадовать себя передвижным домом, Элон. Ладно, возвращайся к работе. Спасибо тебе.

Маск: Спасибо.