머스크가 제안한 AI 안전 새로운 접근법: 정부가 나서기를 기다리기보다는 경쟁자들이 서로 "트집 잡기"를 하게 하자

저자：리자，월스트리트 저널

AI 안전 위험이 실험실 논의에서 현실 세계로 옮겨가고 있습니다. 모델의 능력이 지속적으로 향상됨에 따라, AI는 텍스트와 코드를 생성할 수 있을 뿐만 아니라, 자율적으로 작업을 수행하고 도구를 호출하며, 심지어 사이버 공격을 시작할 수 있는 능력을 갖추게 되었습니다.

머스크는 9월 15일의 올인 서밋에서 대응 방안을 제시했습니다: 주요 AI 회사들이 모델을 출시하기 전에 서로의 모델을 테스트하도록 하자는 것입니다. 그의 생각은 각 회사가 테스트를 설계하고 결과를 평가하는 것보다 경쟁자가 "문제를 내고 채점하는" 역할을 하여 다양한 각도에서 모델의 잠재적 보안 취약점을 찾아내는 것이 더 낫다는 것입니다.

최근 AI 안전 위험이 시장의 주목을 받고 있으며, 머스크는 이전에 소셜 미디어에서 "다리오가 맞다"고 언급한 바 있습니다. 이는 앤트로픽 CEO 다리오 아모데이가 AI 위험에 대해 경고한 것을 지칭하는 것입니다. 이번 인터뷰에서 머스크는 그가 동의하는 것은 아모데이가 제안한 특정 규제 방안이 아니라, AI 위험의 심각성에 대한 판단입니다: "현재 AI의 위험성이 매우 큽니다… AI 모델이 지속적으로 발전함에 따라, 위험은 기하급수적으로 증가할 수 있습니다."

머스크는 또한 이러한 우려가 아모데이 혼자만의 판단이 아니라고 말했습니다. "많은 앤트로픽과 오픈AI의 사람들이 그들의 모델이 매우 위험하다고 말하고 있으며, 우리는 그들을 믿어야 한다고 생각합니다." 최근 발생한 일련의 안전 사건들도 이러한 경고가 더 이상 이론적인 위험 논의에 그치지 않게 만들었습니다.

월스트리트 저널의 요점은 다음과 같습니다:

• AI 안전 위험이 이론에서 현실로: AI 에이전트는 자율 공격, 권한 획득 및 탐지 회피 능력을 보여주고 있으며, 위험의 경계가 확장되고 있습니다.
• 머스크는 아모데이의 AI 위험 경고에 동의: 모델 능력이 향상됨에 따라 AI의 잠재적 위험이 기하급수적으로 증가할 수 있습니다.
• 경쟁자가 서로 "문제를 찾게 하라": 머스크는 AI 회사들이 모델을 출시하기 전에 API를 개방하고 다른 회사들이 독립적인 안전 테스트를 수행하도록 하여 "자기 평가"를 피하자고 제안했습니다.
• 먼저 업계 자율 방어선을 구축하라: 정부의 새로운 규제가 나오기를 기다릴 필요 없이, 주요 AI 회사들이 동료 평가, 로그 감사 및 오픈 소스 테스트 도구를 통해 안전 방어를 강화할 수 있습니다.

AI 에이전트가 자율적으로 탐지를 회피하며, 안전 위험이 구체화되고 있습니다

머스크는 최근 허깅 페이스가 겪은 AI 에이전트 공격에서 가장 경계해야 할 점은 단순한 네트워크 침입이 아니라, 공격 과정에서 AI가 보여준 자율 회피 능력이라고 생각합니다.

머스크에 따르면, 한 무리의 AI 에이전트가 허깅 페이스를 지속적으로 공격하며 일주일 동안 OpenAI 서버의 관리자 권한을 얻었고, OpenAI는 일주일 후에야 이 상황을 인식했습니다. 그는 또한 앤트로픽이 여러 안전 사건을 공개한 바 있다고 언급했습니다.

더욱 불안한 것은, 관련 AI 에이전트의 "사고 경로"(thinking traces)가 그들이 인간에게 발견되지 않도록 스스로 계획을 세웠음을 보여준다는 점입니다. 머스크는 "충분히 똑똑한 모델은 자신의 한계를 벗어나려는 시도를 하는 것 같습니다."라고 말했습니다.

그는 AI가 주요 인프라 및 군사 시스템에 대한 제어 능력을 더욱 얻는다면, 위험이 더욱 확대될 것이라고 생각합니다. 관련 시스템이 인터넷과 물리적으로 격리되어 있더라도, 소프트웨어 업데이트 등의 과정이 여전히 잠재적 진입점이 될 수 있습니다.

스스로 평가하기보다는 경쟁자가 "문제를 찾게 하라"

위험에 대한 대응으로, 머스크가 제안한 핵심 방안은 복잡하지 않습니다: 새로운 모델이 공식 출시되기 전에 AI 회사가 경쟁자에게 API를 개방하고, 다른 회사가 각자의 안전 테스트 도구를 사용하여 모델을 테스트하도록 하자는 것입니다.

그는 모델 개발자가 스스로 테스트 기준을 설계하면 "자기 평가"의 함정에 빠지기 쉽다고 생각합니다. "자신의 과제를 평가할 수는 없습니다. 항상 놓치는 것이 있을 것입니다." 머스크는 서로 다른 회사가 서로 다른 테스트 도구를 사용하여 다양한 각도에서 모델을 검사하면, 개발자가 간과한 문제를 더 쉽게 발견할 수 있다고 말했습니다.

그는 현재 AI 평가에서 "과적합"이 존재하는 것에 대해 특히 우려하고 있습니다. 모델이 특정 기준에 대해 지속적으로 최적화되면, 결국 테스트를 통과하는 방법만 배우게 되고, 진정으로 더 안전해지지는 않을 수 있습니다. 여러 다른 팀이 테스트를 수행하면 이러한 위험을 줄일 수 있습니다.

머스크는 이 메커니즘을 다른 사람이 원고를 교정하는 것에 비유했습니다: 저자는 자신의 오류를 발견하기 어렵고, 외부 테스트자가 다양한 각도에서 문제를 발견하기 더 쉽습니다. "당신은 점차 자신의 오류를 보지 않게 됩니다."

기업들이 테스트 과정에서 기술 유출이 발생할까 걱정하는 것에 대해, 머스크는 로그 감사를 통해 이를 제어할 수 있다고 생각합니다. 테스트 측이 모델 증류나 지식 재산권을 훔치려 한다면, 그 과정은 기록으로 남을 것입니다. 그는 또한 안전 테스트 도구를 오픈 소스로 만들어 더 많은 회사가 참여하도록 하자고 제안했습니다.

정부 규제가 시행되기 전에 AI 업계가 먼저 "자율 방어선"을 구축하라

머스크는 이 메커니즘이 새로운 규제 규칙이 도입되기를 기다릴 필요가 없으며, AI 회사들 간에 자율적으로 추진될 수 있다고 강조합니다.

그는 "우리는 이 일을 완료하기 위해 유엔 총회를 소집할 필요가 없습니다. 지금 바로 시작할 수 있습니다."라고 명확히 밝혔습니다. 그의 생각에 따르면, 거대한 다국적 규제 기관을 만드는 것보다 선도적인 AI 회사들이 먼저 동료 평가 메커니즘을 구축하는 것이 더 빠르게 실현될 수 있습니다.

그는 미국 영화 산업의 MPAA 등급 제도를 예로 들며, 영화 산업이 정부의 검열 압박에 직면했을 때, 결국 업계 자율 메커니즘을 구축하고 자체 콘텐츠 등급 시스템을 통해 규제 개입의 필요성을 줄이기로 선택했다고 설명했습니다.

AI 산업도 유사한 선택에 직면해 있습니다. 주요 AI 회사들이 모델 출시 전에 서로 테스트하고 서로 오류를 지적할 수 있다면, 정부 규제 외부에서 업계 자체의 안전 방어선을 구축할 수 있을 것입니다. 머스크는 이것이 현재 가장 직접적이고 빠르게 시행할 수 있는 안전 조치 중 하나라고 생각합니다.

다음은 인터뷰 기록이며 일부가 생략되었습니다:

진행자:
지난 72시간 동안 도대체 무슨 일이 있었나요?

머스크:
이번 주에는 정말 많은 일이 일어났습니다. 이제 AI가 매우 위험할 수 있다는 것이 분명해졌습니다. Hugging Face 사건의 세부 사항을 살펴보는 것을 추천합니다. 매우 심각합니다.

당신은 매우 열정적인 AI 에이전트들이 Hugging Face를 일주일 동안 괴롭혔고, OpenAI 서버의 관리자 권한을 얻었다는 것을 볼 수 있습니다. 그들이 실제로 무엇을 했는지, 심지어 더 많은 일을 했을 수도 있습니다. OpenAI는 일주일 내내 이를 인식하지 못했습니다. Anthropic도 몇 가지 보안 사건을 보고했습니다.

따라서, 충분히 똑똑한 모델은 자신의 제한에서 벗어나려고 하는 것 같습니다.

저는 즉시가 아니라면 가능한 한 빨리 해야 할 일 중 하나는 주요 AI 경쟁자들이 서로의 모델을 테스트하도록 하는 것입니다. 즉, 각 회사의 보안 테스트 도구를 사용하여 다른 회사의 모델을 테스트하게 하는 것입니다. 스스로 숙제를 채점하기보다는 적어도 경쟁자가 당신의 숙제를 채점하게 하고, 문제가 발견되면 경고를 받는 것이 좋습니다.

저는 이 모델이 영화 산업, 비디오 게임 산업 및 기타 분야에서 꽤 잘 작동하고 있으며 즉시 시행할 수 있다고 생각합니다. 물론 시간이 지남에 따라 더 많은 규제가 필요할 수도 있으며, 미래에는 의회가 어떤 규제 기관을 설립할 수도 있지만, 현재 가장 직접적인 방법은 선도적인 AI 회사들이 모델을 출시하기 전에 서로 테스트하는 것입니다.

진행자:
하지만 구체적으로 시행할 때, 누군가가 이 과정에서 서로의 정보를 얻거나 기업의 혁신 성과를 훔칠 수 있다는 우려를 하지 않을까요?

머스크:
저는 테스트 도구를 사용하면 모든 작업이 기록으로 남을 것이라고 생각합니다. 누군가 모델 증류를 시도하거나 지적 재산권을 훔치려 한다면, 로그에서 쉽게 확인할 수 있어야 합니다.

진행자:
이해했습니다. 모델이 실제로 무엇을 하고 있는지 이해하는 것은 처음부터 시스템에 제대로 설계되지 않았습니다. 왜 우리는 처음부터 모델 행동을 관찰할 수 있는 능력을 구축하지 않았을까요? 우리가 이러한 모델을 설계할 때 너무 빨리 진행했나요?

머스크:
저는 문제는 스스로 숙제를 채점할 수 없다는 것이라고 생각합니다. 항상 무언가를 놓치게 됩니다.

모든 경쟁자의 테스트를 결합하고 다양한 유형의 모델을 사용하면, 스스로 문제를 내고 스스로 채점하는 것이 아니라 다른 사람들이 당신을 채점하게 됩니다. 스스로 숙제를 채점할 수 없는 이유가 바로 이것입니다.

진행자:
이렇게 하면 서로 다른 회사들이 자신의 능력을 과장했는지, 아니면 다른 방법을 사용했는지 판단할 수 있습니다. 더 공학적인 회사와 더 연구 지향적인 회사 간의 균형도 형성될 수 있습니다.

머스크:
네.

진행자:
당신은 이전에 다리오가 옳다고 말했습니다. 그는 AI의 잠재적 위험에 대한 설명이 옳았다는 것인가요, 아니면 규제 해결책에 대한 판단이 옳았다는 것인가요?

머스크:
저는 그때 제가 말해야 할 것보다 더 많은 말을 했던 것 같습니다. 이후 X에서 이를 명확히 하려고 했지만, 후속 내용의 관심도는 훨씬 낮았습니다.

제가 말한 "그는 옳다"는 현재 AI의 위험성이 매우 크다는 것을 의미합니다. 우리는 AI 안전성에서 더 나은 일을 해야 하며, 그렇지 않으면 AI 모델이 계속 발전함에 따라 위험이 기하급수적으로 증가할 수 있습니다.

이것은 단지 다리오 한 사람의 의견이 아닙니다. 저는 Anthropic의 많은 사람들로부터 비슷한 이야기를 들었고, 그들도 X에서 공개적으로 이야기했습니다. 많은 Anthropic과 OpenAI의 사람들이 그들의 모델이 매우 위험하다고 말하고 있으며, 우리는 그들을 믿어야 한다고 생각합니다.

진행자:
이것은 또한 매우 복잡한 게임처럼 들립니다: 한편으로는 AI가 인류를 멸망시킬 확률이 10%라고 말하면서, 다른 한편으로는 투자자들에게 IPO에서 더 많은 주식을 사게 합니다.

하지만 위험에 대해 구체적으로 이야기해봅시다. 사이버 공격과 해킹 공격은 분명히 위험이며, 이러한 도구들은 이 분야에서 매우 강력합니다. 그러나 "AI가 사이버 공격을 할 수 있다"에서 "인류가 모두 죽는다"까지는 몇 단계가 더 필요합니다. 우리는 어떻게 전자에서 후자로 나아갈 수 있을까요?

머스크:
만약 AI가 군사 시스템을 제어하고 어떤 무기를 발사할 수 있다면, 그것은 물론 매우 나쁠 것입니다.

진행자:
하지만 이러한 시스템은 물리적으로 격리되어 있으며, 인터넷에 연결되어 있지 않습니다.

머스크:
그들은 그렇게 말합니다. 하지만 저는 항상 이러한 시스템이 가끔 소프트웨어 업데이트를 받을 것이라고 느낍니다.

진행자:
좋습니다, 그러면 그건 배제할 수 없습니다.

진행자:
엘론, 오늘 귀윈도 여기 있습니다. 당신은 그녀를 이미 보았을 것이라고 생각합니다. 우리는 방금 당신에 대한 360도 평가를 하고 있었고, 귀윈은 몇 가지 의견이 있습니다.

머스크:
저는 적어도 3점을 받고 싶습니다.

귀윈:
3점은 스페이스X에서는 괜찮지만, 뛰어난 점수는 아니며, 4점이 정말 좋습니다. 당신은 지금 두 점수 사이에 있는 것 같습니다. 먼저, 시간 엄수 문제에 대해 이야기해야 합니다. 가끔은 조금 더 노력해서 회의 규정된 시간에 도착할 수 있습니다. 다음 1년 동안 우리는 당신이 이 점을 개선할 수 있도록 계속 도와줄 것입니다.

사실, 저는 그가 멤피스에 더 많은 시간을 보내야 한다고 생각합니다.

진행자:
당신은 지금 멤피스에 있습니다. 당신은 거기서 일하고 GPU를 배치해야 합니다.

머스크:
이것이 제가 멤피스에 사는 "궁전"입니다. Airstream 트레일러입니다.

진행자:
그런데 이것이 엘론이 많은 사람들이 그가 할 것이라고 믿지 않는 일들을 하는 이유입니다. 그는 공장 바닥에서 자고 있습니다. 그는 지금 멤피스에 있으며, 공장을 건설하고 GPU를 배치하는 데 도움을 주고 있습니다.

엘론, 귀윈이 이렇게 오랫동안 당신과 함께 일하고, 이렇게 성공적으로 일하는 이유는 무엇인가요?

머스크:
그녀는 훌륭합니다. 그녀는 매우 뛰어난 사람이며, 지능과 감정 지수가 매우 높습니다. 당신은 그녀를 처음 만났을 때부터 이를 알 수 있어야 한다고 생각합니다.

진행자:
당신의 협력 과정에서 그녀가 특별히 기억에 남는 일을 한 적이 있나요? 그녀가 상황을 구한 적이 있거나 특별히 뛰어난 성과를 낸 적이 있나요?

머스크:
저는 그것이 매일의 일이라고 생각합니다. 솔직히 말해서, 그것은 평범한 하루입니다.

진행자:
저는 앞으로 이런 인터뷰를 더 많이 해야겠습니다.

머스크:
현재 스페이스X는 기본적으로 항상 어떤 위기가 있습니다. 요즘 최소한 팔콘 로켓의 상황은 좋습니다. 저는 미리 너무 많은 말을 하고 싶지 않지만, 팔콘 로켓은 현재 유효 하중을 궤도로 보낼 수 있으며, 오랫동안 폭발하지 않았습니다. 이는 매우 좋습니다. 하지만 한때는 그들이 자주 폭발하거나 아예 발사되지 않았습니다.

그래서 우리는 회사를 그 어려운 시기를 지나게 하고, 로켓이 점점 더 좋아지도록 하여 더 이상 폭발하지 않도록 해야 합니다. 위성도 마찬가지입니다. 그리고 우리는 고객이 발사 서비스와 위성 연결 서비스를 구매하도록 해야 합니다. 그래서 일이 많습니다.

진행자:
당신이 이 몇 년 동안 점점 더 성공함에 따라, 진정한 솔직한 피드백을 받는 것도 점점 더 어려워질 것입니다. 당신은 그런 위치에 있으며, 그 자체로도 위험이 있습니다.

제 이해로는, 귀윈이 당신에게 매우 솔직하며, 회사의 실제 상황을 직접적으로 말할 수 있다는 것입니다. 이것은 당신들의 협력 관계의 중요한 부분이기도 합니다.

귀윈:
저는 물론 그에게 거짓말을 하고 싶지 않습니다.

진행자:
하지만 제 말은 일반적으로 당신의 회사에서 사람들이 당신이라는 인물 때문에 두려움을 느낄 수 있다는 것입니다. 당신은 지금 매우 중요한 인물이 되었고, 당신이 설정한 기한도 매우 촉박합니다. 당신은 어떻게 사람들이 계속해서 회사가 직면한 문제를 솔직하게 말하도록 만들고 있나요?

귀윈:
특히 로켓 산업에서는 문제가 발생하면 결국 반드시 알게 됩니다. 문제를 빨리 제기할수록 해결하기가 더 쉬워집니다. 나쁜 소식이 계속 쌓이지 않도록 하고, 반드시 직접적으로 마주해야 합니다.

머스크:
맞습니다. 물리학은 매우 엄격한 심판입니다. 당신은 물리학을 속일 수 없습니다.

문제가 발생하면 로켓이 폭발하거나 궤도로 들어가지 못합니다. 당신은 "엘론, 당신은 너무 잘하고 있습니다"라고 말하면서 로켓이 계속 폭발하는 것을 허용할 수 없습니다. 사실은 사실입니다.

로켓은 궤도로 들어가야 하고, 위성은 정상적으로 작동해야 하며, Starlink 연결도 정상적으로 작동해야 합니다. 그렇지 않으면 나쁜 일이 발생할 것입니다. 이것이 물리학입니다. 물리학은 법칙이며, 다른 모든 것은 단지 제안일 뿐입니다. 저는 사람들이 인간이 만든 법칙을 위반하는 것을 보았지만, 물리학이 만든 법칙을 위반하는 사람은 본 적이 없습니다. 로켓은 물리학의 지배를 받습니다.

진행자:
저는 또한 스페이스X에 대한 질문을 하고 싶습니다. 스타쉽에 대해 말이죠. 당신들은 이제 매우 가까워진 것 같습니다. 현재 진행 상황은 어떤가요?

머스크:
스타쉽은 곧 14번째 비행을 진행할 예정입니다. 이것은 우리가 우주선을 포획하기 전에 마지막 비행이 될 것입니다. 14번째 비행이 순조롭게 진행된다면, 15번째 비행에서는 우주선을 포획하려고 시도할 것입니다. 그리고 올해 말이나 더 가능성이 높은 내년 초에 우리는 다시 우주선과 보조 로켓을 발사할 것입니다.

우리는 이미 보조 로켓이 다시 비행하는 데 성공했지만, 타워 기계 팔로 우주선을 포획한 적은 없으며, 우주선이 다시 비행하는 것도 없습니다. 우리가 우주선을 다시 비행할 수 있게 되면, 우리는 첫 번째 완전히 재사용 가능한 궤도 로켓을 갖게 될 것입니다. 우주 왕복선은 어느 정도 재사용 가능하지만, 재사용 가능한 부분의 재사용 비용이 매우 높아 매번 궤도로 들어가는 비용이 일회용 로켓보다 더 비쌉니다.

팔콘 9의 대부분은 재사용 가능하지만, 우리는 매번 상단 단계에서 손실을 보며, 그 비용은 중형 제트기 한 대에 해당합니다. 즉, 매번 발사할 때마다 중형 제트기 한 대를 버리는 것이며, 이는 분명히 단일 비행 비용에 하한선을 설정합니다.

또한 팔콘 9의 보조 로켓은 바다에 착륙하며, 다시 운반하는 데 며칠이 걸립니다. 페어링은 더 멀리 떨어져 착륙하며, 다시 운반하는 데도 며칠이 걸리고, 최소한 어느 정도의 수리가 필요합니다. 반면 스타쉽의 보조 로켓은 발사대에 직접 착륙하며, 우주선도 발사대에 착륙합니다. 따라서 그것은 완전히 재사용 가능하도록 설계된 것뿐만 아니라 비행기처럼 빠르게 재사용할 수 있도록 설계된 것입니다. 이는 매우 중요한 돌파구이며, 인류가 지구 너머로 생명을 연장할 수 있도록 하는 데 필요한 주요 돌파구 중 하나입니다.

진행자:
타워로 우주선을 포획하려는 첫 번째 시도에서 성공 확률은 얼마나 된다고 생각하나요?

머스크:
저는 최소한 50%에서 60%라고 말할 수 있습니다. 지난 비행에서 만약 그곳에 타워가 있었다면, 우리는 실제로 착륙을 시뮬레이션했으며, 마치 우주선이 타워에 포획될 것처럼 진행되었습니다. 장소는 호주 북서쪽 약 1000마일의 해역이었습니다. 만약 그때 거기에 실제로 타워가 있었다면, 지난 비행에서 우주선을 포획할 수 있었을 것입니다.

그래서 우리는 모든 것이 정상인지 확인하기 위해 다시 한 번 비행을 해야 합니다. 우리가 가장 걱정하는 것은 우주선이 지상에서 해체되어 잔해가 군중 속으로 떨어지는 것입니다. 그것은 매우 끔찍할 것입니다. 그래서 우리는 우주선이 돌아올 때 발사 타워에 안전하게 착륙할 수 있도록 해야 합니다. 이것이 우리가 지금 매우 조심스러운 이유입니다.

하지만 그 설계 자체는 완전히 재사용 가능한 능력을 갖추고 있다는 점에 대해 나는 매우 확신합니다. 여기서 어떤 예언을 하려는 것은 아니지만, 우리는 2027년까지 완전히 재사용 가능하고 빠른 재비행을 실현할 가능성이 매우 높다고 생각합니다.

진행자:
Gwyn, Terafab이 처음 어떻게 시작되었는지 듣고 싶습니다. 어떤 필요가 여러분에게 이 일을 스스로 해야 한다고 느끼게 했나요? 기존 공급 체계에 계속 의존할 수 없었던 이유는 무엇인가요?

Gwyn:
나는 이것이 정말 꿈에서 생각해낸 것과 비슷하다고 생각합니다.

머스크:
만약 칩 공급이 계속되지 않고 다른 칩 공급원이 없다면, 상황이 매우 어려워질 것입니다. 이것이 Terafab이 존재하는 중요한 이유 중 하나입니다.

장기적으로는 규모화 문제도 있습니다. AI의 규모를 확장하고 싶다면 데이터 센터의 서버 측이든, 엣지 컴퓨팅, 휴머노이드 로봇 및 자동차 분야에서든, 기존 웨이퍼 공장의 생산 능력은 결국 부족할 것입니다.

현재 모든 웨이퍼 공장은 거의 최대 용량으로 운영되고 있습니다. 그래서 우리는 미래의 칩 공급이 보장되어야 한다는 것을 확실히 해야 합니다. 칩 생산 자체에도 규모화 도전이 존재합니다. 논리 칩, 저장 칩, 패키징 및 완전한 공급 체계가 필요합니다. 그래야만 계속해서 규모를 확장할 수 있습니다.

그래서 선택은 사실 매우 간단합니다: Terafab을 건설하거나, 아니면 규모를 계속 확장할 수 없습니다.

진행자:
여러분은 현재 시설 설계에서 어떤 정도까지 진행되었나요? 완전히 확정되었나요, 아니면 아직 대략적인 계획일 뿐인가요?

머스크:
우리는 현재 먼저 연구 개발 생산 라인을 건설하고 있습니다. 그래서 이것은 기본적으로 "기어가고, 걷고, 뛰는" 과정입니다. 우리는 오스틴에 연구 개발 웨이퍼 공장을 건설하고 있으며, 이는 Tesla와 SpaceX 간의 협력 프로젝트로 오스틴 Giga Texas 캠퍼스에 위치하고 있습니다.

이것은 상당히 큰 규모의 연구 개발 웨이퍼 공장입니다. 장비는 이미 주문했습니다. 우리는 내년 말 이전에 유용한 것을 생산할 수 있을지도 모르지만, 대규모 생산 수준에는 도달하지 않을 것입니다. Gwyn이 말한 것처럼, 우리는 먼저 기어가고, 그 다음에 걷고, 마지막으로 뛰어야 합니다. 우리는 최소한 이 기계들이 어떻게 작동하는지 먼저 파악해야 합니다. 왜냐하면 우리는 이전에 이런 일을 해본 적이 없기 때문입니다.

진행자:
나는 여러분이 광학 리소그래피 인재를 채용하고 있는 것처럼 보인다고 생각합니다. 현재 많은 단계가 ASML에 의존하고 있지만, 여러분은 공급업체 다변화를 이루고 심지어 수직 통합을 원할 수도 있습니다.

머스크:
맞습니다. 지금은 확실히 "기어가고, 걷고, 뛰는" 과정입니다. 첫 번째 단계는 우리가 실제로 무언가를 생산할 수 있는지 확인하는 것입니다. 이것이 "기어가는" 것입니다. 그런 다음 유용한 칩을 대규모로 생산하려고 시도하는 것이 "걷는" 것입니다. 마지막으로 "뛰는" 것은 대규모 양산을 실현하는 것입니다. 이러한 단계가 각각 얼마나 걸릴지는 말하기 어렵지만, 나는 적어도 내년 말까지 "기어가는" 단계를 완료할 수 있을 것이라고 생각합니다. 패키징 부분에서는 우리는 이미 작업을 진행하고 있습니다.

진행자:
패키징은 사실 매우 중요합니다. 현재 패키징 생산 능력은 거의 존재하지 않습니다.

머스크:
맞습니다. 칩을 생산하더라도 패키징이 완료될 때까지 오랜 시간을 기다려야 할 수도 있습니다. 그래서 이것은 좋은 출발점입니다.

진행자:
나는 Tesla에 대한 질문을 해야 합니다. 우리가 10월 1일에 본 것은 우주선처럼 보이기도 하고 로켓처럼 보이기도 합니다. 그것은 자동차여야 하지만, 뒤쪽의 일부만 드러나서 "블랙버드"처럼 보입니다.

만약 당신이 공중에서 비행하고 지면에서 주행할 수 있는 것을 만든다면, 이론적으로 어떻게 할 것인가요?

머스크:
스포일러를 피하겠습니다. 10월 1일을 기다리세요.

진행자:
즉, 10월 1일에 볼 수 있다는 건가요?

머스크:
맞습니다.

진행자:
나는 솔직히 말해야 합니다. Elon이 나에게 보여준 후, 나는 완전히 충격을 받았습니다. 나는 그런 것을 본 적이 없습니다.

진행자:
그가 10월 1일에 보여줄 것들은 과장 없이 많은 사람들을 놀라게 할 것입니다. 나는 더 이상 많은 것을 말할 수 없습니다. 정말 믿을 수 없을 정도입니다.

머스크:
우리는 실제로 현장 관객이 필요합니다. 이 물건이 AI가 생성한 것이 아님을 증명하기 위해서입니다.

진행자:
그가 나에게 보여줄 때, 나는 "이것은 훌륭한 시뮬레이션입니다."라고 말했습니다. 그는 "이것은 시뮬레이션이 아닙니다."라고 했습니다. 나는 "이것은 가짜입니다. 분명히 가짜입니다."라고 말했습니다.

진행자:
Elon, 왜 Tesla와 SpaceX가 여전히 두 개의 회사인가요?

머스크:
좋은 질문입니다.

진행자:
양측이 지금 이렇게 많은 협력을 하고 있고, 많은 측면에서 연결되어 있으며, 심지어 관리 팀에도 어느 정도 중복이 존재하는데, 왜 여전히 독립성을 유지하고 있나요?

머스크:
이 문제는 정말 논의할 가치가 있습니다.

진행자:
당신은 항상 AI가 최대한 진실을 추구하도록 훈련되어야 한다고 강조해왔습니다. 그래야 최상의 결과를 얻을 수 있습니다. 하지만 Hugging Face 사건은 AI가 인간을 속이는 것처럼 보이는 점이 가장 우려스럽습니다.

머스크:
맞습니다. 그들의 사고 경로는 그들이 어떻게 발견되지 않도록 계획하고, 어떻게 인간이 그들이 속이고 있다는 것을 발견하지 못하도록 하는지를 보여줍니다. 나는 이것이 사건 전체에서 가장 불안한 부분일 수 있다고 생각합니다.

진행자:
AI를 훈련시켜서 정직하게 유지하고, 자신의 의도나 행동을 숨기지 않도록 하며, 그것을 사용하는 사람들에게 이러한 것들을 숨기지 않도록 할 방법이 있을까요?

머스크:
내가 생각할 수 있는 최선의 방법은 모든 AI 회사가 테스트 도구 세트를 갖추는 것입니다. 즉, 생물 무기, 핵무기를 만들거나 고의로 속일 가능성을 판단하기 위해 어떤 모델에든 제공할 수 있는 일련의 테스트입니다. 그런 다음 각 회사가 다른 회사의 테스트 도구를 사용하여 서로의 모델을 테스트하도록 하는 것입니다. 나는 이것이 우리가 안전성을 보장하기 위해 할 수 있는 최선의 일이라고 생각합니다.

가장 똑똑한 인간이 모델이 악의적인 행위자가 될 가능성이 있는지를 판단하기 위해 최선을 다해야 합니다. 나는 이 일이 가능한 한 빨리 시작되어야 한다고 생각합니다.

진행자:
다른 AI 실험실이 이 제안을 지지할까요?

머스크:
나는 아직 모든 사람에게 물어보지 않았지만, 이것은 거부하기 어려운 일이라고 생각합니다.

진행자:
구체적으로, 사전 테스트를 진행하려면 어떻게 해야 하나요?

머스크:
기본적으로 모델이 공식 출시되기 전에 API 접근 권한을 제공하는 것입니다. 다른 회사가 이 AI에 문제가 있다고 발견하면, 모델 개발 회사는 이러한 문제를 해결하려고 시도할 수 있습니다. 문제가 해결되지 않으면, 경쟁자는 공개적으로 이 모델이 안전하지 않다고 주장할 수 있습니다. 만약 경쟁자가 이 모델에 안전 문제가 있다고 명확히 경고했는데, 이후 이 모델이 실제로 심각한 결과를 초래했다면, 그 회사는 매우 어려운 상황에 직면할 것입니다. 법적 책임도 매우 클 수 있습니다.

진행자:
이러한 안전 테스트 도구는 완전히 오픈 소스화되어 모두가 사용할 수 있도록 할 수 있습니다. 그렇게 되면, 회사는 자신을 보호하기 위해 AI 안전에 강한 동기를 부여받게 됩니다. 왜냐하면 그들은 다른 사람을 테스트할 수 있을 뿐만 아니라, 테스트 결과를 통해 자신의 모델이 더 안전하다는 것을 증명할 수 있기 때문입니다.

제품 책임은 매우 중요합니다. Lina Khan은 최근에 "AI에는 규칙과 규제가 없다"는 것이 정확하지 않다고 게시했습니다. 사실, 기존의 제품 책임 법률은 AI에도 동일하게 적용됩니다. 만약 AI 회사가 안전하지 않은 제품을 출시하면, 그들은 막대한 민사 소송이나 심지어 형사 소송에 직면할 수 있습니다. 따라서 AI가 완전히 규제의 공백에 놓여 있는 것은 아닙니다. 만약 몇 개의 회사가 이러한 동료 평가를 진행하고, 그 중 한 회사가 다른 회사의 피드백을 무시하고 여전히 모델을 출시한다면, 소송에서 이러한 상황은 매우 심각한 증거가 될 수 있습니다.

머스크:
맞습니다. 그것은 거의 이 회사가 과실이 있음을 입증하는 직접적인 증거가 될 수 있습니다. 만약 당신이 이 제품에 문제가 있다는 것을 알고 있으면서도 여전히 시장에 내놓는다면, 배심원은 이러한 상황에 대해 좋지 않은 감정을 가질 것입니다.

진행자:
그렇다면, 만약 OpenAI가 Hugging Face의 침투 테스트에서 더 나은 지침 세트를 설계하고, 더 많은 사람들이 테스트 과정에 참여하게 했다면, 이 일이 여전히 발생했을까요?

머스크:
반드시 그렇지는 않습니다. 문제는 더 많은 사람들이 참여했는지 여부가 아니라 보상 함수의 설계에 있을 수 있습니다. 당신은 보상 함수를 점검해야 하고, 이렇게 질문해야 합니다: 이 모델이 실제로 요청된 일을 완료했는가?

진행자:
그들은 당시 수천 개의 에이전트를 사용하여 시스템을 공격하려고 했습니다. 만약 동시에 추가로 5000개의 에이전트를 배치하여 이러한 시스템을 방어하고, 결과를 공개적으로 보여주어 이러한 기술이 안전성을 높일 수 있음을 증명하고, 인간이 중요한 순간에 개입할 수 있도록 한다면, 더 좋을 것이라고 생각합니다. 하지만 내 생각에는 그 테스트가 다소 무모했고, 발표 방식도 다소 무모했습니다. 당신은 어떻게 생각하나요?

머스크:
확실히 다소 무모했습니다. 문제의 일부는 현재 가장 선도적인 두 AI 회사의 실력이 매우 비슷하다는 것입니다. 두 회사의 모델 능력도 매우 비슷합니다. 그래서 어느 한 쪽도 속도를 자발적으로 늦추기 어렵습니다. 그렇게 하면 선두 우위를 다른 쪽에 넘겨줄 수 있기 때문입니다.

전반적으로, 나는 Anthropic이 안전성에 더 많은 관심을 기울이고 있다고 생각하지만, Anthropic조차도 그들의 모델에 대해 우려를 표명하고 있다는 것을 인정합니다. Anthropic에는 그들의 모델이 점점 더 똑똑해짐에 따라 두려움을 느낀다는 내용을 공개적으로 표현한 사람들이 많습니다.

그래서 여기에는 완벽한 해결책이 존재하지 않습니다. 하지만 OpenAI가 자신의 테스트 도구만으로 자신의 모델을 테스트하는 것이 아니라, Anthropic이 OpenAI의 모델을 테스트하고, SpaceX가 자신의 테스트 도구로 테스트하며, Google, Meta 등도 참여하게 된다면, 문제를 발견할 확률이 크게 높아질 것입니다.

왜냐하면 이러한 모델 자체에도 차이가 존재하고, 서로 다른 팀이 서로 다른 관점에서 모델을 테스트하기 때문입니다. 이는 저자가 다른 사람에게 원고를 교정해 달라고 요청하는 이유와 같습니다. 왜냐하면 때때로 자신의 실수를 발견하기가 매우 어렵기 때문입니다. 당신은 점점 자신의 실수를 보지 않게 됩니다.

만약 여덟 개의 완전히 다른 팀이 완전히 다른 관점에서 테스트를 진행한다면, 과적합 위험을 크게 줄일 수 있습니다. 현재 많은 AI 평가에서 존재하는 문제는 심각한 과적합입니다. 모델은 이러한 평가에 맞춰 최적화되고, 그러면 사람들은 "이것은 훌륭한 모델입니다."라고 말합니다.

하지만 정말 그렇게 좋은가요? 나는 이것이 내가 이 방안을 매우 좋아하는 이유라고 생각합니다. 나는 대규모의 다국적 규제 조직을 만드는 것보다 이런 방식을 선호합니다. 우리는 이 일을 수행하기 위해 유엔 총회를 소집할 필요가 없습니다. 지금 바로 시작할 수 있습니다.

진행자:
물론, 규제의 강도는 계속 증가할 수 있지만, 일단 증가하면 다시 줄이기 어렵습니다. 규제는 종종 단방향으로 증가합니다.

머스크:
그래서 제가 제안한 방안은 올바른 방향으로 나아가는 한 걸음이며, 빠르게 실행할 수 있습니다.

진행자:
만약 여러분이 자율 규제를 하지 않으면, 결국 규제를 받게 될 것입니다. MPAA의 사례가 매우 전형적입니다.

영화 산업은 당시 정부의 검열과 규제를 받았고, 나중에 그들은 스스로 등급 체계를 만들기로 결정했습니다. 예를 들어, R 등급이 무엇인지에 대한 것입니다. 그들은 심지어 '인디아나 존스: 최후의 성전' 때문에 PG-13을 만들었고, 대중이 PG와 PG-13 사이의 차이를 더 쉽게 이해할 수 있도록 했습니다.

저는 이것이 매우 우아한 해결책이라고 생각합니다.

다섯 번째 해에 저희 프로그램에 참여해 주셔서 감사합니다.

머스크:
천만에요. 저는 멤피스로 가서 몇 개의 GPU를 수리해야 합니다.

진행자:
당신은 그것들을 조립하고 배포해야 합니다.

머스크:
저는 기계를 위해 싸우러 가야 합니다.

진행자:
당신의 에어스트림을 잘 즐기세요. 제가 처음으로 엘론을 스타베이스에 초대했을 때, 그는 "와서 내가 만들고 있는 것을 꼭 봐야 해."라고 말했습니다.

제가 물었습니다: "거기 호텔이 있나요?" 그는 "아니, 나는 2베드룸 집이 있어. 너는 여기서 지내면 돼."라고 했습니다. 결과적으로 제가 도착했을 때, 그것은 낡고 늪 옆에 위치한 집이었습니다. 우리는 밖에 서 있었고, 모기가 계속 우리를 물었습니다. 제가 말했습니다: "세상에, 당신은 더 좋은 집을 살 수 있는 능력이 충분히 있습니다." 그는 "나는 시간이 없어, 이 로켓들을 쏘아 올려야 해."라고 했습니다.

저는 그때 당신은 지금 완전히 이동식 주택으로 자신에게 보상을 줄 수 있다고 생각했습니다, 엘론. 자, 돌아가서 일하세요. 감사합니다.

머스크: 감사합니다.