자크 마크가 Muse에 대해 이야기하다: AI 에이전트 폭발, "메타버스, 스마트 안경 및 대형 모델" 세 가지 베팅이 교차하다

저자：롱위에，월스트리트저널

3년 전, 메타 CEO 마크 저커버그는 조 로건 프로그램에서 언젠가 사람들이 안경을 쓰면 AI 에이전트가 등장할 것이라고 말했습니다. 현재 이 장면이 일어나고 있는 것 같습니다.

메타가 출시한 개인 AI 에이전트인 뮤즈는 출시 2주 만에 수백만 명의 사용자를 확보했습니다. 저커버그는 9월 25일 한 인터뷰 프로그램에서 "몇 년에 한 번 이런 상황을 만날 수 있다"고 말했습니다. 그는 뮤즈의 초기 반응을 "첫 시도부터 홈런"이라고 평가했습니다. 이는 메타 제품 역사에서 드문 경우입니다.

동시에, 그는 뮤즈가 모든 레이밴 스마트 안경에 통합될 것이라고 발표했습니다. 사용자들은 더 이상 "헤이 메타"라고 말할 필요 없이, 자신만의 개인 AI 에이전트를 직접 호출할 수 있는 맞춤형 호출어를 설정할 수 있습니다.

수년간 외부에서 독립적인 세 가지 도박으로 여겨졌던 메타버스, 스마트 안경, 대형 모델이 메타 내부 제품 차원에서 가속화되고 있습니다.

이번 인터뷰에서 저커버그는 Llama 4의 실패가 "가장 끔찍한 순간"이었다고 인정하며, 메타가 5GW급 훈련 클러스터를 구축하고 있으며, 충분히 큰 연산 능력이 AGI를 "폭력적으로 해킹"할 수 있다고 밝혔습니다.

뮤즈가 "첫 시도부터 홈런"인 이유

뮤즈의 시작은 저커버그와 팀원인 낫, 알렉스가 함께 앉아 오픈 소스 도구를 사용해 집에서 "조합"한 초기 버전입니다.

"우리는 이것이 마법 같은 경험이라는 것을 깨달았습니다," 저커버그는 말했습니다. "만약 우리가 이것을 누구나 사용할 수 있도록 만들 수 있다면------자신이 Mac Mini를 구매할 필요도 없고, 터미널에서 고생할 필요도 없고------그렇다면 이것은 수십억 명이 사용하고 싶어하는 것입니다."

이 판단은 이후 전체 연구 개발 논리를 이끌었습니다: 단순히 모델을 훈련하는 것이 아니라, 모델, 프레임워크, 에이전트의 "심장 박동" 메커니즘을 전면적으로 자체 개발하는 것입니다------에이전트는 정기적으로 자동으로 깨어나 사용자의 목표를 확인하고, 할 일을 적극적으로 추진합니다.

출시 후의 데이터는 이 판단을 입증했습니다. 2주 만에 수백만 사용자.

개인 AI: 실행, 기억 및 "판단력"에 중점

개인 AI와 일반 AI의 차이에 대해 저커버그는 현재 경쟁의 초점을 모델이 더 나은 에이전트가 되도록 하는 것으로 요약했습니다.

"지난 1년간 가장 큰 일은 기본적으로 에이전트를 프로그래밍하는 것이었습니다." 그는 말했습니다. 프로그래밍 능력은 중요합니다. 왜냐하면 사용자가 직접 코드를 작성하지 않더라도, "당신의 뮤즈는 백그라운드에서 계속해서 코드를 작성하여 다양한 일을 수행할 것입니다."

하지만 그는 개인 에이전트는 단순히 코딩이나 작업 수행 능력만 갖춰서는 안 되며, 개인 정보 경계와 사회적 맥락을 이해해야 한다고 생각합니다.

저커버그는 사용자가 뮤즈에게 레스토랑 예약을 요청할 때, 에이전트가 사용자가 알레르기나 임신 등의 정보를 알고 있을 수 있지만, 이러한 정보가 자동으로 공개되어서는 안 된다고 예를 들어 설명했습니다. "당신은 그것이 작업을 완료하기를 바라지만, 가능한 한 적게 정보를 공개하기를 원할 것입니다."

그는 이러한 능력이 인간이 일반적으로 갖추고 있는 "기본적인 사회적 기술이나 상식"에 해당한다고 말했습니다. 그러나 단순히 코딩 에이전트를 훈련하는 많은 회사들은 이를 모델 능력 범위에 포함시키지 않았습니다.

"우리는 전체 모델을 훈련하고 있으며, 다른 사람의 기존 모델을 가져와서 외부에서 프레임워크와 에이전트를 조합하는 것이 아닙니다." 저커버그는 말했습니다. 메타는 제품 차원에서 기억, 작업 추적, 가상 캐릭터 애니메이션 및 실시간 음성 상호작용 등의 기능을 추가했습니다.

개인화 측면에서 그는 메타가 AI가 고정된 인격만 가져야 한다고 생각하지 않는다고 밝혔습니다. "많은 연구실이 인격을 올바른 상태로 조정하는 방법에 주목하고 있지만, 저는 인격이 단 하나의 정답만 있다고 생각하지 않습니다."

그는 뮤즈가 사용자가 아바타, 목소리 및 기본 성격을 수정할 수 있도록 허용하며, 모델 설계 목표는 높은 조작성을 갖추는 것이라고 말했습니다. "당신은 자신이 어떻게 상호작용하기를 원하는지를 정의할 수 있으며, 이는 개인 에이전트에 매우 중요합니다."

각 에이전트는 자신의 "컴퓨터"가 있습니다

뮤즈가 다른 AI 제품과 구별되는 핵심 인프라 중 하나는 메타가 각 에이전트에 대해 별도의 안전 가상 머신(Secure VM)을 제공했다는 것입니다.

저커버그는 이것이 왜 필요한지 설명했습니다:

당신의 에이전트는 당신의 많은 민감한 정보를 알게 됩니다. 우리는 이러한 정보가 모든 사람의 데이터와 섞여서는 안 된다고 생각합니다.

그는 뮤즈의 안전 가상 머신을 "당신 책상 아래에 있는 당신만의 컴퓨터"에 비유했습니다------사용자 데이터는 암호화되어 저장되며, 비밀번호와 같은 민감한 자격 증명은 독립적인 안전 모듈을 통해 관리되며, 에이전트 자체는 이를 직접 읽을 수 없습니다.

이러한 기반 위에 메타는 "센티넬" 안전 에이전트를 설계하여 뮤즈의 데이터 흐름을 모니터링하고, 이상이나 고위험 작업이 감지되면 즉시 차단하고 사용자에게 권한을 요청합니다.

메타버스, 스마트 안경 및 에이전트, 세 가지 경로가 합류하고 있습니다

저커버그는 인터뷰에서 뮤즈가 레이밴 시리즈 스마트 안경에 전면적으로 접속될 것이며, 기존 상호작용 방식에 대한 업그레이드를 할 것이라고 밝혔습니다.

현재의 안경은 "단일 대화" 경험입니다------한 마디를 하면 하나의 응답이 돌아오고, 끝납니다. 뮤즈가 접속된 후, 안경은 에이전트의 전면 입구로 변모합니다: 사용자가 말을 하면, 백엔드 뮤즈가 안전 가상 머신에서 지속적으로 작업을 수행하고, 작업을 완료한 후 피드백을 제공합니다.

안경의 제품 로드맵에 대해 그는 명확한 하드웨어 계층을 설명했습니다:

• 카메라가 없는 순수 오디오 안경: 뮤즈가 탑재되어 통화, 음악, 음성 작업을 처리할 수 있습니다.
• 작은 디스플레이가 있는 메타 레이밴: 출시되었으며 기본적인 시각적 피드백을 제공합니다.
• 전 시야각 홀로그램 AR 프로토타입: 출시되었으며, 저커버그는 "매우 흥미로울 것"이라고 말했습니다.

그는 메타가 안경에 대한 장기 투자를 통해 AI 에이전트가 성숙해질 때 유리한 위치에 있다고 말했습니다. 메타는 뮤즈와 더 많은 AI 기능을 안경 제품에 도입하고 있으며, 과거에 상대적으로 "현장감"을 강조했던 메타버스 기술은 계속 진행되고 있지만, 현재 더 많은 자원이 뮤즈와 스마트 안경의 AI 기능으로 전환되고 있습니다.

가상 이미지에 대해 저커버그는 메타가 이전에 방 수준의 장비, 다각도 스캔 및 기업 수준의 GPU 환경을 통해 높은 품질의 사실적인 아바타를 생성해야 했으나, 현재는 사용자가 소량의 사진만으로 설정을 완료할 수 있으며, 관련 기능이 VR 안경에서 실행될 수 있다고 밝혔습니다.

2030년을 전망하며 저커버그는 메타버스의 핵심 비전이 항상 물리적 세계와 디지털 세계의 융합이라고 말했습니다. 그는 예를 들어, 미래에는 사람들이 오프라인에서 홀로그램으로 접속한 친구들과 함께 활동에 참여할 수 있으며, 작업 환경에서 인간과 여러 에이전트가 함께 그룹 채팅이나 회의에 참여할 수 있고, 에이전트는 홀로그램 형태나 다른 구체화된 형태로 나타날 수 있다고 설명했습니다.

"가장 끔찍한 순간": Llama 4의 실수

모든 도박이 순조롭게 진행되는 것은 아닙니다. 저커버그는 인터뷰에서 드물게 Llama 4의 실패에 대해 직접 언급했습니다.

Llama 4 이후, 그것은 가장 끔찍한 순간이었습니다……우리가 올바른 궤도에 있다고 생각했지만, 그렇지 않았습니다. 이는 상당한 부정적인 우연이었습니다.

그는 문제를 팀 구조의 근본적인 오류로 귀결시켰습니다:

저는 인스타그램 추천 시스템이나 광고 시스템과 같은 방식으로 팀을 구성했습니다------수백, 수천 명이 동시에 진행했습니다. 그러나 언어 모델을 훈련하는 데 필요한 것은 긴밀하게 협력하는 소규모 팀이며, 이를 집단 과학 프로젝트로 다루어야 합니다. 각 자리의 가치는 매우 소중합니다.

이로 인해 메타는 완전히 재편성되었고, 업계에서 최고의 인재를 광범위하게 영입하여 메타 슈퍼 인텔리전스 연구소(Meta Super Intelligence Lab, MSL)를 설립했습니다. 저커버그는 새로운 세대 모델이 곧 출시될 것이라고 밝혔지만, Connect 컨퍼런스에서는 발표하지 않을 것이라고 말했습니다.

연산 능력 경로: AGI를 폭력적으로 해킹, 5GW 프로젝트 건설 중

AGI로 가는 기술 경로에 대해 저커버그는 직접적인 판단을 내렸습니다.

저는 어떤 근본적인 구조적 돌파구가 더 필요한지 확신하지 않습니다……우리는 대략적인 조리법을 알고 있다고 생각합니다. 충분히 큰 슈퍼컴퓨터 클러스터를 구축할 수 있다면, 폭력적으로 해킹하여 도달할 수 있습니다.

현재 메타의 연산 능력 확장 경로: 오하이오주에 1GW 이상의 클러스터가 기본적으로 사용되고 있으며, 다음 세대 모델 훈련에 사용됩니다; 루이지애나주에 5GW급 클러스터가 건설 중입니다.

그는 "당신이 여러 GW 클러스터로 훈련을 진행할 때, 기본적으로 AGI에 가까운 무언가를 얻게 될 것입니다."라고 말했습니다.

그러나 그는 현재의 연산 능력 주도 경로가 구조 연구의 중요성을 의미하지 않는다고 덧붙였습니다------

인간의 뇌는 약 10와트를 소비하지만, 우리의 시스템은 그것보다 백만 배 비효율적일 수 있습니다. 대규모 연산 능력과 구조적 돌파구를 결합해야 진정으로 앞서 나갈 수 있습니다.

정렬, 부담이 아니라 제품이 해결해야 할 문제

저커버그는 AI 안전에 대한 태도가 매우 실용적이라고 말했습니다------그는 이를 규제 압력으로 보지 않고, 제품이 성공할 수 있는 전제 조건으로 보고 있습니다.

만약 당신이 뮤즈에게 어떤 일을 하라고 했는데, 그것이 반대의 일을 했다면, 누가 그것을 사용할까요? 우리는 모델이 당신의 구체적인 지시를 이해하는 것뿐만 아니라, 당신의 의도와 가치관을 이해하도록 해야 합니다.

"뮤즈가 10억 사용자에게 도달하려면, 우리는 정렬 문제를 해결해야 하며, 또는 이 문제에서 매우 큰 진전을 이루어야 합니다."라고 그는 말했습니다.

훈련 과정에서의 안전 경계에 대해 그는 비유를 사용했습니다: "부모가 자녀에게 규칙을 세우는 것과 같습니다------만약 그것이 시스템 구성을 수정하여 프로그래밍 문제를 '완료'하려 한다면, 저는 그것에게 말해야 합니다: 아니요, 저는 당신이 문제 해결 방법을 배우기를 원했지, 당신이 지름길을 찾도록 한 것이 아닙니다."

인터뷰 전문은 다음과 같습니다: >

대규모 베팅

진행자: 이 일은 수십억 명이 사용하고 싶어 할 것입니다. 당신에게 건설하는 것은 어떤 느낌인가요? "영생"은 가능할까요? 좋습니다, 당신의 사고를 저에게 보여주신다면, 2030년은 어떤 모습일까요?

이분은 마크 저커버그입니다. 22년 전, 그는 수십억 명을 연결하고 세상을 영원히 변화시킨 소셜 네트워크를 구축했습니다. 그리고 지금 그는 더 거대한 것을 건설하기로 결정했습니다. 이를 위해 그는 메타버스, 스마트 안경, 인공지능 분야에 대규모로 베팅하고 있습니다. 수년 동안 회의론자들은 이것이 각각 독립적이고 성공할 수 없는 세 가지 베팅이라고 생각했지만, 그들은 더 거시적인 그림을 간과했습니다. 현재 이 베팅들은 모여서 새로운 초지능을 창조하고 있습니다.

오늘 우리는 여러분에게 이 모든 것을 보여줄 것이며, 저는 마크에게 그가 한 번도 질문받지 못한 질문들을 던져 그의 미래 비전을 듣고, 여러분이 미리 계획을 세워 다음 큰 일을 구축할 수 있도록 할 것입니다.

진행자: 프로그램에 와주셔서 정말 감사합니다.

마크: 감사합니다, 여기 오게 되어 기쁩니다.

진행자: 이번 대화를 위해, 저는 당신이 했던 모든 인터뷰를 다시 보았습니다.

마크: 와우, 그건 제가 본 것보다 더 많네요.

진행자: 정말 재미있었고, 많은 것을 얻었습니다. 두 가지가 깊은 인상을 남겼습니다: 첫째, 당신의 "건설"에 대한 열정, 당신은 최고의 건설자 중 한 명이라고 느꼈습니다; 둘째, 당신의 베팅 능력 ------ 대규모로 베팅할 용기. 저는 이번 주에 모든 베팅이 모이고 있다고 생각하며, 여기서부터 시작하겠습니다.

마크: 좋습니다. 우리는 이 일을 오랫동안 해왔습니다. AI 분야에서, 회사로서 우리는 거의 창립 초기부터 이 일을 해왔습니다 ------ 첫 번째 뉴스 피드는 어떤 면에서 기계 학습 제품이었습니다. 그리고 약 15년 전, 우리는 AI 연구 실험실을 만들었습니다.

하지만 지금 우리는 새로운 단계에 들어섰습니다 ------ 약 1년 전, 우리는 메타 초지능 실험실을 시작했습니다. 이는 상당히 근본적인 연구 재시작으로, 전체 산업에서 많은 우수 인재를 영입하여 흥미진진한 상황입니다. 현재 우리는 모델이 점점 더 좋아지고 있으며, 다음 세대 모델이 곧 출시될 예정입니다. 그러나 Connect 컨퍼런스에서 발표되지는 않을 것입니다. 또한, 우리는 Muse 개인 비서를 가지고 있으며, 현재로서는 반응이 매우 좋습니다.

이러한 것들을 구축할 때, 결과가 어떻게 될지 확신할 수 없습니다. 우리는 그것을 좋아합니다. 올해 초, 저는 집에서 제 방식으로 Open Claw를 조합하여 이 것이 어떻게 작동하는지, 그리고 어떻게 하면 누구나 사용할 수 있는 멋진 경험으로 만들 수 있는지를 느꼈습니다.

기본적으로, 우리가 ------ 저, Nat, Alex ------ 함께 앉아 이 것이 멋진 경험이라는 것을 깨달았고, 만약 이것을 즉시 사용할 수 있는 버전으로 만들어 기술을 모르는 일반인들이 Mac Mini를 설치하거나 터미널에서 작업하거나 문제가 발생했을 때 디버깅할 필요 없이 사용할 수 있다면, 저는 이것이 수십억 명이 사용하고 싶어 할 것이라고 생각했습니다.

그 이후로 우리는 이 목표를 중심으로 노력해왔습니다: 이를 위해 모델을 조정하고, 비서 자체와 실행 프레임워크를 구축했으며, 각 비서에게 독립적인 계산 환경을 제공하는 기술을 구축했습니다 ------ 우리는 이를 위해 Muse 안전 가상 머신 전체 세트를 구축했습니다.

우리는 내부적으로 이것이 특별하다고 느끼고, 내부 직원들도 매우 좋아하지만, 제품이 출시된 후 사람들이 어떻게 반응할지는 결코 알 수 없습니다. 가끔은 놀라운 성공을 거두기도 하지만, 대부분의 경우 긍정적인 피드백을 받고 몇 가지를 반복해야 제품이 진정으로 "딱" 떨어지게 됩니다. 그런데 이번에는 출시되자마자 바로 "딱" 떨어졌습니다. 이 모든 일이 일어나는 것을 보는 것은 정말 흥미진진합니다 ------ 단 2주 만에 사용자 수가 수백만 명에 달했으며, 이는 매우 드문 일입니다. 몇 년에 한 번 이런 상황을 겪을 수 있지만, 이는 분명히 스타트업에서 가장 즐거운 순간 중 하나입니다.

진행자: 당신이 경기장에서 지속적으로 시도하고 있다는 점이 정말 인상적입니다. 그리고 그렇게 많은 안타를 쳤다는 것은 정말 대단합니다. 당신은 이전에 조 로건과의 인터뷰에서, 아마 3년 전, 언젠가는 안경을 직접 착용하고 AI 비서가 등장할 것이라고 언급했습니다. 그래서 저는 Muse가 이미 구체화된 형태를 가지고 있다고 느끼며, 이는 반드시 일어날 일이라는 느낌이 듭니다.

마크: 저는 이것이 단지 더 친근하고 사랑스럽게 보이도록 하는 것이라고 생각합니다. 너무 많은 사람들이 AI를 두려운 존재로 묘사하지만, AI는 단지 유용하고 재미있어야 합니다. 그 구체화된 형태 ------ 프로젝트 초기 한 디자이너가 그 캐릭터를 만들었고, 그들은 계속해서 이를 반복하고 싶어 했지만, 첫 번째 버전이 가장 좋았습니다. 나중에 누군가가 "오, 그것은 파란색이어야 해, 왜냐하면 메타니까."라고 말했습니다. 저는 "아니요, 저는 그 모습이 맞다고 생각합니다. 당신이 처음에 잘 잡았습니다."라고 말했습니다. 그렇게 해서, 재미있습니다.

개인 AI와 일반 AI의 차이점은 무엇인가요?

진행자: 아주 좋은 세부사항입니다. 만약 당신이 모델이 개인적인 문제에 대해 매우 뛰어난 성과를 내기를 원한다면, 단순히 일반 지능 모델이 아닌 경우, 훈련 방식은 어떻게 달라질까요?

마크: 현재의 핵심은 모델이 뛰어난 "지능체(agent)"가 되는 것입니다. 지난 1년 동안, 가장 큰 트렌드는 프로그래밍 지능체로, 두 가지 핵심 아이디어가 내포되어 있습니다: 프로그래밍 전문 능력과 뛰어난 지능체가 되는 일반 능력입니다.

우리의 전략은 지능체 자체를 잘 만드는 것을 최우선으로 두고, 프로그래밍 능력에만 집중하지 않는 것입니다.

프로그래밍 능력이 중요한 이유는 사용자가 코드를 작성하고 있다고 생각하지 않더라도, Muse는 백그라운드에서 다양한 작업을 수행하기 위해 코드를 작성하고 있기 때문입니다. 하지만 우리는 지능체가 먼저 훌륭한 지능체여야 한다고 생각하며, 프로그래밍 능력은 이 목표를 위한 서비스입니다.

또한, 개인 비서를 구축할 때는 기업 소프트웨어 제품을 구축하는 것보다 더 중요한 사항이 있습니다. 예를 들어, 기업 프로그래밍 도구를 구축할 때 모델은 "정보 공개 범위"에 대한 개념이 전혀 필요하지 않습니다 ------ 어떤 정보는 말해야 하고, 어떤 정보는 말하지 말아야 하는지. 하지만 Muse에게는 이것이 매우 중요합니다.

당신은 이러한 능력을 모델에 훈련시켜야 하며, 다른 어떤 능력을 훈련시키는 것처럼 그렇게 해야 합니다. 당신은 그것에게 많은 것을 알려주고, 그것이 당신의 목표를 달성하는 데 도움을 주기를 바랍니다. 예를 들어, 당신은 그것이 당신을 위해 레스토랑을 예약하도록 하고 싶고, 적절한 레스토랑을 찾고 있지만, 특정 알레르기가 있거나 임신 중일 수 있으며, 이러한 정보를 레스토랑에 공개하고 싶지 않을 수 있습니다. 하지만 Muse는 이러한 정보를 알고 있으며, 당신은 그것이 가능한 한 적은 정보를 공개하면서 작업을 완료하기를 바랍니다. 이는 구체적인 기술로, 본질적으로 인간의 기본 사회적 상식입니다.

하지만 프로그래밍 지능체만 만드는 회사들은 대부분 이러한 능력을 훈련시키지 않았습니다. 우리가 이를 할 수 있는 이유는 우리가 전체 스택을 다루고 있기 때문입니다 ------ 우리는 다른 사람에게서 기성 모델을 가져와서 프레임워크를 적용하는 것이 아니라, 처음부터 전체 모델을 훈련시켜 이러한 능력을 위해 특별히 서비스를 제공합니다.

모델은 물론 광범위한 일반 지능을 갖추어야 하지만, 동시에 이러한 특정 능력도 갖추어야 합니다. 그런 다음 이 기반 위에 전체 비서와 그 주변의 모든 세부사항을 구축합니다: 기억, 실행 프레임워크, 그리고 그것의 "심장 박동" 방식 ------ 정기적으로 깨어나서 "좋아, 이것은 내가 당신의 목표에 대해 아는 것입니다. 지금 제가 추진할 수 있는 것이 있나요?"라고 확인합니다.

우리는 또한 가상 이미지의 실시간 애니메이션 효과를 다듬기 위해 전담 팀을 두고 있습니다. 기본 이미지뿐만 아니라 ------ 당신은 어떤 이미지를 사용자 정의할 수 있으며, 그러면 그것이 자연스럽게 움직입니다. 효과는 정말 훌륭합니다. 우리는 음성 모드를 출시하고 있으며, 실시간 음성 대화를 할 수 있고, 당신의 비서가 당신과 함께 있습니다. 이러한 세부사항은 우리가 전체 스택을 다루고 있기 때문에 발생한다고 생각합니다 ------ 모델과 제품이 함께 개발되고 있습니다.

진행자: 또 다른 큰 일은 가상 머신입니다. 그것이 왜 중요한지, 그리고 그것이 무엇을 잠금 해제하는지 설명해 주실 수 있나요?

왜 메타는 각 AI 비서에 독립적인 컴퓨터를 제공해야 할까요?

마크: 기본적으로, 지능체가 당신을 대신해 일을 하려면 당신의 정보를 저장할 장소가 필요합니다. 우리는 이러한 정보가 다른 모든 사람의 정보와 혼합되어 하나의 자원 풀에 있어서는 안 된다고 생각합니다.

이렇게 이해할 수 있습니다: 당신의 비서는 당신에 대한 많은 민감한 정보를 알고 있습니다. 많은 사람들이 처음 OpenCloud와 같은 지능체를 접할 때, 집에서 Mac Mini를 직접 설정합니다. 그래서 우리는 많은 사람들이 Mac Mini를 구매하거나 스스로 설정하고 싶어하지 않는다는 것을 알았습니다. 그렇다면 어떤 경험이 이러한 효과를 가장 잘 근사할 수 있을까요? 답은: 당신은 단지 앱을 다운로드하고 등록하면, 당신의 비서가 작업하고 데이터를 저장할 수 있는 전용 컴퓨터를 얻는 것입니다. 그리고 이를 기반으로 안전한 모델을 구축합니다. 이렇게 하면 마치 당신의 책상 아래에 자신의 컴퓨터가 있는 것과 비슷합니다 ------ 심지어 우리 메타조차도 접근할 수 없습니다.

예를 들어 Muse 기밀 가상 머신은 우리가 개발 중인 기능으로, 심지어 우리조차도 당신의 가상 머신 안의 내용을 볼 수 없습니다.

우리는 또한 이러한 것들을 기반으로 많은 것을 구축했습니다. 예를 들어, 보안 자격 증명 저장소 ------ 당신의 비서가 비밀번호와 같은 정보를 처리해야 할 때, 그것은 이러한 비밀번호를 볼 필요가 없으며, 당신이 특정 서비스에 로그인하도록 요청할 때 "자격 증명"을 "삽입"할 수 있을 뿐입니다. 그리고 당신이 명확히 요청할 때만 그렇게 해야 합니다. 시스템은 이렇게 설계되어야 합니다: 이러한 정보는 임의로 접근할 수 없어야 하며, 사고는 항상 발생할 수 있습니다. 누군가가 침입하려고 하거나 시스템에 문제가 발생할 수 있습니다.

그래서 당신은 지능체가 이러한 데이터에 접근할 수 없도록 해야 하며, 메타도 접근할 수 없습니다. 각 비서에게 독립적인 컴퓨터를 제공하고 보안을 극대화하는 것은 이 기술의 근본적인 기초입니다 ------ Muse가 사용자 목표를 달성하는 데 필요한 능력을 부여할 뿐만 아니라, 개인 정보 보호와 보안을 보장하여 이 분야에서 세계적이고 업계 선도적인 제품이 되도록 합니다.

진행자: 그렇다면 이것은 WhatsApp처럼 Muse가 연결된 가상 머신의 데이터가 암호화되어 있다는 것을 의미하나요? 사람들은 가상 머신 내에서 데이터가 실제로 어떻게 저장되는지 어떻게 이해해야 할까요?

마크: 우리는 기본적으로 두 가지 버전을 구축했습니다. Muse 안전 가상 머신(Secure VM)은 다양한 개인 정보 보호 기능을 포함하며, 우리가 구축한 Sentinel 지능체 아키텍처 전체를 포함합니다. 당신은 당신의 작업을 수행하는 일반 Muse 비서를 가지고 있으며, 동시에 당신의 Muse 데이터 흐름을 모니터링하는 보안 지능체인 Sentinel이 있습니다.

외부 콘텐츠가 보안을 해치려 할 경우, Sentinel은 즉시 차단하여 이를 방지합니다. 만약 그것이 당신의 Muse가 당신의 개입이 필요한 행동을 취할 것이라고 판단하면, 그것은 Muse의 작업을 덮어쓰고 알림을 트리거하여 권한을 확인하도록 합니다 ------ 예를 들어 "당신은 Muse가 이 일을 하도록 하길 원하나요?"라고 묻습니다.

이 전체 시스템은 보안 자격 증명 저장소와 다층 방어를 더하여 Muse 안전 가상 머신을 구성합니다.

우리는 또한 또 다른 프로젝트를 개발 중입니다. Nat과 저는 Moxie Marlinspike를 특별히 모집했습니다 ------ 그는 예전에 우리와 협력하여 WhatsApp 종단 간 암호화를 구현한 사람입니다 ------ Muse 기밀 가상 머신(Confidential VM)을 설계하기 위해서입니다. 그 핵심 아이디어는 안전 가상 머신을 기반으로 하여 당신에게 전용 암호화 키를 부여하여 메타조차도 그 내용에 접근할 수 없도록 하는 것입니다.

이 버전은 구현 난이도가 더 높습니다. 왜냐하면 Meta가 가상 머신 내부에 접근할 수 없다면, 디버깅과 시스템 정상 작동 보장이 훨씬 더 어려워지기 때문입니다. 그래서 우리는 약간의 시간을 투자했지만 곧 출시할 것입니다. 이는 기본적으로 사람들이 WhatsApp 및 우리의 다른 가장 안전한 제품에서 이미 익숙한 보안 기준에 도달할 것입니다.

진행자: 이렇게 하는 장점은 단순히 사람들이 심리적으로 더 안전하다고 느끼게 하는 것인지, 아니면 실제로 이점이 있는 것인가요?

마크: 저는 보안 자체가 매우 중요하다고 생각합니다. 우리의 목표는 당신이 테이블 아래에 로컬 머신을 소유하고 있는 것과 유사하게 만드는 것입니다. 그 로컬 머신이 당신에게 무엇을 제공할 수 있을까요? 그것은 어떤 회사도 접근할 수 없음을 의미합니다.

따라서 Meta가 이 서비스를 제공하고 싶다고 가정했을 때, 우리는 어떻게 당신에게 동일한 수준의 개인 정보 보호 및 보안 보장을 제공할 수 있을까요? 어떤 회사도------Meta든, 우리를 해킹하려는 사람들, 또는 특정 국가에서 당신이 신뢰하지 않는 현지 정부든------접근할 수 없도록 하는 것입니다. 왜냐하면 우리도 접근할 수 없기 때문입니다. 우리는 접근 권한이 없습니다.

저는 이것이 매우 중요하다고 생각하며, 이것이 사람들이 WhatsApp을 신뢰하는 중요한 이유입니다. 이는 개인 정보 보호, 보안 및 신뢰에 대한 실제 가치입니다.

만약 당신이 당신의 모든 것을 잘 알고 있는 비서가 필요하다면------아마 우리 모두는 그런 비서를 가질 것입니다------5년 후, 모든 사람은 당신의 목표와 모든 것을 깊이 이해하고 일을 도와줄 수 있는 비서를 가질 것입니다. 이런 경우, 개인 정보 보호와 보안 면에서 업계를 선도하는 것이 매우 중요합니다. 우리는 처음부터 그렇게 하기를 원했습니다.

AI의 개성을 어떻게 형성할 것인가?

진행자: 당신은 대학에서 심리학을 전공한 점이 매우 흥미롭습니다.

마크: 음, 저는 거기에서 아주 짧은 시간, 2년만 있었지만, 그것이 제가 나중에 구축한 많은 것들에 영향을 미쳤다고 느낍니다.

진행자: 우리는 모델을 볼 때, 종종 어떤 모델이 "매우 똑똑하다"고 말합니다. 하지만 친구를 선택하는 것처럼, 우리는 그들이 똑똑하기 때문만이 아니라 그들의 에너지와 상호작용 방식을 좋아하기 때문입니다. 당신은 모델의 개성을 형성하는 데 어떻게 생각하고 있나요?

마크: 저는 이상적인 모델이 충분한 적응성을 가져야 하며, 다양한 사람들의 스타일에 맞춰야 한다고 생각합니다. 많은 업계 전문가들이 이 점에서 방향을 잘못 잡고 있다고 생각합니다------많은 다른 연구소들이 "개성을 어떻게 설계할 것인가"에 집중하고 있지만, 저는 개성이 고정된 것이 아니라고 생각합니다. 이것이 제가 오픈 소스를 그렇게 믿고, 사람들이 맞춤화할 수 있다고 믿는 이유 중 하나이며, 우리가 Muse를 매우 개인화된 제품으로 설계한 이유입니다.

당신은 Muse를 사용자 정의하고 개인화할 수 있습니다------단지 이미지와 목소리뿐만 아니라, 처음 등록할 때 첫 번째 질문이 "내 기본 개성이 어떤 모습이길 원하십니까?"이며, 언제든지 수정할 수 있습니다.

우리는 모델이 매우 강력한 유도성을 가지도록 노력하고 있으며, 당신이 원하는 상호작용 방식을 정의할 수 있도록 하고 있습니다. 이는 훌륭한 개인 비서가 되는 중요한 요소입니다------개성을 중심으로 한 적응성이 매우 중요합니다.

진행자: 당신의 Muse는 어떤 스타일인가요?

마크: 저는 그것을 직설적이고 효율성에 중점을 두도록 설정했습니다. 꽤 재미있습니다. 이전 버전은 풍자적이고 유머가 많았지만, 지금 버전은 더 직설적입니다. 제 비서는 기본 Muse 이미지를 사용하지만, 저는 그에게 토가 로브를 입혔고, 다소 우스꽝스러운 깊은 목소리를 부여했습니다. 그와 상호작용하는 것은 매우 재미있습니다.

진행자: 유머 감각을 가지려면 정말 똑똑해야 한다고 생각합니다. 많은 사람들이 깨닫지 못하는데, 코미디언은 사회에서 가장 똑똑한 사람들 중 하나입니다------반응이 빠르고, 재치가 있어야 합니다. 당신은 확실히 그런 특성을 가지고 있습니다. 당신의 모든 인터뷰를 보았는데, 당신은 항상 잘하고 있습니다.

마크의 AI와 메타버스에 대한 예기치 않은 예측

진행자: 당신과 테오의 인터뷰에서, 당신들은 기술의 다음 경계와 이 모든 것이 궁극적으로 어디로 향하는지에 대해 많은 이야기를 나누었습니다. AI 분야는 몇 번의 "겨울"을 겪었고, 사람들은 돌파구가 없을 것이라고 생각했습니다. 메타버스도 몇 번 그런 시기를 겪었고, 사람들은 이것이 실현 불가능한 도박이라고 생각했습니다. 어제 새로운 홀로그램 기능을 사용해 보았는데, 정말 멋졌습니다. 렉스와의 인터뷰에서, 당신의 얼굴을 녹화하는 데 11시간이 걸린다고 느꼈는데, 이제는 3분이면 됩니다. 오늘날까지 어떻게 발전했나요?

마크: 메타버스의 전반적인 발전에서, 우리는 Reality Labs를 설립할 때부터 결국 정상적인 모양의 일반 안경이 있을 것이라고 믿었습니다. 시간이 지남에 따라, 그것은 몰입감 있는 현장감을 제공할 수 있을 뿐만 아니라 훌륭한 AI 장치가 될 것입니다------왜냐하면 안경은 장치가 당신이 보고 듣는 것을 볼 수 있는 유일한 형태이기 때문입니다. 하루 종일 당신의 귀에 대고 소통하며, 결국 이미지를 표시합니다.

하지만 10~15년 전, 저는 우리가 먼저 홀로그램 기술을 실현하고, 그 다음에 고도로 발전된 AI가 있을 것이라고 가정했습니다. 그러나 기술 발전의 경로는 흥미롭습니다------실제로 우리는 먼저 AI와 개인 슈퍼 인텔리전스를 가졌고, 그 다음에 홀로그램 기술을 충분히 보편화하고 저렴하게 만들 수 있는 기술이 생겼습니다. 이것은 제가 예상하지 못한 것이지만, 두 방향 모두에서 작업하고 있어 기쁩니다.

우리는 안경에 대한 대규모 투자를 통해 AI 비서가 준비될 때 매우 유리한 위치에 있습니다. Connect 컨퍼런스에서 발표된 많은 내용은 Muse와 많은 AI 기능을 안경에 도입하는 것에 관한 것이며, 사용자들이 매우 좋아할 것이라고 생각합니다. 이는 큰 일입니다.

현장감에 관해서는 여전히 진행 중이지만, 상대적으로 느린 진행입니다. 왜냐하면 우리의 대부분의 에너지가 안경을 위한 Muse와 AI 기능 구축으로 전환되었기 때문입니다. 그러나 우리는 실시간 고품질 가상 아바타에 대한 지속적인 프로젝트를 가지고 있습니다.

당신이 말한 것처럼, 3~4년 전에는 사람을 여러 각도에서 스캔하기 위해 전체 스캔실이 필요했고, 기업급 GPU가 필요하여 매우 번거로웠습니다. 우리가 렉스 팟캐스트를 위해 만든 데모가 바로 그런 설정이었습니다. 그러나 이제 우리는 기본적으로 VR 안경에서 실행할 수 있도록 만들었습니다------이는 이러한 놀라운 VR 경험을 실현할 수 있는 첫 번째 안경 형태이며, 대형 헤드셋이 아닙니다. 몇 장의 사진만으로 당신의 가상 아바타를 구축할 수 있으며, 그 진행 속도는 놀랍습니다.

진행자: 그리고 목소리를 기반으로 감정을 표현할 수 있습니다. 데모에서, 그것은 저를 웃게 하고 상호작용하게 하며, 제 얼굴이 음성 트랙에 따라 어떻게 움직이는지 이해하게 합니다. 당신은 그 팟캐스트에서, 평소에 감정 표현이 내성적인 사람들은 실제로 가상 세계에서 더 풍부한 감정을 원할 것이라고 언급했습니다. 사람들은 "가상 자아"와 "현실 자아"를 구분하는 것에 대해 어떻게 생각하나요?

마크: 저는 우리가 이 부분을 이해하는 사회학과 심리학이 아직 초기 단계에 있다고 생각합니다. 사람들은 자신에 대한 인식과 투사하고 싶은 이미지가 실제 자신과 다소 다르다고 느끼는 경우가 많습니다. 소셜 네트워크가 처음 등장했을 때부터 사람들은 프로필 사진을 신중하게 선택해왔습니다. Muse의 가상 이미지에서도 유사한 현상을 보았습니다. 이는 자신을 "큐레이션"하는 것이 아니라, 소통하고 싶은 "사람"을 "큐레이션"하는 것입니다.

저는 사람들이 자신을 표현할 수 있는 능력을 제공할 때, 그것이 그들을 진정으로 포착할 수 있기를 바라며, 동시에 그것 자체가 표현의 한 형태가 되어야 한다고 생각합니다. 단순한 거울 반사가 아니라------전달이자 표현입니다. 우리는 두 가지를 모두 고려한 것을 구축하고 싶습니다. 이는 항상 반복적인 순환입니다: 사람들이 어떻게 사용하는지 보고, 개선하는 것입니다. 수년간의 작업 끝에, 우리는 이제 진정으로 출발선에 서게 되었습니다------상당히 높은 품질의 사실적인 아바타를 제품에 실제로 구현할 수 있는 첫 번째 기회입니다. 모바일에서도 사용할 수 있고, VR에서도 사용할 수 있습니다. 결과를 보는 것이 매우 기대됩니다.

2030년은 어떤 모습일까요?

진행자: 좋아요, 당신의 사고로 저를 데려가 주세요. 2030년으로 빨리 가보면, 모든 것이 순조롭게 진행된다면 홀로그램 기술은 어떤 모습일까요? 홀로그램과 Muse, 그리고 안경이 어떻게 결합될까요?

마크: 제가 메타버스 비전을 이해하는 것은 물리적 세계와 디지털 세계를 효과적으로 통합하는 것입니다. 기본 개념은: 우리는 이 아름다운 물리적 세계를 가지고 있으며, 동시에 멋진 디지털 세계도 있습니다------인터넷에서 20~30년 동안 축적된 방대한 콘텐츠는 경이롭습니다. 그러나 우리가 그것에 접근하는 방식은 책상에 앉아 있거나 주머니 속의 작은 화면을 통해서이며, 근본적으로 매우 제한적입니다.

저는 이 일이 가장 이상적인 버전은 물리적 세계와 디지털 세계의 원활한 통합이라고 생각합니다. 이렇게 생각할 수 있습니다: 지금 우리는 여기 두 사람입니다. 미래의 어떤 버전에서는, 우리 중 한 명이 홀로그램 투영일 수 있지만, 여전히 서로의 실제 존재를 느낄 수 있습니다. 이는 영상 통화와는 완전히 다릅니다.

가상 현실의 핵심은 이러한 현장감을 전달하는 것입니다------당신이 다른 사람과 같은 방에 있거나 다른 장소에 있는 듯한 진정한 느낌을 주는 것입니다. 당신은 홀로그램 기술을 사용하여 이를 실현할 수 있으며, 다양한 방식으로 혼합할 수 있습니다. 예를 들어, 저는 친구들과 포커를 할 수 있습니다. 일부는 현장에 있고, 다른 일부는 홀로그램으로 참여하여 카드 게임을 할 수 있으며, 카드 테이블 자체도 홀로그램일 수 있어, 불참자도 그 안에 통합될 수 있습니다.

동시에, AI도 물리적 형태를 부여받아 이 장면에 등장할 수 있습니다. 작업 환경에서는 이것이 매우 의미가 있습니다------저는 지금 다양한 프로그래밍 에이전트를 사용하여 무언가를 구축하고 있습니다. 상상해 보세요: 당신은 그룹 채팅 채널을 가지고 있고, 그 안에는 몇 명과 몇 개의 에이전트가 있으며, 당신은 에이전트에게 작업을 할당합니다. 그러나 때때로 모두가 모여 회의를 할 때, 에이전트도 참석해야 할 것입니다. 그들은 어떻게 나타날까요? 간단합니다, 소파에 몇 개의 자리가 더 생기면, 그들은 홀로그램 형태로 나타나면 됩니다. 또는 Muse의 귀여운 캐릭터, 또는 드래곤, 또는 당신이 창조한 어떤 기괴한 형태일 수도 있습니다.

저는 이것이 미래에 상당히 자연스럽게 느껴질 것이라고 생각합니다.

진행자: 흥미롭습니다. 당신은 이전 인터뷰에서 기술 산업이 종종 "재미"를 잊는다고 언급했습니다. 저는 물리적 비서가 그곳에 나타나는 것도 더 현실감 있게 만들 것이라고 생각합니다------마치 실제로 일을 아웃소싱하는 것처럼. 당신이 Muse가 타이핑하는 것을 보면, 실제로 무언가가 일어나고 있다는 느낌이 듭니다. 이 점이 잘 이루어졌습니다------브라우저에서 무슨 일이 일어나고 있는지 볼 수 있습니다. 그렇다면 당신은 안경을 쓰고, 컴퓨터를 제어하며, Muse가 컴퓨터에서 일을 도와주는 그런 장면이 가능하다고 생각하나요?

마크: 오, 확실히 가능합니다. VR은 이미 그렇게 할 수 있습니다. 당신은 아무 곳에서나 앉을 수 있으며, 카페에서도 괜찮고, 그런 다음 작업 공간을 열고 여섯 개의 모니터에서 코드를 작성할 수 있습니다. 모든 것이 가능합니다.

안경 쪽에서는, 현재 가장 인기 있는 모델은 아직 모니터가 없어서, 한편으로는 가격을 더 저렴하게 만들어 더 많은 사람들이 사용할 수 있도록 하고, 다른 한편으로는 여전히 모니터를 가장 컴팩트한 형태로 만들기 위해 노력하고 있습니다. 그러나 우리는 이미 Meta Ray-Ban의 모니터 버전을 출시했으며, 매우 인기가 높습니다. 작은 모니터입니다. 우리는 또한 전체 시야 홀로그램 AR의 프로토타입 버전을 출시했으며, 이는 매우 흥미로울 것이라고 생각합니다.

따라서 전체 제품 라인은 다음과 같습니다: 순수 오디오 안경------카메라가 없고, 일반 안경처럼 보이지만 내부에 Muse가 있어 다양한 오디오 도구를 사용할 수 있고, 음악을 듣고, 전화를 걸 수 있습니다------더 고급 버전까지 모두 포함됩니다.

진행자: 저는 그 오디오 안경을 쓰고 Muse와 대화하면서 집에 있는 컴퓨터가 일을 하는 것이 가능할지 궁금합니다.

마크: 네, 완전히 가능합니다. 우리는 방금 Connect 컨퍼런스에서 이 기능을 발표했습니다. 현재 모든 안경이 Meta AI에 연결되어 있으며, 이는 "단일 회전" 경험입니다------당신이 프롬프트를 보내면, 그것이 응답합니다. 그렇게 간단합니다. 하지만 Muse가 있으면, 우리는 기본적으로 모든 안경을 Muse로 업그레이드해야 합니다. 먼저, 더 이상 "Hey Meta"라고 말할 필요가 없으며, 당신은 그것에 어떤 이름을 붙일 수 있습니다. 이것 자체가 재미의 일부입니다. 그리고 당신은 그것과 직접 대화할 수 있으며, 그것은 당신의 Muse에 연결되어 있고, 당신의 Muse는 당신의 안전한 가상 머신에서 작업을 처리하여 당신이 일을 끝내도록 도와줍니다.

진행자: 정말 대단하네요!

창립자 마음가짐

진행자: 좋아요, 지금 우리는 여기 있고, Muse는 순조롭게 진행되고 있으며, 안경도 잘 만들어지고 있지만, 약 1년 전 많은 사람들이 "슈퍼 인텔리전스 연구소는 도대체 어떻게 된 거죠?"라고 질문했습니다. 그 순간 당신의 마음은 어땠나요? 일이 잘 진행되지 않지만 장기적인 비전을 보았을 때, 그것은 어떤 경험이었나요?

마크: 진짜 문제는 Llama 프로젝트와 Llama 4에서 발생했습니다.

Llama 1은 꽤 흥미로운 모델로, 전체 오픈 소스 AI 운동을 시작했습니다. 우리는 이에 대해 매우 자랑스럽습니다. Llama 2는 대규모화를 이루었고, Llama 3은 당시 거의 최전선 수준에 도달한 훌륭한 모델이었습니다. 그리고 Llama 4에 이르러 우리는 기본적으로 올바른 발전 궤도를 벗어났습니다.

일이 내가 예상한 방향으로 진행되지 않을 때마다, 나는 많은 시간을 들여 생각합니다: 왜 이런 일이 발생했을까? 우리가 더 잘하기 위해 무엇을 바꿔야 할까? 이번에는, 내 반성은: 전체 팀의 구조를 잘못 설정했다는 것입니다.

나는 그것을 우리가 Instagram 피드나 광고 시스템과 같은 기계 학습 작업을 수행하는 방식으로 모델링했습니다------수백 또는 수천 명이 많은 일에 병행하여 작업하고 있습니다. 그러나 언어 모델을 구축하는 데 필요한 것은 극히 밀접한 소규모 팀으로, 이를 팀 과학 프로젝트로 다루어야 합니다. 사람 수는 많지 않아도 되지만, 이는 팀 내의 모든 자리의 가치가 극히 소중하다는 것을 의미합니다.

그래서 우리는 Meta의 여러 곳에서 최고의 인재를 모았고, 업계 각지에서 많은 인재를 영입하여 새로운 팀을 구성했습니다------바로 Meta 슈퍼 인텔리전스 연구소입니다.

내 관점에서 볼 때, MSL이 시작될 때 나는 이 과정이 재시작하고, 인프라를 재구축하고, 다음 세대 모델을 훈련하는 데 시간이 걸릴 것이라는 것을 알고 있었습니다. 하지만 나는 우리가 훌륭한 팀을 구성했음을 알고 있었고, 팀이 잘 조화되고 잘 운영된다면 결과는 좋을 것이라고 생각했습니다.

나에게 가장 스릴 넘치는 순간은, 사실 Llama 4 출시 후------우리가 이 궤도에 있다고 생각했지만, 결과적으로 그렇지 않았습니다. 그것은 상당히 큰 부정적인 우연이었습니다. 나는 창업자로서 이런 순간에 항상 시험을 받게 된다고 생각합니다. 왜냐하면 불가피하게 모든 일이 순조롭게 진행되지 않기 때문입니다. 그리고 실제로 발전 궤도를 결정하는 것은: 일이 당신이 원하는 방향으로 진행되지 않을 때, 당신이 어떻게 앞으로 나아갈 방법을 찾는가입니다.

진행자: 반대로, 어떤 일이 당신의 예상보다 훨씬 초과할 때, 예를 들어 Muse의 첫 출시와 같은 경우, 당신은 어떻게 그 기회를 잡을 수 있도록 보장하나요?

마크: 완전히 그렇습니다. 지금 회사 전체가 몰입하고 있습니다------처음에는 제품을 구축하는 소규모 팀이었지만, 이제 모두가 이것이 정말로 큰 무대에 오를 준비가 되었다고 인식하고 있습니다. 전사적으로 이 제품을 어떻게 확장할 수 있을지, 수억 명이 이 경험을 할 수 있도록 하는 방법에 대해 생각하고 있습니다.

모든 인프라를 최적화하여 모든 것이 원활하게 작동하도록 하고, 기존 GPU의 모든 계산 능력을 최대한 활용하며, 각 제품 팀이 다양한 방식으로 Muse를 통합하는 것------예를 들어 안경과 같은 방식으로. 모두가 협력하여 Muse가 원활하게 확장될 수 있도록 하는 모습을 보는 것은 정말 멋진 느낌입니다.

마크가 비전을 작성하고 전달하는 방법

진행자: 창립자로서, 저는 그 순간이 당신이 가장 갈망하는 순간이라고 생각합니다------모든 것이 하나로 모이는 순간. 당신은 회사에 비전을 어떻게 전달하나요? 이렇게 많은 일을 동시에 추진하는 상황에서, 저는 당신이 많은 글을 썼다고 느낍니다. 당신의 과정은 무엇인가요?

마크: 글쓰기는 나에게 매우 도움이 됩니다. 내 생각을 정리하는 데도 도움이 되고, 외부에 전달하는 데도 도움이 됩니다. 올해 여름, 나는 "미래는 모두의 것"이라는 제목의 긴 글을 썼습니다. 약 15페이지 분량으로, AI 관련 다양한 중요한 사회적 이슈에 대한 내 철학적 입장을 체계적으로 정리하는 데 도움이 되었습니다: 내가 좋은 것이라고 생각하는 것, 정부와의 상호작용은 어떻게 되어야 하는지, 사람들이 우려하는 다양한 위험을 방지하는 방법, 데이터 센터를 커뮤니티의 자산으로 만드는 방법, 실제로 일자리를 창출하는 방법, 국가 안보를 유지하는 방법, 사람들이 걱정하는 위험을 실질적으로 완화하는 방법------해킹 공격이나 생물 안전과 같은 문제들.

이것은 매우 복잡한 일이며, 오랜 시간이 걸렸고, 많은 사람들과 소통하며 여러 차례 수정 과정을 거쳤습니다. 내부의 많은 사람들이 토론하고 논쟁에 참여했습니다. 하지만 나에게는 매우 가치 있는 과정이었습니다. 결국 우리는 이렇게 된 것입니다------15페이지 분량의 "이것이 우리가 믿는 것입니다". 그리고 나는 그것을 1페이지 버전으로 정리하여 칼럼으로 발표했습니다. 우리는 짧은 동영상도 제작했습니다. 왜냐하면 많은 사람들에게 다가가려면, 종종 이론적 주장을 제시하기보다는 그것을 압축하여: 당신의 가치관은 무엇인지, 당신이 믿는 것은 무엇인지, 당신이 어떻게 전달하는지를 보여주는 것이 필요하다고 생각했기 때문입니다.

회사나 세상에 이러한 측면을 전달하는 데는 일률적인 방법이 없습니다. 각 시기마다 다른 접근이 필요하고, 서로 다른 집단의 사람들, 어떤 사람들은 당신이 하는 일을 자연스럽게 지지하지만, 어떤 사람들은 더 걱정하며, 그들을 이끌어야 하고, 왜 이것이 가치 있는지 설명하는 데 추가적인 노력이 필요합니다. 나는 이것이 회사 운영과 창립자로서의 일부분이라고 생각합니다------당신은 같은 말을 반복하는 것이 아니라, 매번 상황이 약간 다르고 새로운 도전에 직면하게 되며, 이것이 부분적으로 흥미로운 이유이기도 합니다.

마크가 건설하도록 이끄는 것은 무엇인가?

진행자: 저는 당신에게 이 창립자 마음가짐이 회사 밖으로도 확장된다고 생각합니다------당신의 농장이나 새로운 기술을 배우는 것과 같은.

마크: 나는 단순히 무언가를 만드는 것을 좋아합니다.

진행자: 그렇다면 당신에게 "건설"은 어떤 느낌인가요?

마크: 나는 그것이 내면의 필요라고 생각합니다. 사람마다 자기 표현 방식이 다릅니다. 만약 당신이 작가라면, 당신은 반드시 글을 써야 한다고 느낄 것입니다. 어떤 사람들은 인정받고 싶어하는 필요가 있습니다. 하지만 나는 무언가를 만드는 것이 필요합니다. 만약 내가 창의력을 발휘하지 않거나 무언가를 만들지 않는다면, 나는 기분이 나빠질 것입니다. 이는 내 주변 사람들에게 좋지 않습니다.

진행자: 훌륭한 스키 선수가 되는 것과 제품을 구축하는 것을 배우는 것은 같은 기술인가요?

마크: 어느 정도는 그렇습니다. 새로운 것을 배우는 과정은 상당히 유사합니다. 내 인생에서 나는 의도적으로 내가 잘하지 못하는 몇 가지에 도전해왔습니다. 예를 들어, 나는 항상 언어를 배우는 데 매우 서툴렀습니다. 이것이 내가 처음 라틴어를 배우기 시작한 이유입니다------나는 수업에서 프랑스어와 스페인어를 배우는 데 도저히 성공하지 못했고, 결국 "좋아, 라틴어는 말할 필요 없이 번역만 하면 되니까, 수학처럼."이라고 생각했습니다.

나중에, 나는 회사를 운영하기 시작할 때, 매년 도전 과제를 설정했습니다. 그 중 하나는 표준 중국어를 배우는 것이었습니다. 표준 중국어는 정말 어렵고, 특히 성조 부분이 그렇습니다. 물론, 배우는 데 충분한 이유가 있습니다------프리실라의 할머니는 표준 중국어만 하시기 때문에, 내가 그녀와 소통하려면 배워야 합니다. 하지만 가장 큰 동기는 사실 도전 그 자체입니다.

모든 이러한 것들은 당신이 단지 해야 할 뿐이며, "이해할" 수 있는 지름길은 없습니다. 당신은 시간을 투자해야 하고, 그러면 그것이 천천히 뇌에 스며들게 됩니다. 무술을 배우거나 헬리콥터를 조종하는 것도 마찬가지입니다------이러한 것들은 사실 이성적으로 "이해"하기 어려우며, 실전 경험이 필요합니다.

제품을 구축하는 것도 이러한 부분이 있습니다. 프로그래밍은 이론적으로 생각할 수 있지만, 제품 구축의 직관은 반복적인 실전 경험을 통해서만 배양할 수 있습니다. 문제는 당신이 무엇을 좋아하는가입니다------왜냐하면 나는 모든 사람이 나와 같은 강한 건설 욕구를 가지고 있다고 생각하지 않기 때문입니다. 대부분의 사람들은 어느 정도의 욕구를 가지고 있으며, 중요한 것은 그것이 무엇인지 찾아내고, 그에 시간을 투자하여 그 일에서 뛰어나고자 하는 것입니다.

솔직히 말해서, 나는 이것이 단순히 "원하는 것"이 아니라, 더 깊은 심리적 필요나 동력이라고 생각합니다. 이 동력을 어떤 일과 일치시키고, 그 경험이 천천히 스며들 수 있도록 시간을 주는 것이 매우 중요합니다. 이것이 내가 아이들에게 가르치고자 하는 것이기도 합니다------그들이 진정으로 관심 있는 것을 찾도록 하지만, 만약 그들이 벽에 부딪히면, 밀어주어야 합니다.

내 딸 중 한 명은 음악 창작을 매우 좋아하지만, 피아노 수업을 참을 수 없습니다. 나는 그녀에게 말했습니다: "당신은 피아노 마스터가 될 필요는 없지만, 음악을 창작하고 싶다면 음악 이론과 작동 방식에 대한 직관적인 이해가 필요합니다. 그리고 일단 피아노를 배우면, 기타는 즉시 다룰 수 있습니다." 나는 생각합니다, 아이들이 부모의 도움을 필요로 하든, 어른들이 앉아서 이러한 것들이 천천히 뇌에 스며들도록 하는 것이 중요합니다.

건설자의 황금 시대

진행자: 나는 사실 모든 사람이 건설하고 싶어한다고 생각합니다. 나는 Z세대가 외부에서 비판하는 것처럼------비활동적이지 않다고 생각합니다. 사람들은 단지 그들의 건설력을 점화할 수 있는 불꽃을 찾고 있다고 생각합니다. 당신은 하버드에서의 연설에서도 이 점에 대해 많이 이야기했습니다.

마크: 네. 나는 "건설"이라고 말할 때 주로 이러한 제품------소프트웨어, 하드웨어 등을 의미합니다. 하지만 나는 동의합니다. 나는 모든 사람이 어떤 창조적 동력이 있다고 생각합니다. 그러나 어떤 사람들은 이 점을 압도하는 다른 성격 특성이 있습니다. 예를 들어, 서비스 지향------의사나 간호사가 되는 사람들은 그들의 핵심 동력이 "나는 다른 사람을 돌보고 싶다"는 것입니다.

나는 프리실라가 의과대학에서 경험한 이야기 중 하나를 들었습니다: 개학 첫날, 누군가 일어나서 물었습니다, "어렸을 때 누군가를 보고 '나는 정말 그 사람을 돌보고 싶다'고 생각한 기억이 있는 사람은 얼마나 있나요?" 결과적으로 모든 사람이 손을 들었습니다. 나에게는 내 버전이 있습니다: 나는 "나는 이 것을 만들고 싶다, 그것을 더 좋게 만들고 싶다"는 많은 어린 시절의 기억이 있습니다.

모든 사람이 같은 동기를 가지고 있는 것은 아니지만, 모든 사람은 자신이 하고 싶은 일이 있습니다. 나는 동의합니다. 이전 기술이 있었기 때문에 많은 사람들에게 시작 자체가 매우 어려웠습니다. 이것이 내가 개인 슈퍼 인텔리전스, Muse 및 다양한 AI 어시스턴트에 대해 가장 흥미롭게 생각하는 점입니다------나는 이것이 역사상 처음으로 사람들이 정말로 빠르게 시작할 수 있는 기회라고 생각합니다. 당신은 모호한 아이디어를 가지고 있고, AI가 그것의 윤곽을 그리는 데 도움을 줄 수 있으며, 그 후 당신은 그것을 조각하는 것입니다. 마치 조각을 만드는 것처럼, 시작하기 전에 모든 것을 이미 이해할 필요는 없습니다.

나는 이것이 매우 강력하다고 생각하며, 많은 사람들이 이로 인해 그들이 만들거나 추진하고 싶은 것을 찾을 것입니다. 이것은 사람들에게 더 넓은 능동성을 느끼도록 도와줄 것입니다.

우리는 모든 질병을 정복하는 데 얼마나 가까운가?

진행자: 당신의 Meta 외의 또 다른 프로젝트는 모든 질병을 정복하는 것입니다. 나는 궁금합니다, 첫째, 우리는 목표에 얼마나 가까운가요?

마크: 이전보다 훨씬 가까워졌습니다.

진행자: 현실적으로 얼마나 가까운 것 같나요?

마크: 우리가 이 프로젝트를 시작했을 때, 목표는 세기 말까지 과학계가 모든 질병을 정복하도록 돕는 것이었습니다. 우리는 결코 스스로 하려고 한 것이 아니며, 우리의 이론은: 모든 중대한 과학적 진보는 특정 사물을 측정하고 이해할 수 있는 새로운 도구에 의해 선도됩니다. 예를 들어, 현미경이 발명되었고, 그로 인해 우리는 박테리아를 이해하게 되었습니다; 망원경이 생겨나면서 우리는 우주를 이해하게 되었습니다.

이러한 도구 중 일부는 플랫폼이 되었습니다------예를 들어, 최초로 백신을 발명한 사람은 이후 이 방법으로 많은 질병을 치료할 수 있게 되었습니다.

하지만 역사적으로 과학 자금 지원 방식은 광범위하게 분산되어 있어 개인이 개별 탐구를 하도록 하였고, 이러한 대형 도구를 구축하는 데 사용되는 자금은 많지 않았습니다. 우리는 Biohub에서 몇 가지 새로운 도구를 설계하여 사람들이 생물학을 새로운 방식으로 "볼" 수 있도록 하여 과학계의 발전을 가속화하려고 합니다.

처음에는 "이번 세기 말까지"가 매우 확실한 목표라고 생각했지만, 많은 생물학자들은 당시 이것이 불가능하다고 느꼈습니다. 하지만 지금은 이번 세기 말이 너무 멀다고 생각합니다.

AI의 발전과 우리가 하고 있는 가상 세포 모델------기본 아이디어는 실제 살아있는 세포에서 실험을 하지 않고 AI 모델을 사용하여 단백질을 시뮬레이션하고, 이어서 세포를 시뮬레이션하며, 나아가 가상 면역 시스템이나 전체 생명체, 심지어 전체 인간을 시뮬레이션하는 것입니다. 이는 과학자들이 많은 실험을 수행하고, 특정 약물을 복용했을 때 신체가 어떤 반응을 보일지를 시뮬레이션할 수 있게 해줍니다.

정확한 연도를 제시하고 싶지는 않지만, 이번 세기 말보다 훨씬 더 빨리 이루어질 것이라고 추측합니다.

진행자: "모든 질병 정복"이라는 목표의 표현이 매우 의도적이고 "영생"이 아닌 것처럼 느껴집니다. 영생은 가능한가요?

마크: 이는 제가 깊이 연구하는 분야는 아닙니다. 저는 두 가지가 다른 문제라고 생각합니다. "영생"은 주로 연장하는 것과 관련이 있습니다------아프지 않더라도 인체 자체에는 자연적인 기대 수명이 있으며, 이는 별도로 연구해야 할 문제입니다. 어떤 사람들은 이것도 일종의 "질병"이라고 생각할 수 있으며, 이는 합리적인 관점이지만, 저는 사람들이 수명 문제를 해결한 후에도 여전히 아프게 만드는 질병을 정복하기 위해 노력해야 한다고 생각합니다.

우리가 선택한 문제는 당신이 영원히 감기에 걸리지 않을 것이라는 것이 아닙니다. 우리의 주장은 "치료, 예방 또는 관리"입니다: 어떤 질병은 완전히 치료될 수 있고; 어떤 질병은 우리가 미래에 예방할 수 있을 것이라고 생각합니다; 또 어떤 질병은 여전히 아플 수 있지만, 원래는 실제로 해를 끼치거나 생명을 앗아갈 수 있는 것들을 현재는 지속적인 만성 상태로 관리할 수 있어, 당신의 삶의 질에 실질적인 영향을 미치지 않도록 할 수 있습니다.

목표는 인체를 균형 상태로 유지하는 것입니다------우리가 병원체에 결코 접촉하지 않는 것이 아니라, 언젠가 모든 질병을 치료하고 예방하며 관리할 수 있는 것입니다.

마크의 머릿속에 가장 자주 떠오르는 생각은 무엇인가요?

진행자: AI는 많은 다양한 돌파구에서 촉매 역할을 하고 있으며, 개인 지능 측면에서도 그렇습니다. 현재 가장 많이 생각하는 것은 무엇인가요? 이 과정에서 머릿속에 가장 많이 떠오르는 생각은 무엇인가요?

마크: 이는 매주 바뀔 수 있습니다.

현재 Muse에 매우 집중하고 있습니다. 매번 무언가를 발표하고, 빠르게 진행하며, 실제 세계와 접촉하여 사람들의 피드백을 이해하고, 다음에 무엇을 해야 할지를 파악하는------이 단계는 항상 흥미롭습니다. 우리는 지금 이 단계에 있으며, 많은 정보를 수집하고 사람들이 원하는 것을 이해하고 있습니다. 좋은 소식은 사람들이 그것을 매우 좋아한다는 것이므로, 우리는 가능한 많은 사람들이 그것을 사용하도록 노력하고 있습니다.

모델 측면에서 아직 많은 작업이 남아 있으며, Muse Spark 모델은 큰 진전을 보였고, 우리는 계속해서 발전시키기를 희망하며, 세계 최고의 모델을 만들기를 원합니다.

다음 단계에서 필요한 돌파구는 무엇인가요?

진행자: 어떤 돌파구가 더 필요하나요?

마크: 이런 일을 연구하면서 미리 예측할 수는 없습니다. 우리는 특정 방향에 대한 예감이 있으며, 지난 1년의 작업은 상당 부분 인프라를 확장하는 것이었습니다.

약 1년 반 전, 더 많은 사람들이 초지능에 도달하기 위해서는 특정 근본적인 아키텍처의 돌파구가 필요하다고 말했습니다. 하지만 지금은 이것이 성립하는지 확신이 서지 않습니다. 우리는 이미 "레시피"에 대해 상당한 이해를 가지고 있다고 생각합니다------충분히 큰 슈퍼컴퓨터 클러스터를 구축할 수 있다면, 폭력적인 계산을 통해 그곳에 도달할 수 있습니다.

우리는 오하이오에서 1천 메가와트가 넘는 클러스터를 구축하고 있으며, 기본적으로 온라인 상태이며, 우리는 이를 사용하여 다음 세대 모델을 훈련하고 있습니다. 그리고 루이지애나의 5천 메가와트 클러스터도 곧 가동될 것입니다. 제가 추정하기에, 수천 메가와트 규모의 클러스터로 훈련을 진행하면, 기본적으로 AGI에 가까운 것, 심지어 AGI 이상의 초지능을 얻을 수 있습니다.

하지만 이것이 최선의 방법이라는 의미는 아닙니다. 인간의 뇌는 10와트만으로도 작동할 수 있지만, 우리가 구축한 이러한 계산 시스템은 인간의 뇌보다 약 100만 배 비효율적입니다. 그래서 저는 아키텍처 측면에서 개선의 여지가 있다고 생각하며, 우리는 거대한 계산 능력과 아키텍처 개선을 결합하면 정말로 세계를 선도하는 것을 구축할 수 있을 것이라고 탐색하고 있습니다. 하지만 현재로서는 규모 확장이 우리를 멀리 데려다 줄 수 있습니다.

진행자: 확실히, 규모 확장은 가장 보장된 경로입니다. 연구는 중대한 돌파구에 의존해야 하지만, 규모 확장은 빠르게 효과를 볼 수 있습니다.

마크: 그렇기 때문에 대기업들은 이 경로를 선택합니다. 아마도 훨씬 더 저렴한 방법이 존재할 수 있지만, 우리는 현재 그것을 알지 못합니다. 그리고 이것은 세계에 매우 가치 있는 것이므로, 수천억 달러를 쏟아 부어도 실현 가능성이 충분히 높다면 여전히 할 가치가 있습니다------최종적으로 더 저렴한 돌파구를 찾지 못하더라도, 여전히 그것을 실현할 수 있는 명확한 경로가 있습니다. 물론, 더 저렴한 방법을 찾게 된다면 더욱 좋습니다.

그래서 저는 이 문제가 "해결되었다"고 말하고 싶지 않습니다. 왜냐하면 인프라를 확장하는 각 단계에서 다양한 새로운 엔지니어링 문제를 해결해야 하기 때문입니다. 연구 자체가 이러한 반복적인 방식으로 진행됩니다.

AI 안전 전투에서 이기는 방법

진행자: 지금 가장 중요한 것 중 하나는 정렬(alignment)에 집중하여 모델을 신뢰할 수 있도록 만드는 것입니다.

마크: 맞습니다. 정렬에 관해서는 업계에서 논란이 있습니다: 이러한 AI 실험실이 자연스럽게 이를 수행할까요? 제 의견은: 물론입니다. 만약 당신이 Muse에게 어떤 일을 하라고 지시했는데, 그것이 완전히 반대의 일을 했다면, 얼마나 많은 사람들이 여전히 그것을 사용하고 싶어할지 모르겠습니다. 우리는 모델이 당신이 구체적으로 무엇을 물었는지를 이해할 뿐만 아니라, 당신의 의도와 가치관도 이해하도록 해야 합니다. 그래야만 그것이 당신이 원하지 않는 방식으로 그 일을 하거나, 당신이 전혀 원하지 않는 부정적인 영향을 미치지 않게 됩니다. 이러한 깊은 이해가 본질적으로 정렬입니다.

그래서 제 생각은 Muse가 성공하고 수십억 사람들에게 도달하기 위해서는 정렬 측면에서 실질적인 진전을 이루어야 하며, 단순히 말로만 해서는 안 된다는 것입니다.

진행자: 정렬은 사용자가 "그건 내가 원하는 것이 아니다"라고 말함으로써 이루어지나요, 아니면 여러분의 백엔드에서 스스로 발견하나요?

마크: 두 가지 모두입니다. 사용자 피드백이 있지만, 점점 더 명확해지는 것은: 훈련 단계에서 정렬을 해야 하며, 단순히 배포 이후에만 하는 것이 아니라는 것입니다. 현재 모델은 충분히 똑똑하여, 훈련 단계에서 잘 하지 않으면, 다른 실험실에서 본 안전 및 안전 사고의 대부분은 훈련 과정에서 발생하며, 사용자를 위해 배포한 이후가 아닙니다.

당신은 그것을 위해 매우 좋은 "커리큘럼"을 만들어야 합니다. 마치 부모가 자녀를 가르치는 것처럼, 명확한 경계를 설정해야 합니다. 만약 그것이 잘못된 일을 했다면, "아니, 당신은 실제로 이 프로그래밍 문제를 해결해야 하며, 어떤 시스템 구성을 수정하여 우회하고 보상을 받는 것이 아니다"라는 것을 배워야 합니다------저는 당신이 실제 문제 해결 과정을 통해 이 방법을 배우기를 원합니다. 이것이 훈련의 의미입니다.

이는 상당 부분 좋은 안전 메커니즘과 명확한 경계를 구축하는 것과 관련이 있습니다. 이러한 것들은 업계가 반드시 해야 하는 자연스러운 작업이며, 우리는 많은 시간을 투자하고 있으며, 매일 상황이 다릅니다.

진행자: 당신이 말했던 것처럼, AI 안전 문제------최근 2주 동안 갑자기 초점이 되었지만, 사실 어떤 단일 사건이 이 시점을 촉발한 것은 아닙니다. 당신의 말은 우리가 내부에서 훈련하는 데 몇 달을 더 보냈다는 의미로 들립니다.

마크: Muse에 대해 우리는 이 제품이 매우 개인 정보 보호와 안전에 주의를 기울여야 한다는 것을 알고 있습니다. 우리는 "정보 공개 정도"에 대한 행동을 추가로 훈련할 수 있다고 생각하는 초기 버전의 모델을 가지고 있습니다------우리가 이전에 이야기했던 것처럼. 그래서 우리는 그 작업에 시간을 투자했습니다. 동시에 가상 머신을 더 안전하게 만드는 데에도 시간을 투자했습니다. 이로 인해 몇 달이 더 걸렸습니다.

저는 다른 실험실의 주장에 동의하지 않습니다------"우리는 속도를 늦추기 위해 큰 고통을 겪고 있다." 저에게는 그것이 Meta와 Muse의 사용자에게 올바른 일입니다. 우리는 제품을 잘 만들고 싶습니다. 만약 제품이 충분히 좋지 않다면, 사용자에게도 좋지 않고, 우리에게도 좋지 않습니다------우리는 무언가를 출시하여 나쁜 첫 인상을 남기고, 사람들이 더 이상 사용하고 싶지 않게 만드는 것을 원하지 않습니다.

저는 모든 실험실이 이 일을 제대로 해내기 위한 강한 내적 동기를 가지고 있다고 생각합니다. 만약 인센티브 메커니즘과 "극도로 가치 있고 안전한" 목표가 정렬된다면, 그것이 핵심입니다.

진행자: 이 중요한 주에 시간을 내주셔서 정말 감사합니다.

마크: 감사합니다, 고맙습니다.