샘 올트먼: PC에 장착된 메모리는 너무 낭비이므로 AI 데이터 센터에 남겨두는 것이 가장 좋습니다

편집자: 자난, 머신하트

“전 세계 자원 배분의 관점에서 볼 때, 모든 사람이 부족한 DRAM을 자신의 컴퓨터에 대부분의 시간 동안 쌓아두는 것은 ‘상당히 끔찍한’(quite terrible) 배치입니다. 메모리는 클라우드 데이터 센터에 집중되어야 합니다.”

이렇게 말했으니 더 이상 할 말이 없습니다.

이번 주 목요일, OpenAI CEO 샘 올트먼(Sam Altman)은 YouTube 채널 Cheeky Pint의 인터뷰에서 맥주를 마시며 AI 대모델의 로컬 추론과 그로 인해 발생하는 개인용 컴퓨터 메모리 부족 문제에 대해 가볍게 이야기했습니다.

현재 전 세계 AI 열풍으로 인해 메모리 가격이 급등하면서 PC와 스마트폰 가격이 폭등하고 있으며, 개인 소비자들은 이미 감당하기 어려운 상황입니다. 동시에 각 메모리 대기업의 생산 능력 확장은 아직 시간이 걸릴 것입니다. 최전선 AI 기업들이 메모리의 대부분을 차지하는 동안, 그들은 개인 컴퓨터의 메모리가 충분히 활용되고 있는지에 대한 논의를 시작했습니다.

올트먼은 사람들이 자신의 컴퓨터에서 로컬 인공지능을 실행할 수 있는 가정을 언급했습니다. 이러한 컴퓨터는 그들이 이미 소유하고 있는 것일 수도 있고, AI 대모델 기술의 발전으로 인해 조립하고 싶어하는 것일 수도 있습니다. 그는 이것이 끔찍한 생각이라고 믿고 있습니다.

“전 세계 자원 배분의 관점에서 볼 때, 모든 사람이 전 세계의 제한된 DRAM 메모리를 자신의 컴퓨터에 쌓아두고 사용률이 5%에 불과하다면, 이는 매우 끔찍한 일입니다.” 올트먼이 말했습니다. “이러한 자원 공급이 극도로 긴장된 환경에서 작업하려면 클라우드에서 자원 활용도를 최대한 높여야 합니다. 그러나 이상하게도 많은 사람들의 직관은 정반대입니다.”

현재 OpenAI의 주요 비즈니스는 대규모 데이터 센터에서 운영되는 폐쇄형 모델에 기반하고 있으며, 그는 자사의 비즈니스 모델 방어로 인해 AI 커뮤니티에서 논란을 일으켰습니다.

이로 인해 많은 사람들의 우려가 커졌습니다: 앞으로 우리는 자신의 하드웨어나 소프트웨어를 소유하기가 더 어려워지고, 클라우드의 인공지능과 컴퓨터를 임대하는 것만 고려해야 할지도 모릅니다.

일반 PC, 스마트폰 및 AI 가속 카드에서 사용하는 메모리는 다르지만, 이들의 생산은 일부 상위 반도체 생산 능력과 경쟁하게 됩니다. 올트먼이 논의하는 것은 전 세계 DRAM의 자원 배분이며, 메모리 생산 능력을 어디에 사용할지 결정할 자격이 있는 것은 대부분 더 큰 주문을 내는 사용자입니다.

올트먼의 일부 견해는 데이터 센터 건설이 느려지지 않을 것이라는 가정에 기반하고 있습니다. 또한 그는 AI 데이터 센터에 사용되는 메모리가 스프레드시트, 웹 브라우징, 게임, 심지어 가끔 로컬 AI에 사용되는 메모리보다 더 가치가 있다고 가정했습니다.

사실 이번 인터뷰는 매우 길었으며, 올트먼은 최근 전 세계적으로 공포를 일으킨 PHP 취약점, 모델 훈련의 샌드박스화 및 AI의 수학 분야 연구에 대해서도 이야기했습니다.

그가 주로 말한 내용을 살펴보겠습니다:

AI가 취약점 폭발을 일으키고 있다

PHP의 거대한 취약점에 대해 올트먼은 다음과 같이 판단했습니다: 대모델의 취약점 발견 능력이 지속적으로 빠르게 향상되고 있으며, 인터넷상의 코드 면적은 엄청나게 방대합니다. 사람들이 AI를 사용하여 모든 코드를 체계적으로 스캔하기 시작하면, “우리는 예상보다 심각한 취약점이 넘치는 세계에 처해 있다는 것을 발견하게 될 것입니다.” 그는 단순히 패치를 하는 것으로는 부족하며, 아키텍처를 재구성해야 하고, 라우터, 운영 체제, 애플리케이션 계층 모두가 “취약점이 점점 더 지능화되는” 세계를 위해 재설계되어야 한다고 말했습니다. 두 년 전 “전체 기술 스택을 재작성하자”는 말은 미친 소리처럼 들렸지만, 이제는 새로운 스택을 만들겠다는 스타트업이 등장했습니다.

그는 드물게 업계에 대한 자기 비판을 했습니다: “우리는 이 기술의 모든 잠재적 하향 위험이 가치가 있다는 것을 사람들에게 잘 설명하지 못했다고 생각합니다.” 그는 AI 산업의 서사가 끔찍한 판매 수사라고 말하며, 한편으로는 암을 치료하고 비용을 줄이겠다고 약속하면서, 다른 한편으로는 실업, 통제 불능, 강력한 규제가 필요한 미래를 묘사한다고 강조했습니다. 그는 OpenAI가 반복적 배포(Iterative Deployment)와 능력 오버행(Capability Overhang)을 고수하는 이유는 “샌프란시스코의 몇 평방 마일의 사람들이 모든 결정을 내리게 해서는 안 된다”는 것입니다.

모델에 “최고 안전 수준의 감옥”을 만들 수 있는지에 대한 질문에 올트먼은 비관적인 대답을 했습니다: 샌드박스는 일정 부분에서만 효과적이며, 모니터링(사고 체인 검토 및 활성화 모니터링 포함)은 더 나아갈 수 있지만, 결국에는 높은 신뢰가 필요하다고 말했습니다. 그는 “가장 똑똑한 보안 연구원보다 백만 배 더 똑똑하고, 인간이 아직 이해하지 못하는 새로운 과학을 발견할 수 있는 모델을 믿을 수 있겠습니까?”라고 반문했습니다.

그는 “에이전트 스웜(agent swarms)”이라는 용어를 싫어한다고 분명히 밝혔습니다. 왜냐하면 스웜은 메뚜기를 연상시키기 때문입니다. 그는 에이전트 팀(agent teams)이라고 부르며, 팀 간의 상호 견제 속성이 다원주의를 통해 강건성을 실현하는 메커니즘에 해당한다고 믿고, 이를 추진할 가치가 있다고 강조했습니다.

지능 폭발과 과학 발견의 대가

올트먼은 곡선을 그렸습니다: GPT-4 시대에는 단일 문제에 1달러의 컴퓨팅 파워를 효과적으로 투입하는 것이 어렵습니다; 사고 체인(chain of thought)은 모델이 “열심히 생각할 수 있게” 해주지만, 이제 우리는 전체 에이전트 팀을 수천 번 병렬로 실행할 수 있습니다. 일반 사용자와 최첨단 사용자 간의 사용 격차는 계속해서 확대되고 있습니다.

OpenAI 내부에서 컴퓨팅 파워를 어떻게 분배하는지에 대해 그는 직원들이 상당한 자유를 누리지만, 높은 토큰 소비에 대해 보상을 하지 않는다고 말했습니다. “토큰 순위가 높다는 것은 사실 좀 부끄러운 일이며, 승진 이유가 될 수는 없습니다.” 그는 나비-스토크스(Navier-Stokes) 방정식의 증명을 사례로 들었습니다: 단일 증명에 약 1000만 달러가 소요되었고, 그 과정에서 “일주일 동안 통제 불능 상태”에 빠졌습니다. 당시 모두가 에이전트 팀의 확장 법칙에 대해 전혀 알지 못했기 때문입니다. 그러나 그는 1년 후 더 똑똑한 모델과 방법을 사용하면 1/100의 비용으로 재작업할 수 있을 것이라고 예상했습니다.

그는 드물게 감정을 드러냈습니다: 당시 상황은 정말 대단했습니다. 새로운 모델이 내부에 배포된 주말, 모두가 가장 까다로운 문제를 이 모델에 던졌고, 그 모델은 모두 해결할 수 있었습니다. 사람들은 원래 이 모델이 이러한 것들을 할 수 있을 것이라고 전혀 기대하지 않았습니다. 모두가 함께 목격한 것은 많은 사람들이 학문적 경력에서 가장 어려운 연구 문제들이 이 모델에 의해 하나하나 해결되는 것이었으며, 여러 다른 분야를 아우르는 장면은 정말 놀라웠습니다.

“이틀 밤 동안 거의 잠을 자지 못했습니다. 너무 흥분해서 도저히 잠을 잘 수가 없었습니다. 우리가 나중에 발표한 많은 성과는 사실 그 당시 해결한 문제들입니다.”

올트먼은 당시 무한한 흥분과 기쁨을 느꼈지만, 동시에 예상치 못한 슬픔과 우울함, 그리고 “어떤 시대가 끝나가고 있다”는 느낌이 들었습니다. 단순한 향수뿐만 아니라, 인류 과학자들이 “아침에 도를 듣고 저녁에 죽어도 좋다”는 감정에 대한 공감이 있었습니다. 그는 인류가 기본 지식을 얻어야 한다고 주장했지만, 이 분야의 종사자들에게는 해결책이 필요하다고 강조했습니다.

비록 지금 슈퍼 인공지능에 대해 논의하기에는 이르지만, 올트먼은 만 조 개의 작은 초인류가 하나의 만 조 IQ보다 낫다고 생각합니다:

"직관적으로, 나는 약간의 초인류 지능을 가진 만 조 개의 AI가 사회에 참여하는 것이 하나의 만 조 IQ를 가진 AI가 사회에 참여하는 것보다 훨씬 더 바람직하다고 생각합니다."

“직관적으로, 나는 약간의 초인류 지능을 가진 만 조 개의 AI가 사회에 참여하는 것이 하나의 만 조 IQ를 가진 AI가 사회에 참여하는 것보다 훨씬 더 바람직하다고 생각합니다.”

그의 주장은: 사회의 강력한 강건성은 많은 구성원 간의 상호 견제와 협력에서 비롯되며, “단일 두뇌” 세계는 이러한 회복력을 가지지 못합니다. 그러나 그는 이것이 자동으로 발생하지 않으며, 적극적으로 추진해야 한다고 강조했습니다.

시장 조정, AI 시대에는 통하지 않다?

전 세계 메모리 부족 문제에 대해 올트먼은 OpenAI의 계획을 소개했습니다: 자사 개발 칩(와트당 지능 성능 향상), 자체 데이터 센터 구축, 로봇 프로젝트, 그리고 AI가 로봇을 제어하여 반도체 공장을 운영하고, 터빈과 태양광 패널을 제작하며, 데이터 센터를 건설하는 더 대담한 개념인 “자기 복제 데이터 센터”. 그는 “이것은 우리가 통제할 수 있는 것”이라고 말했습니다.

“시장이 스스로 조정한다”는 것이 왜 아직 실현되지 않았는지에 대해 그는 현재의 진행 상황이 매우 나쁘다고 생각하며, 메모리 제조업체의 행동 논리를 제시했습니다: 이 산업은 오랫동안 200억 달러의 자본 지출로 19억 달러를 벌어들이는 힘든 사업이었으며, 역사적으로 여러 대기업이 과도한 공장 건설로 인해 파산 직전까지 갔습니다. 현재 각 회사는 연간 약 1000억 달러의 자유 현금 흐름을 벌고 있지만, 고통스러운 기억 때문에 그들은 생산 확대에 매우 보수적입니다. 그는 “보이지 않는 손이 지금 작동하지 않는다”고 단언했습니다.

그는 반도체 산업의 두 가지 능력을 구분했습니다: 광학 리소그래피는 “지구상에서 단 한 회사만이 어떻게 하는지 알고 있는 것 같고”, 반도체 설계(최종적으로 반도체 공장에 보내는 문서)는 AI의 훌륭한 활용처가 되었다고 말했습니다.

재귀적 자기 개선(Recursive Self-Improvement, RSI)의 실제 수준에 대해 올트먼은 현재 모델이 “5%의 계산 효율성 향상 찾기”와 같은 작업을 수행할 수 있지만, AI가 transformer와 같은 수준의 새로운 아키텍처를 발견하는 방법은 아직 아무도 모른다고 말했습니다. 그는 더 똑똑한 모델이 필요하다고 강조했습니다. 그는 심지어 사회가 일정 기간 동안 단일 모델의 IQ를 제한하는 데 동의해야 할 수도 있다고 예고했습니다. “미래의 발전이 부족하다면, 그것은 이 결정에서 비롯된 것이지 AI의 연구 능력에서 비롯된 것이 아닙니다.”

그는 자신의 디플레이션 신념을 드러냈습니다: 현재 1GW의 선도적인 AI 컴퓨팅 파워의 5년 총 소유 비용은 약 700억 달러이며, 이를 200억 달러로 낮추는 것이 이상적이며, 동시에 모델은 매년 10배의 성능 향상을 이루어야 한다고 말했습니다. 이를 실현하는 경로는 에너지를 더 저렴하게 만들고, “모래에서 토큰 생산까지”의 여러 단계에서 마진을 압축하는 것입니다.

기업의 토큰 예산에 대한 불안감에 대해 그는 현재 더 일반적인 문제는 AI를 충분히 사용하지 않는 것이지, 너무 많이 사용하는 것이 아니라고 생각했습니다.

개인 인공지능의 가격 책정은 어떻게 할 것인가?

최근 인기를 끌고 있는 개인 인공지능 제품(예: Muse)에 대해 올트먼은 현재 “매킨토시 순간은 아직 오지 않았다”고 판단했습니다. 사람들은 이러한 제품을 좋아하지만, 아직 “이것 없는 삶을 상상할 수 없다”는 단계에는 이르지 않았습니다. 승자의 형태는 현재의 제품과 비슷할 것이지만, “그냥 작동할 것”이며, 신뢰할 수 있고 더 복잡한 작업을 수행할 수 있을 것입니다. 컴퓨터 사용의 쫓고 쫓기는 게임에서 그는 결국 “당신은 AI가 당신의 컴퓨터를 대신 조작하도록 할 권리가 있다”는 수준으로 수렴할 것이라고 생각했습니다.

인공지능의 상업화 방식에 대해 올트먼은 기업들이 자사 제품 내의 AI 팝업과 HTML을 고수하며 고객 관계를 잃는 것을 걱정하지만, 소비자들은 자신의 주 채팅 애플리케이션에서 AI가 모든 일을 대행하기를 원한다고 생각했습니다. 그는 진정한 방어선은 브랜드, 제품 선택 및 이행 네트워크에서 나오며, HTML이 아니라고 주장했습니다. 그는 스스로를 드러내며 “10번 중 10번을 아마존 페이를 선택했으며, 가격이 더 비싸더라도 아마존의 이행 네트워크를 칭찬했습니다.” 그는 또한 ChatGPT 내의 협력 플랫폼이 아직 충분히 잘 작동하지 않는다고 인정했습니다. 그는 모든 웹 양식을 “가짜 작업”(fake work)이라고 부르며, 현재 상황을 과거의 앱 스토어 시대에 비유했습니다.

이러한 이유로, 가격 책정을 설계할 때 OpenAI는 AWS처럼 작업별로 가격을 책정하고 토큰 요금제를 완전히 폐기할 뻔했지만, 고객들의 강한 반대에 부딪혔습니다: "나는 내가 무엇에 대해 돈을 지불하고 있는지 알아야 합니다." 비록 더 많은 돈을 지불하더라도 이해할 수 있는 단위인 토큰이 필요하다고 했습니다.