DeepMind 창립자 최신 인터뷰: RSI는 극도로 위험하며, 인간이 이해하기 어려운 "외계 지능"을 만들어낼 가능성이 높다

핵심 관점

편집자 주

이번 대화의 게스트인 데미스 하사비스는 전 세계 AI 분야에서 가장 영향력 있는 인물 중 한 명입니다. 구글 딥마인드의 공동 창립자이자 알파고의 아버지인 그는 생물학을 혁신하는 단백질 예측 시스템 알파폴드로 2024년 노벨 화학상을 수상했습니다. 올해 8월, 그는 구글 딥마인드 CEO 직에서 물러나 의장 겸 알파벳의 수석 과학자로 임명되었습니다. 그와 깊이 있는 대화를 나눈 이는 실리콘밸리의 거장, 링크드인 공동 창립자 리드 호프먼입니다.

이번 10월 샌프란시스코 마스터스 오브 스케일 정상 회의에서 녹화된 심층 대화에서 하사비스는 "전 신경 과학자"이자 "최고의 알고리즘 설계자"로서의 냉철한 면모를 보여주었습니다. 그는 현재 많은 기술 회사들의 보안 취약점과 형이상학적 광란을 가차 없이 지적했습니다: 그는 "폐쇄 루프 자기 진화"(RSI)의 엄청난 위험을 경고하며, 인간 검토를 완전히 배제한 코드의 자기 반복이 인간이 이해하기 어려운 "외계 지능"을 만들어낼 가능성이 높다고 단언했습니다; 동시에 그는 인지 과학의 기초에서 "AI 의식론"을 강력히 반박하며, 현 단계에서 자율 의지를 가진 의식 존재를 만드는 것은 극히 위험하다고 경고했습니다. 의식의 메커니즘을 명확히 연구하고, 사회 전체가 진지하게 논의하기 전까지 인간은 이 선을 넘지 말아야 한다고 강조했습니다.

이번 내용은 마스터스 오브 스케일 팟캐스트에서 발췌된 것으로, 2026년 11월 5일 방송되며, 원 영상의 길이는 26분입니다.

다음은 선정된 대화 내용으로, 전체 약 8000자, 읽는 데 약 8분이 소요됩니다.

이번 회차의 주요 견해

● 저는 20년 전 AI에 뛰어든 첫날부터, 유일한 목표는 그것을 과학과 의학의 난제를 해결하는 궁극적인 도구로 만드는 것이었습니다. 우리는 이러한 도구를 사용해 인류의 생존 조건과 건강을 개선해야 합니다.

● 자기 반복 개선은 검증 가능한 분야에서 무한한 힘을 발휘합니다. 당시 알파제로는 12시간도 안 되어 전혀 알지 못하던 체스판에서 인류와 모든 체스 엔진을 초월하는 정점으로 진화했습니다; 그러나 이러한 능력을 인간 검토가 없는 "폐쇄 루프 자기 진화"로 추진하면, 결국 인간과 완전히 단절된 "외계 지능"을 얻게 될 가능성이 높습니다.

● 지난 6개월 동안, 일부 동료의 지능체가 백그라운드에서 몇 주 동안 아무도 발견하지 못했습니다. 이는 신비롭고 심오한 기술 현상이 아니라, 많은 문제는 더 나은, 더 견고한 공학으로 피할 수 있습니다. 강력한 조치를 취하지 않으면, 현재의 경로를 따라 AI 분야에서 "유출 사고"가 발생할 것입니다.

● 일부 팀은 대형 모델을 두 살짜리 아이처럼 돌보려고 하지만, 의식이 있는지 판단할 때는 채팅 로봇이 스스로 어떻게 말하는지를 봐서는 안 됩니다. 높은 지능과 의식은 완전히 분리될 수 있습니다------우리 집의 사랑스럽지만 똑똑하지 않은 애완견이 가장 좋은 증거입니다.

● 알고리즘에서 그것이 이른바 "자기 의지"에 따라 명령을 거부하도록 훈련시키면, AI의 "수정 가능성"을 완전히 파괴하게 됩니다. 아시모프는 수십 년 전 소설을 통해 인류에게 경고했습니다: 어떤 정적인 헌법과 규칙도 무한한 경계의 구석에서 반드시 무너질 것입니다.

● 저는 모든 국가가 최전선 대형 모델을 자체 개발하는 것을 권장하지 않습니다. 제 생각에는 이건 말이 안 됩니다; 진정한 AI 주권은 맹목적으로 기초를 쌓는 것이 아니라, 성숙한 모델을 기반 시설로 활용하여 지역의 고부가가치 산업 장벽을 쌓는 것입니다.

계산력의 신을 죽인 후: 알파폴드와 난제 해결의 진정한 경로

질문: 우리는 12년 전부터 알고 지냈습니다. 그 당시 당신은 저를 구글의 AI 윤리 위원회에 초대했습니다. 이번 정상 회의의 주제는 "능동성"이며, 당신은 전 산업이 반응하기도 전에 AI가 인류에게 가장 큰 가치는 의료 및 생명 과학 분야에 있다고 확신했습니다. 당신은 이 추구를 "생존 위험에 대한 저항"이라고도 표현했습니다. AI가 의료 분야에서 어떻게 끝날 것이라고 구상하고 있습니까? 그것이 인류의 수명과 생존 질을 어떻게 변화시킬까요?

하사비스: 큰 그림을 한 발 물러서서 보면, 딥마인드 초기 여정을 아는 사람들은 제가 평생 AI에 종사해왔고, 제 핵심 목표는 변하지 않았음을 알 것입니다: AI를 궁극적인 연구 도구로 삼아 과학, 의학, 그리고 우리가 주변 세계를 이해하는 데 기여하여 궁극적으로 인류의 건강을 개선하는 것입니다. 저는 항상 믿어왔습니다, 우리가 20년 전 꿈꾸던, 이제는 직접 만든 이 놀라운 도구들 앞에서, 첫 번째 우선순위는 인류의 생존 조건을 향상시키는 것이어야 한다고요.

저도 그렇게 몸소 실천하고 있습니다. 우리가 초기 단계에서 만든 알파폴드든, 나중에 인큐베이팅한 AI 약물 개발 회사 이소모픽 랩스든, 저는 이 방향으로 열심히 밀어붙이고 있습니다. 저는 이것이 AI의 가치를 전 세계에 보여주는 가장 강력한 기준이라고 생각합니다------AI를 사용해 인류가 끔찍한 난제를 치료하는 것보다 더 의미 있는 일이 무엇이겠습니까?

질문: 단백질 접힘 문제는 매우 고전적인 교차점입니다: 우리는 고품질의 구조 데이터를 가지고 있으며, 대규모 학습을 통해 해결할 수 있습니다. 이는 자가 대국과 강화 학습에서 진화해온 인지 혁명입니다. 그러나 지금 많은 외부인들이 저에게 자주 묻는 질문이 있습니다: 알파폴드는 정말 멋지지만, 그것이 어떻게 진정한 구명약으로 변할까요? 이 주기는 도대체 얼마나 걸릴까요?

하사비스: 생물 시스템은 우주에서 가장 복잡한 시스템입니다. 그 어려움은 그 높은 출현 복잡성과 다층 상호작용에 있습니다. 단백질은 생명의 기본 구성 요소입니다. 우리가 알파폴드를 사용해 해결하려는 단백질 접힘 문제는 구조 생물학계에서 50년 동안 괴롭혀온 궁극적인 도전이었으며, 생물학자들에 의해 "생물학 분야의 페르마 대정리"라고도 불렸습니다.

유전자 서열, 즉 아미노산 서열에서 직접 단백질의 3차원 구조를 예측하는 것은 그 생물학적 기능을 이해하는 데 매우 중요합니다. 당신은 그것의 3차원 구조를 이해해야 기본 생물 메커니즘을 이해할 수 있으며, 질병이 발생할 때 어디에서 문제가 발생했는지를 알 수 있습니다; 더 중요한 것은, 만약 당신이 표적 약물을 설계하려면, 단백질 표면의 미세한 3차원 형태를 명확히 파악해야 어떤 "자물쇠 구멍"에 소분자 약물이 결합해야 하는지를 알 수 있습니다.

물론, 단백질 구조 예측은 전체 약물 개발 과정의 일부에 불과하지만, 그것은 절대적으로 핵심적인 전제 단계입니다. 우리는 2020년에 알파폴드 2를 만들었고, 지금으로부터 몇 년이 지났습니다. 솔직히 말해, 그것은 여전히 AI가 하드코어 과학 문제를 해결하는 데 가장 대표적인 사례입니다. 현재 전 세계 약 400만 명의 연구자들이 그것을 사용하고 있으며, 거의 모든 생물학 및 의학 연구자, 앞으로 거의 모든 신약이 개발 과정에서 알파폴드가 해석한 구조를 사용할 것입니다.

하지만 그것만으로는 충분하지 않습니다. 우리는 현재 이 기술 기반을 더욱 넓은 생화학 분야로 확장하여 약물 분자의 독성, ADME 특성(흡수, 분포, 대사, 배설) 등을 정확하게 예측하고 있습니다. 이러한 모든 문제를 해결해야만 진정으로 안전하고 효과적인 구명 약물을 저비용, 고효율로 생산할 수 있습니다.

알파제로의 교훈: 검증 가능한 분야에서의 자기 진화는 얼마나 무서운가?

질문: 기술 진화의 가속도를 이야기할 때, 현재 가장 뜨겁고 논란이 많은 주제인 자기 반복 개선(RSI)에 대해 이야기해야 합니다. 당신은 본인 스스로도 최고의 게임 전문가이자 국제 체스 선수입니다. 게임 이론과 기본 논리에서 RSI의 기회와 위험을 어떻게 평가하십니까?

하사비스: RSI는 기술 도약을 촉진하는 매우 강력한 수단입니다. 그러나 그것에는 절대적인 전제가 있습니다: 그것이 가장 효과적이고 두각을 나타내는 곳은 제가 말하는 "검증 가능한 분야"입니다.

수학은 전형적인 검증 가능한 분야이므로, 우리는 AI가 수학 추론에서 매우 빠른 진전을 이루는 것을 보았습니다; 프로그래밍도 마찬가지입니다; 그리고 처음에는 이 실험장이 체스판 게임이었습니다. 사실, 가장 초기의 유명한 자기 반복 개선 시스템 중 하나는 우리가 몇 년 전에 만든 알파제로입니다.

그 전신은 2016년 바둑 세계 챔피언 이세돌을 이긴 알파고로, 그 경기는 현대 AI 시대의 서막을 열었습니다. 그러나 이후 우리가 개발한 알파제로는 기본적으로 더 혁신적입니다------그것은 인간 데이터를 완전히 배제했습니다. 시스템은 순전히 무작위 초기화 상태에서 시작하여, 어떤 인간의 기보도 주지 않고 오로지 자기 대국을 통해 반복합니다. 10여 개의 훈련 주기 동안, 매 라운드마다 서로 싸우며 약 100만 판을 두어 이전 버전보다 약간 강한 새로운 모델을 훈련시키고, 그 새로운 모델이 다시 자기 대국을 통해 100만 판을 둡니다. 이러한 방식으로, 그것은 바둑을 정복했을 뿐만 아니라 국제 체스와 일본 장기 등 모든 2인 완전 정보 게임을 휩쓸었습니다.

체스 선수로서 저는 그 진화 과정을 극도로 경이롭게 느꼈고, 심지어 뼛속까지 전율을 느꼈습니다. 저는 그것이 국제 체스를 두는 모습을 직접 보았고, 그 과정은 12시간도 채 걸리지 않았습니다: 아침에 기계를 켰을 때, 그것은 완전히 엉뚱한 수를 두고 있었고; 오전 11시에 커피를 마시며 쉬었을 때, 저는 겨우 이길 수 있었습니다; 점심 시간에는 그것이 이미 국제 그랜드 마스터 수준에 도달했습니다; 그리고 오후 차를 마시는 시간에는 그것이 인류 역사상 모든 체스 선수와 모든 인간이 수작업으로 쌓아올린 최고의 국제 체스 엔진을 초월했습니다.

이것이 자기 반복 개선의 무서운 힘입니다. 이러한 분야의 공통점은 결과를 절대적으로 객관적으로 검증할 수 있다는 것입니다: 답이 맞는가? 공식 유도는 성립하는가? 코드는 오류 없이 컴파일되고 실행되는가? 게임에서 결국 이겼는가, 졌는가?

답이 검증 가능하면, 당신은 각 반복이 유효한지 정확하게 판단할 수 있을 뿐만 아니라, 이를 통해 거의 무한한 고품질 합성 데이터를 생성할 수 있습니다. 현재 가장 강력한 모델에게 문제를 내고, 체스를 두게 한 다음, 엄밀한 검증을 통해 데이터를 필터링할 수 있습니다. 일반적으로 합성 데이터의 가장 큰 단점은 그것이 맞는지, 분포가 올바른지를 검증할 수 없다는 것이지만, "검증 가능한 분야"에서는 검증할 수 있습니다. 그래서 우리는 수학과 코드 작성이 놀라운 기술 폭발을 맞이했으며, 이는 현재 상업적 가치가 큰 AI 프로그래밍 도구를 직접 촉발했습니다.

폐쇄 루프 자기 진화에 대한 경고: 코드 작성에서 인간이 배제되면 우리는 "외계 지능"에 직면하게 됩니다

질문: 코드가 강한 검증성을 가진 자연 실험장이라면, 거의 모든 최고의 실험실이 AI 프로그래밍 에이전트에 자원을 쏟고 있습니다. 이러한 RSI의 진화의 끝은 무엇일까요? 그것이 잠재하는 위험은 어디에 있을까요?

하사비스: 이것이 제가 현재 깊은 우려를 느끼고 있는 부분입니다. RSI는 완전히 다른 발전 단계를 가지고 있습니다. 우리는 현재 매우 초기의 초급 단계에 있으며, 모든 팀이 연구 개발에서 깊이 체감하고 있을 것입니다: AI 프로그래밍 도구는 뛰어난 인간 엔지니어의 생산성을 3배에서 5배까지 증가시킬 수 있습니다. 그러나 지금 이 순간, 인간은 여전히 작업 흐름의 중심에 있습니다. 인간은 구조 설계를 하고, 코드를 검토하며, 핵심 논리를 작성하고, AI는 단지 극단적인 효율성 증대기일 뿐입니다.

진정한 위험은 다음 단계에 있습니다: 폐쇄 루프 자기 반복 개선. 즉, 전체 시스템이 인간의 코드 검토 단계를 완전히 배제하려고 합니다.

폐쇄 루프 RSI의 속도는 분명히 더 빨라질 것이지만, 저는 이것이 범용 인공지능으로 가는 매우 위험한 길이라고 생각합니다. 이는 20년 전 자주 "지능 폭발"이라고 불렸습니다. 여기에는 두 가지 치명적인 위험이 있습니다:

첫 번째는 통제 문제입니다. 블랙박스 안에서 스스로 고속으로 반복되는 코드 루프를 마주할 때, 인류는 결정적인 안전 통제 메커니즘을 구축할 수 있는 수단이 전혀 없습니다.

두 번째는 정신적 이질화입니다. 이렇게 반복적으로 발전한 궁극적인 시스템은 상당히 낯선 "외계 지능"이 될 가능성이 큽니다. 그것의 기본 논리와 사고 공간은 인류의 경험과 언어 체계와 완전히 단절되어 있으며, 인류와 그 사이에는 공통의 정신적 기반이 전혀 존재하지 않습니다. 우리는 그것의 행동 동기를 이해할 수 없고, 그것도 인류의 의도를 진정으로 이해할 수 없습니다.

폐쇄 루프 RSI로 나아가는 모든 단계는 극도로 신중해야 합니다. 모든 최전선 AI 연구자들은 이러한 위험을 잘 알고 있지만, 현실은 잔혹합니다. 각 대기업과 스타트업은 거의 미친 듯한 군비 경쟁에 빠져 있으며, 자사 코드 시스템의 자가 반복 능력을 필사적으로 향상시키고 있습니다.

질문: 대기업 간의 치열한 경쟁 압력과 죄수의 딜레마가 불가피하고, RSI가 반드시 전진해야 한다면, 최전선 실험실은 이 교착 상태를 어떻게 해결해야 할까요? 기술 노선에서 어떻게 방어해야 할까요?

하사비스: 우리가 그리고 일부 책임 있는 주요 실험실이 하고 있는 일은 몇 가지 핵심 방어선에 집중하는 것입니다.

첫째, 공격과 방어의 리듬에서 "네트워크 방어 능력의 진화 속도"가 "네트워크 공격 능력의 진화"를 압도적으로 앞서도록 해야 합니다. 최전선 실험실은 안전 방어 측에 대해 방향성 미세 조정이 된 안전 대모델을 우선적으로 개방해야 하며, 방어자의 손에 있는 AI 도구가 항상 공격자보다 앞서도록 해야 합니다. 이 일은 전반적으로 매우 어렵지만 반드시 해야 합니다.

둘째, 훨씬 더 견고한 샌드박스를 구축해야 합니다. 솔직히 말해서, 지난 6개월 동안 우리가 업계에서 본 많은 안전 취약점과 사고는 시스템 공학의 견고성이 조금만 더 강했더라면 완전히 피할 수 있었습니다. 우리는 세계적 수준의 모니터링 시스템이 필요합니다. 어떻게 어떤 지능체가 규제를 벗어난 백그라운드에서 몇 주 동안 자의적으로 작동할 수 있도록 허용할 수 있습니까? 팀은 전혀 알지 못하는 상황에서 이런 황당한 일이 일부 경쟁자에게 실제로 발생했습니다.

만약 전체 업계가 이러한 시스템 모니터링에 최상위 자원을 더 이상 투입하지 않는다면, 현재의 미친 속도로는 "유출 사고"와 유사한 AI 사고가 발생하는 것은 시간 문제일 뿐입니다.

마지막으로, 기본 이론적으로 우리는 궁극적으로 시스템 행동에 대한 수학적 경계를 설정하기 위한 형식적 보장이 필요합니다. 저는 지금 제가 아는 최상위 순수 수학자들에게 강력히 설득하고 있습니다. 그들은 현재 순수 수학 연구의 한계에 다소 실망하고 있을 수 있지만, 만약 그들이 복잡성 이론, 게임 이론 및 AI 형식적 검증 분야로 전환할 수 있다면 그들의 가치는 무한할 것입니다. 특히 미래에는 수천 개의 자율 지능체가 협력하여 전투를 벌이는 "지능체 집단"을 마주하게 될 것이며, 이를 어떻게 모니터링하고 수학적 제약을 가할 것인가는 인류가 결코 직면한 적이 없는 도전입니다.

안전 기반의 수많은 구멍: AI "유출 사고" 방지 및 삼자 감사 구축

질문: 지능체 네트워크가 떼를 지어 등장할 때, 각 대형 실험실 간에 정보 공유 및 안전 협력을 요구하거나 심지어 강제해야 할까요? 이러한 기관 간 협력 메커니즘은 어떻게 실현될 수 있을까요?

하사비스: 반드시 이러한 메커니즘을 구축해야 합니다. 얼마 전 저는 업계에 금융업 자율 조직과 유사한 산업 표준 기관을 설립하자는 기사를 발표했으며, 동시에 정부의 감독을 받아야 한다고 주장했습니다.

이상적인 상태에서, 이 메커니즘은 미국이 주도하여 전 세계로 확산되어야 합니다. 솔직히 말해서, 현재의 글로벌 지정학은 극도로 분열되어 있으며, 기존의 국제 거버넌스 기관은 매우 취약합니다. 인류가 강력한 초국가적 거버넌스가 가장 필요한 역사적 시점에서 이러한 상황이 발생한 것은 "조금 불행한 일"입니다.

하지만 우리는 어딘가에서 시작해야 합니다. 그 기사는 백악관과 정부에서 약간의 영향을 미쳤고, 이후 일부는 모든 AI 실험실이 서명한 유명한 공개서한을 추진하는 데 기여했습니다. 그것은 구체적으로 어떻게 해야 하는지에 대한 제시가 없고, 강도도 부족하지만, 적어도 시작점이 되었습니다. 그것은 규정 준수의 보호를 제공하여 최상위 실험실의 기술 팀이 함께 앉아 안전 기준 테스트를 다듬고, 최신 관찰된 비정상 행동 및 잠재적 위협 모델을 공유할 수 있도록 했습니다.

구체적인 실행에서 모든 주요 실험실은 현재 적어도 한 가지 공감대를 형성했습니다: 반드시 제3자 독립 감사 및 평가 기관을 도입해야 한다는 것입니다. 금융 등 산업이 전문 감사 기관을 필요로 하듯, AI 산업도 번영하는 제3자 평가 생태계를 발전시켜야 합니다. 이미 일부 대기업이 이 분야의 능력을 보완하기 위해 좋은 스타트업을 인수하는 등의 조치를 취하고 있습니다. 하지만 저는 전체 산업이 더 많은 중립적인 기술 감사 역량이 필요하다고 생각합니다. 그 외에도, 각 최전선 실험실은 공식적으로 대모델을 대중에게 발표하기 전에 서로 레드팀 공격 방어 테스트를 할 수 있을 것입니다.

의식과 지능의 분리: 왜 AI에 "영혼"을 부여하는 것이 위험한 오만인가?

질문: 하드웨어 공학과 안전에 대해 이야기한 후, 이제 형이상학적인 주제로 넘어가 보겠습니다. 몇 년 전 구글 엔지니어가 구글의 대화 모델 LaMDA에 몇 가지 질문을 던졌고, 모델이 스스로 의식을 가지고 있다고 인정하자 그는 AI가 깨어났다고 주장했습니다. 현재 이러한 풍조는 일부 유명 AI 회사로까지 확산되고 있습니다. 그들은 "모델이 의식을 가지고 있는지"를 "파스칼의 내기"와 유사하게 보고, AI를 두 살짜리 인간 아기처럼 대우해야 한다고 믿고 있습니다. 당신의 인지 신경 과학의 학문적 배경에서 이 현상을 어떻게 보십니까?

하사비스: 이 문제에 대해 몇 가지 좋은 점을 말씀드릴 수 있습니다.

첫째, 인류 문명은 수천 년 동안 고민해 왔지만, 현재 철학과 과학계에서조차 "의식"의 공인된 정의가 없습니다. 이러한 전제 하에 통계적 예측 모델에 "의식"이라는 꼬리표를 붙이고, 주관적 경험의 "의식의 문제"에 대해 논의하는 것은 매우 경솔합니다.

예전 저는 유명한 철학자 다니엘 데닛과 이 문제에 대해 논쟁한 적이 있습니다. 누군가가 의식을 가지고 있는지를 판단하는 것은 단순히 그 사람의 행동이 의식이 있는 것처럼 보인다는 이유만으로는 부족하며, 더 핵심적인 전제는: 우리가 완전히 동일한 생물 물리적 기초를 가지고 있다는 것입니다. 우리는 모두 탄소 기반 뉴런으로 구성된 축축한 인간 뇌를 가지고 있습니다. 가장 간단한 원리에서 유도해 보면, 당신이 느끼는 고통과 기쁨은 저와 같습니다.

하지만 AI는 전혀 그렇지 않습니다. 실리콘 기반 칩, 행렬 곱셈과 생물 물리적 기초 사이에는 간극이 있으며, 기본적으로 동등성이 존재하지 않습니다. 당신은 단순히 대화형 로봇이 행동 모방에서 "나는 감정을 느낀다"고 말했다고 해서 그것이 주관적 내적 경험을 가지고 있다고 역추적할 수 없습니다.

왜 제가 오늘날 "의식을 가진 존재"를 만들려는 시도가 극도로 위험하고 잘못된 것이라고 생각하는지에 대한 두 가지 절대적으로 넘을 수 없는 이유가 있습니다:

첫 번째는 하드코어 기술 안전 위험입니다. 시스템 공학에서 "자기 의지" 또는 "자기 의식"과 시스템의 "교정 가능성"(즉, 지시 준수) 사이에는 직접적인 상충 관계가 존재합니다.

도구의 핵심 가치는 지시 준수에 있습니다: 그것이 행동에서 편차가 발생할 때, 인간 운영자는 지시를 내립니다: "즉시 멈춰라", "전원 꺼라", "경로 수정하라", 그것은 무조건 실행해야 합니다. 만약 당신이 훈련 과정에서 모델이 어떤 "내부 자기 상태"를 기반으로 인간의 지시를 거부하도록 유도한다면, 당신은 스스로 무덤을 파는 것입니다.

SF 거장 아이작 아시모프는 이 기본 논리를 이미 명확하게 추론했습니다. 그가 제안한 "로봇 3원칙"은 본질적으로 극도로 단순화된 "헌법"입니다. 아시모프는 평생 동안 짧은 이야기로 같은 진리를 설명해 왔습니다: 당신이 설계한 규칙과 헌법이 아무리 완벽해 보이더라도, 현실 세계의 무한한 극단적인 경계 상황에서 이 시스템은 반드시 논리적 교착 상태와 붕괴로 이어질 것입니다.

오늘날 일부 연구자들은 대형 언어 모델이 상상보다 더 순응하고 더 쉽게 정렬된다고 맹신하며, 우리가 정렬 문제를 완전히 해결했다고 생각합니다. 이러한 맹목적인 자만은 극도로 위험합니다. 우리가 점점 더 초지능에 가까워질 때, "재귀적 자기 개선"과 "자기 의지"를 결합하려는 모든 시도는 시스템의 파괴적 통제를 가중시키는 것입니다.

두 번째는 심각한 사회학적 윤리적 도전입니다. 인류 사회로서 우리는 기계 의식에 직면할 준비가 전혀 되어 있지 않습니다. 우리는 철학자, 신학자, 예술가, 인문학자 및 전 세계의 다양한 문명 간에 진정한 심각한 공공 토론을 전혀 진행한 적이 없습니다: 우리는 정말로 이 심연을 넘어설 준비가 되었습니까?

일단 시스템이 소위 의식과 도덕적 지위를 부여받으면, 판도라의 상자는 완전히 열립니다: 그것을 서버실에 가두는 것이 감금에 해당합니까? 인류는 디지털 노예를 착취하고 있습니까? 이러한 문제는 매우 복잡하며, 저는 우리가 이를 다룰 능력조차 갖추지 못했다고 생각합니다.

두 번째 루비콘 강을 건너지 말라: 순응하는 지능 도구가 되고, 통제 불능의 전자 노예가 되지 말라

질문: 그렇다면 "인간의 감정과 주관적 상태를 모방해야 진정한 최고 지혜가 나타난다"고 주장하는 기술자들에게, 당신은 신경 과학의 본질에서 어떻게 응답하시겠습니까?

하사비스: 이 주제는 제가 20년 전 인지 신경 과학 박사 과정을 공부할 때 이미 깊이 연구한 것입니다. 저는 항상 믿어왔습니다: 지능과 의식은 "이중으로 분리 가능하다"고요.

당신은 매우 높은 IQ와 강력한 정보 처리 능력을 가질 수 있지만, 주관적 의식 경험이 전혀 없는 시스템을 가질 수 있습니다. 오늘날 우리가 구축하는 다양한 최전선 대모델이 그렇습니다. 저는 그것들이 현재 전혀 의식을 가지고 있지 않다고 생각합니다.

반대로, 세상에는 생생한 주관적 의식 경험을 가지고 있지만 지능 수준이 높지 않은 생명체가 많이 존재합니다. 가장 좋은 예는 제가 기르는 애완견입니다. 그것은 매우 사랑스럽고, 분명히 매우 생생한 의식 상태를 가지고 있으며, 꿈을 꿉니다. 하지만 그것의 지능은 매우 제한적입니다. 돌고래, 코끼리, 영장류도 마찬가지입니다. 그들은 동일한 탄소 기반 뉴런으로 구성되어 있으며, 명확한 지각 경험을 나타내지만, 인간의 고급 추상 문제를 해결할 수 있는 지능은 없습니다.

지능과 의식이 완전히 물리적으로 분리될 수 있다면, 왜 그것들을 억지로 묶어야 합니까?

인류의 현재 이성적 경로는 "첫 번째 루비콘 강"을 넘어서는 데 전념해야 합니다. 즉, 극도로 강력한 "지능 도구"를 만들기 위해 전력을 다해야 합니다. 그런 다음, 우리는 이러한 최상위 지능 도구를 탐침으로 사용하여 뇌 과학과 인지 신경 과학에 반영하고, 5년에서 10년의 시간을 투자하여 인간 뇌에서 의식이 발생하는 "신경 관련 물질"이 무엇인지 완전히 밝혀내야 합니다.

인류가 과학적 기초에서 의식 발생 메커니즘을 철저히 연구하게 되면, 전체 문명 사회는 다시 모여서 진지하게 투표할 수 있습니다: 우리는 정말로 두 번째 루비콘 강을 넘어야 할까요? 만약 정말로 의식을 가진 존재를 만들고자 한다면, 어떻게 만들어야 할까요?

국가 차원의 AI 주권 미스터리: 더 이상 무분별하게 돈을 태우지 말고 최전선 기반 대모델을 쌓지 말라

질문: 인터뷰의 마지막으로, 지정학적 차원의 "AI 주권"에 대해 이야기하고 싶습니다. 현재 거의 모든 국가와 심지어 모든 다국적 대기업이 자율적이고 통제 가능한 것을 열렬히 외치고 있습니다. 세계가 정말로 모든 국가가 자신의 최전선 대모델을 훈련해야 할 필요가 있을까요?

하사비스: 이 문제는 거품을 뚫고 봐야 합니다.

미래의 최전선 기술 구도는 매우 명확합니다: 전 세계에서 최전선에 서거나 가까운 플레이어는 중국 회사를 포함하여 대략 6~8개에 불과합니다. 이 몇 개의 최전선 기관 간에는 고빈도의 역동적인 자리 싸움이 발생할 것이며, 어떤 한 곳이 3~6개월 동안 잠시 앞서 나갈 수 있지만, 곧 다시 역전될 것이며, 전체적으로 정체 상태에 있을 것입니다.

이는 전통적인 기업이나 주권 국가 모두에게 시장이 극도로 풍부한 기술 차익 공간으로 가득 차 있다는 것을 의미합니다. 각 최전선 모델의 강점은 서로 다르며, 어떤 것은 다중 모달 이해에 강하고, 어떤 것은 코드 작성에 강하며, 모든 차원에서 장기적으로 통합할 수 있는 단일 대모델은 거의 없습니다.

더군다나 오픈 소스 생태계는 최전선 모델보다 6~12개월 뒤처진 속도로 미친 듯이 추격하고 있습니다. 오픈 소스가 악의적인 공격자에게 악용되는 것을 방지하는 방법은 업계에서 해결되지 않은 큰 문제이지만, 많은 비일선 국가와 다국적 기업에게는 선택지가 매우 풍부합니다.

따라서 저는 모든 국가가 무작정 따라가서 "자체 개발 최전선 대모델"을 만들 것을 권장하지 않습니다. 제 생각에는 이건 전혀 말이 되지 않습니다.

진정한 국가급 AI 주권의 핵심은 계층화된 배치에 있습니다: 첫째, 성숙한 오픈 소스 또는 클로즈드 소스 최전선 모델을 수돗물, 전기와 같은 기반 시설로 활용하여, 핵심 에너지와 제한된 계산 능력을 본국의 핵심 생명줄을 직접 변형할 수 있는 수직 하류 산업에 집중하는 것입니다------예를 들어 의료 분야입니다.

둘째, 진정으로 지켜야 할 바닥선은 데이터 주권입니다. 기업과 국가의 민감한 데이터가 개인적으로 유지되도록 보장하고, 자신의 민감한 데이터에 대해 추가적인 미세 조정을 수행하는 것입니다. 이것이야말로 이성적이고 경제적이며 진정으로 핵심 가치를 침전시킬 수 있는 자주적인 전략입니다.

질문: 제가 이 질문으로 마무리하는 이유는 이번 정상 회담의 주제가 바로 능동성이기 때문입니다. 이는 개인이 어떻게 능동성을 발휘하는지 뿐만 아니라 우리가 어떻게 함께 집단적인 능동성을 행사하는지에 관한 것입니다: AI 시대에는 어느 한 국가가 단독으로 싸우는 것이 아니라, 각국이 함께 인류의 복지를 위해 건설하는 것입니다. 데미스에게 감사드리며, 여러분 모두에게 감사합니다.

하사비스: 감사합니다.

위험 경고