Vitalik의 새로운 글: 탈중앙화 가속주의와 인공지능 1주년 전망

?원문 제목: 《d/acc: one year later》

저자: Vitalik Buterin, 이더리움 창시자

편집: Leek, Foresight News

이 글은 탈중앙화 가속(d/acc) 개념을 중심으로 기술 발전에서의 적용과 직면한 도전 과제를 탐구하며, 인공지능 안전 및 규제, 암호화폐와의 연관성, 공공재 자금 지원 등 여러 측면을 포함하여 d/acc가 더 안전하고 아름다운 세상을 구축하는 데 중요한 역할을 하며 미래 발전의 기회와 도전을 강조합니다. 저자는 d/acc의 내포를 깊이 설명하고, 다양한 전략을 비교하여 인공지능 위험 대응에서의 역할을 분석하며, 암호화폐의 가치와 공공재 자금 지원 메커니즘 탐구를 논의하고, 마지막으로 미래 기술 발전이 도전이 있더라도 인류가 기존 도구와 개념을 통해 더 나은 세상을 구축할 기회가 여전히 있음을 전망합니다.

서론

특별히 Liraz Siri, Janine Leger, Balvi 등 자원봉사자들의 피드백과 검토에 감사드립니다.

약 1년 전, 저는 기술 낙관주의에 관한 글을 썼습니다. 그 글에서는 제가 기술에 대해 가지고 있는 전반적인 열정과 기술이 가져올 수 있는 막대한 이익을 설명했으며, 동시에 초지능 인공지능과 같은 특정 문제에 대한 신중한 태도를 표현했습니다. 이러한 문제는 주로 이 기술이 잘못 구축될 경우 초래될 수 있는 파괴적 위험이나 인류가 되돌릴 수 없는 권력을 잃게 될 위험에 집중되었습니다.

그 글에서 제가 강조한 핵심 관점 중 하나는 탈중앙화되고 민주적이며 차별화된 방어적 가속의 개념을 유지하는 것이었습니다. 기술 발전을 가속화하면서도 해를 끼치기보다는 우리의 방어 능력을 향상시킬 수 있는 기술에 차별적으로 집중하고, 권력을 소수의 엘리트에게 집중시키지 않고 분산시키는 데 힘쓰며, 이러한 엘리트가 모든 사람을 대신하여 선악을 판단하는 것을 피해야 한다는 것입니다. 방어의 모델은 민주적인 스위스와 역사적으로 준무정부주의적이었던 조미아 지역과 같아야 하며, 중세 봉건제 하의 영주와 성이 대표하는 모델이 되어서는 안 됩니다.

그 이후 1년 동안 이러한 개념과 생각은 상당한 발전과 성숙을 겪었습니다. 저는 "80,000 시간"이라는 플랫폼에서 이러한 생각을 공유하였고, 많은 긍정적인 반응을 얻었으며, 물론 일부 비판적인 목소리도 있었습니다.

이 작업은 지속적으로 진행되었고 실질적인 성과를 거두었습니다: 검증 가능한 오픈 소스 백신 분야에서 우리는 진전을 목격하였고, 건강한 실내 공기의 가치에 대한 인식이 깊어졌으며, "커뮤니티 노트"는 지속적으로 긍정적인 효과를 발휘하고 있습니다. 예측 시장은 정보 도구로서 돌파구를 맞이하였고, 제로 지식 간결 비대화형 증명(ZK - SNARKs)은 정부 신원 확인 및 소셜 미디어 분야에서 활용되었습니다(그리고 계정 추상화를 통해 이더리움 지갑의 안전성을 보장하였습니다). 오픈 소스 이미징 도구는 의학 및 뇌-컴퓨터 인터페이스(BCI) 분야에서 적용되고 있습니다.

작년 가을, 우리는 첫 번째 중요한 d/acc 이벤트인 Devcon에서 열린 "d/acc 발견의 날"(d/aDDy)을 맞이했습니다. 이 행사에는 생물학, 물리학, 네트워크, 정보 방어 및 신경 기술 등 d/acc의 다양한 기둥 분야에서 연사들이 모였으며, 하루 종일 진행되었습니다. 수년간 이러한 기술에 헌신해온 사람들은 서로의 작업을 더욱 잘 이해하게 되었고, 외부인들도 이보다 더 큰 비전인 이더리움과 암호화폐 발전의 동일한 가치관이 더 넓은 세계로 확장될 수 있음을 인식하게 되었습니다.

d/acc의 내포와 외연

시간은 2042년으로 흘러갑니다. 당신은 미디어 보도에서 당신이 살고 있는 도시에서 새로운 전염병이 발생할 가능성이 있다는 소식을 접합니다. 이러한 소식에 대해 당신은 이미 익숙해졌습니다: 사람들은 종종 모든 동물 질병의 변이에 과도하게 반응하며, 대부분의 경우 이러한 변이는 결국 실제 위기를 초래하지 않습니다. 이전 두 번의 잠재적 전염병은 폐수 모니터링과 소셜 미디어의 오픈 소스 분석을 통해 조기에 감지되었고, 성공적으로 초기 단계에서 억제되었습니다. 그러나 이번 상황은 다릅니다. 예측 시장은 최소 10,000건의 사례가 발생할 확률이 60%에 달한다고 보여주고 있으며, 이는 당신을 걱정스럽게 만듭니다.

어제, 해당 바이러스의 유전자 서열이 확인되었습니다. 당신의 주머니에 있는 공기 테스트 기기의 소프트웨어 업데이트가 즉시 출시되었고, 이 업데이트를 통해 테스트 기기는 새로운 바이러스를 감지할 수 있게 되었습니다(한 번의 호흡 테스트를 통해서든, 방 안에 15분 동안 노출된 후든). 동시에, 전 세계의 현대 의료 시설에서 사용할 수 있는 장비를 통해 생성된 백신의 오픈 소스 지침과 코드가 몇 주 내에 발표될 예정입니다. 대부분의 사람들은 현재 아무런 조치를 취하지 않고 있으며, 그들은 주로 널리 채택된 공기 필터링 및 환기 조치를 통해 자신의 안전을 보호하고 있습니다.

당신은 면역 문제가 있기 때문에 더욱 조심스럽게 행동합니다: 당신이 사용하는 오픈 소스 로컬 실행 개인 비서 인공지능은 내비게이션, 레스토랑 및 활동 추천과 같은 일반적인 작업 외에도 실시간 공기 테스트 데이터와 이산화탄소 데이터를 종합적으로 고려하여 가장 안전한 장소만 추천합니다. 이러한 데이터는 수천 명의 참여자와 장치에서 제공되며, ZK - SNARKs와 차등 프라이버시 기술을 통해 데이터 유출이나 다른 목적으로 악용될 위험을 최소화합니다(이 데이터 세트에 기여할 의사가 있다면, 다른 개인 비서 인공지능이 이러한 암호화 도구가 실제로 효과적인지 검증할 것입니다).

두 달 후, 전염병은 기적적으로 사라졌습니다: 60%의 사람들이 기본 방역 지침을 따랐습니다. 즉, 공기 테스트 기기가 경고를 발하고 바이러스가 존재한다고 표시할 때 마스크를 착용하고, 개인 테스트 결과가 양성일 경우 자가 격리하는 것입니다. 바로 이 조치 덕분에 이미 수동적인 강력한 공기 필터링으로 크게 낮아진 전파율이 1 이하로 더욱 낮아졌습니다. 20년 전의 코로나19보다 5배 더 심각할 것으로 예상된 질병이 이제는 심각한 영향을 미치지 않았습니다.

Devcon의 d/acc 날

Devcon에서 열린 d/acc 이벤트는 매우 긍정적인 성과를 거두었습니다. 즉, d/acc 개념이 서로 다른 분야의 사람들을 성공적으로 모으고 그들 간의 깊은 관심을 불러일으켰습니다.

"다양성"을 가진 이벤트를 개최하는 것은 어렵지 않지만, 서로 다른 배경과 관심을 가진 사람들이 실제로 긴밀한 관계를 형성하는 것은 매우 어렵습니다. 저는 중학교와 고등학교 시절에 긴 오페라를 강제로 보아야 했던 경험이 아직도 생생합니다. 그 당시 저는 개인적으로 이러한 오페라가 지루하다고 느꼈습니다. 저는 "이것들을 감상해야 한다"고 생각했지만, 그렇지 않으면 문화가 없는 컴퓨터 과학의 게으른 사람으로 여겨질 것이기 때문입니다. 그러나 저는 오페라의 내용과 더 깊은 공감을 형성하지 못했습니다. 그러나 d/acc 날의 분위기는 전혀 달랐습니다: 사람들은 서로 다른 분야의 다양한 작업을 진심으로 이해하고 싶어하는 것처럼 느껴졌습니다.

우리가 지배, 감속 및 파괴보다 더 밝은 미래를 구축하고자 한다면, 이러한 광범위한 동맹 구축이 필요합니다. d/acc는 이 점에서 상당한 성과를 거둔 것으로 보이며, 이는 이 개념의 귀중한 가치를 드러내기에 충분합니다.

d/acc의 핵심 사상은 간단명료합니다: 탈중앙화되고 민주적이며 차별화된 방어적 가속. 공격과 방어의 균형을 방어 쪽으로 기울이는 기술을 구축하고, 이를 구현하는 과정에서 중앙 권위 기관에 더 많은 권력을 부여하지 않아야 합니다. 이 두 측면 사이에는 내재적인 긴밀한 연관성이 존재합니다: 어떤 탈중앙화, 민주적 또는 자유로운 정치 구조는 방어가 용이하게 시행될 때 번창하는 경향이 있으며, 방어가 어려움에 직면할 때는 심각한 도전에 직면하게 됩니다. 이러한 경우, 모든 사람이 서로 대립하는 혼란의 시기가 발생할 가능성이 높으며, 결국 가장 강한 자가 지배하는 균형 상태에 도달하게 됩니다.

탈중앙화, 방어성 및 가속성을 동시에 실현하려는 시도의 중요성을 이해하는 한 가지 방법은 이를 세 가지 측면 중 하나를 포기했을 때 발생하는 개념과 비교하는 것입니다.

작년 《내 기술 낙관주의》의 도표

탈중앙화 가속, 그러나 "차별화 방어" 부분을 무시함

본질적으로 이는 효과적인 가속주의자(e/acc)가 되려는 것과 유사하지만, 동시에 탈중앙화를 추구하는 것입니다. 많은 사람들이 이러한 방식을 취하고 있으며, 그 중 일부는 스스로를 d/acc라고 주장하지만, 그들은 유익하게도 자신의 초점을 "공격"으로 설명합니다. 또한, "탈중앙화 인공지능" 및 유사한 주제에 대해 보다 온건한 열정을 보이는 많은 사람들이 있지만, 제 관점에서 그들은 "방어" 측면에 대한 관심이 명백히 부족합니다.

제 생각에 이러한 방식은 특정 집단이 전 세계 인류에 대해 독재를 시행하는 위험을 피할 수 있을지 모르지만, 잠재적인 구조적 문제를 해결하지는 못합니다: 공격에 유리한 환경에서는 항상 재앙이 발생할 지속적인 위험이 존재하며, 누군가는 자신을 보호자로 설정하고 영구적으로 지배적인 위치를 차지할 수 있습니다. 인공지능에 관해서도, 이는 인류 전체가 인공지능에 비해 권력이 약화되는 위험을 적절히 해결하지 못합니다.

차별화 방어 가속, 그러나 "탈중앙화와 민주"를 무시함

안전 목표를 달성하기 위해 중앙 집중적 통제를 수용하는 것은 일부에게 항상 매력적입니다. 독자들은 이러한 사례가 많다는 것을 잘 알고 있으며, 이로 인해 발생하는 단점도 마찬가지입니다. 최근 일부 사람들은 극단적인 중앙 집중적 통제가 미래의 극단적인 기술에 대응하는 유일한 방법일 수 있다고 우려하고 있습니다: 예를 들어, "모든 사람이 '자유 태그'를 착용하는" 가상의 시나리오를 상상해 보십시오. 이는 오늘날 더 제한적인 웨어러블 모니터링 장치의 후속 제품으로, 몇몇 국가에서 교도소 대체 수단으로 사용하는 발목 태그와 유사합니다… 암호화된 비디오와 오디오는 지속적으로 업로드되며, 기계에 의해 실시간으로 해석됩니다. 그러나 중앙 집중적 통제에는 정도의 문제가 있습니다. 생물 기술 분야에서 공공 감독에 대한 저항으로 나타나는 일반적으로 간과되지만 여전히 해로운 상대적으로 온건한 중앙 집중적 통제의 형태가 있습니다. 이는 생물 기술 분야에서 공공 감독에 대한 저항으로 나타나며, 이러한 저항 행동이 도전받지 않도록 허용하는 폐쇄형 규범입니다.

이러한 방식의 위험은 명백합니다. 중앙 자체가 종종 위험의 원천이 되기 때문입니다. 우리는 코로나19 팬데믹 동안 이를 목격했습니다. 여러 주요 세계 정부가 자금을 지원한 기능적 획득 연구가 팬데믹의 원인이 되었을 가능성이 있으며, 중앙 집중적 인식론은 세계 보건 기구가 수년간 코로나 바이러스가 공기를 통해 전파된다는 것을 인정하지 않도록 했습니다. 강제적인 사회적 거리두기와 백신 의무화는 수십 년 동안 지속될 수 있는 정치적 반발을 초래했습니다. 유사한 상황은 인공지능이나 다른 위험 기술과 관련된 어떤 위험 상황에서도 다시 발생할 가능성이 높습니다. 반면, 탈중앙화된 방식은 중앙 자체로부터 오는 위험에 더 효과적으로 대응할 수 있습니다.

탈중앙화 방어, 그러나 가속을 배제함

본질적으로 이는 기술 발전을 늦추거나 경제적 침체를 추진하려는 시도입니다.

이러한 전략은 이중적인 도전에 직면해 있습니다. 첫째, 일반적으로 기술과 경제 성장은 인류에게 매우 유익하며, 이를 지연시키는 것은 측정할 수 없는 대가를 초래합니다. 둘째, 비극적이지 않은 세계에서 정체는 불안정합니다: "속임수"를 가장 많이 사용하는 사람이나 집단이 발전을 계속 추진할 수 있는 합리적인 방법을 찾을 수 있습니다. 감속주의 전략은 특정 상황에서 어느 정도 효과를 발휘할 수 있습니다: 예를 들어, 유럽의 음식이 미국의 음식보다 더 건강하다는 것이 하나의 예입니다. 핵 확산이 지금까지 성공을 거둔 것도 마찬가지입니다. 그러나 이러한 전략은 영원히 효과를 발휘할 수는 없습니다.

d/acc를 통해 우리는 다음 목표를 달성하기 위해 노력하고 있습니다:

• 오늘날 세계의 점점 더 부족해지는 경향 속에서 원칙을 고수하며, 단순히 다양한 것을 맹목적으로 구축하는 것이 아니라, 오히려 특정한 것을 구축하여 세상을 더 안전하고 아름답게 만드는 것입니다.
• 기하급수적인 기술 발전이 세상을 매우 독특하게 만들고, 인류가 우주에서의 총체적인 "발자국"을 지속적으로 증가시킬 것임을 인식합니다. 우리는 취약한 동물, 식물 및 인구를 해로부터 보호하는 능력을 지속적으로 향상시켜야 하며, 유일한 길은 앞으로 나아가는 것입니다.
• "좋은 사람(또는 좋은 인공지능)이 모든 것을 통제한다"는 가정이 아닌, 우리를 실질적으로 보호할 수 있는 기술을 구축하는 것입니다. 우리는 구축과 보호에 사용할 때 자연스럽게 파괴보다 더 효과적인 도구를 구축함으로써 이를 달성합니다.

d/acc에 대한 또 다른 관점은 21세기 00년대 말 유럽 해적당 운동의 프레임워크로 돌아가는 것입니다: 권한 부여.

우리의 목표는 인류의 능동성을 보존할 수 있는 세상을 구축하여, 소극적 자유를 실현하는 것입니다. 즉, 타인(일반 시민, 정부 또는 초지능 로봇)이 우리의 운명을 형성하는 능력에 적극적으로 개입하지 않도록 하는 것입니다. 동시에 우리는 이 능력을 실현할 지식과 자원을 보장하는 적극적 자유를 실현해야 합니다. 이는 수세기 동안 지속된 고전적 자유주의 전통과 일치하며, 스튜어트 브랜드의 "도구 접근"에 대한 관심과 존 스튜어트 밀의 교육과 자유가 인류 발전의 핵심 요소로서 나란히 강조된 점을 포함합니다. 아마도 버크민스터 풀러가 전 세계 문제 해결 과정이 참여적이고 광범위하게 분포되어야 한다는 비전을 추가할 수 있습니다. 21세기 기술 환경을 고려할 때, d/acc는 이러한 동일한 목표를 달성하는 한 가지 방법으로 볼 수 있습니다.

제3차원: 생존과 번영의 협동 발전

작년 제 글에서 d/acc는 방어적 기술에 특히 초점을 맞추었습니다: 물리적 방어, 생물학적 방어, 네트워크 방어 및 정보 방어. 그러나 단순한 탈중앙화 방어만으로는 위대한 세상을 구축할 수 없습니다: 우리는 새로운 탈중앙화와 안전성을 얻은 후 인류가 어떤 목표를 달성할 수 있는지에 대한 전향적인 긍정적 비전이 필요합니다.

작년 글에서는 두 가지 측면에서 긍정적인 비전을 포함하고 있었습니다:

1. 초지능의 도전에 주목하면서, 저는 우리가 권력을 잃지 않고 초지능을 실현할 수 있는 경로를 제시했습니다(이는 저에게는 독창적이지 않습니다):

• 현재, 인공지능을 도구로 구축하고, 고도로 자율적인 지능체가 아닙니다.
• 미래에는 가상 현실, 근전도 기술 및 뇌-컴퓨터 인터페이스와 같은 도구를 사용하여 인공지능과 인간 간의 더 긴밀한 피드백 메커니즘을 구축합니다.
• 시간이 지남에 따라, 궁극적인 결론으로 나아가며, 초지능은 기계와 인간이 긴밀하게 융합된 결과물입니다.

1. 정보 방어에 대해 이야기할 때, 저는 또한 공격자가 직면했을 때 커뮤니티가 응집력을 유지하고 고품질 논의를 할 수 있도록 돕는 방어적 사회 기술 외에도, 커뮤니티가 고품질 판단을 더 쉽게 내릴 수 있도록 돕는 진보적 사회 기술이 존재한다고 언급했습니다: Pol.is가 그 예이며, 예측 시장도 마찬가지입니다.

그러나 당시 이 두 가지는 d/acc의 핵심 논점과는 동떨어져 있는 것처럼 느껴졌습니다: "여기에는 더 민주적이고 방어에 유리한 세상을 구축하는 기본적인 아이디어가 있으며, 덧붙여서 초지능을 어떻게 실현할 수 있는지에 대한 관련 없는 아이디어가 있습니다."

그러나 저는 현실에서 "방어적" 및 "진보적"으로 표시된 d/acc 기술 간에 몇 가지 중요한 연관성이 존재한다고 생각합니다. 작년 글의 d/acc 도표를 확장하여 이 축을 추가하고(동시에 "생존과 번영"으로 다시 레이블을 붙여) 어떤 결과가 나오는지 살펴보겠습니다:

각 분야에서 "생존"을 돕는 과학, 사상 및 도구는 "번영"을 돕는 과학, 사상 및 도구와 밀접하게 관련되어 있는 일관된 패턴이 존재합니다. 다음은 몇 가지 구체적인 예입니다:

• 최근의 많은 코로나19 연구는 바이러스가 체내에 지속적으로 존재하는 것에 초점을 맞추고 있으며, 이는 장기 코로나 문제의 핵심 메커니즘으로 여겨집니다. 최근에는 바이러스의 지속적인 존재가 알츠하이머병의 병인일 수 있다는 징후도 나타났습니다. 만약 이 주장이 사실이라면, 모든 조직 유형에서 바이러스의 지속적인 존재 문제를 해결하는 것이 노화 문제를 해결하는 열쇠가 될 수 있습니다.
• Openwater가 개발 중인 저비용 및 미세 이미징 도구는 미세 혈전, 바이러스의 지속적인 존재, 암 치료 등에서 강력한 잠재력을 가지고 있으며, 뇌-컴퓨터 인터페이스 분야에서도 활용될 수 있습니다.
• 고도로 대립적인 환경에 적합한 사회 도구(예: 커뮤니티 노트)와 합리적인 협력 환경의 사회 도구(예: Pol.is)를 구축하는 개념은 매우 유사합니다.
• 예측 시장은 높은 협력 및 높은 대립 환경 모두에서 중요한 가치를 지닙니다.
• 제로 지식 증명 및 유사한 기술은 개인 정보를 보호하면서 데이터를 계산하여 과학 연구와 같은 유익한 작업에 사용할 수 있는 데이터 양을 증가시키고, 동시에 개인 정보 보호를 강화합니다.
• 태양광 및 배터리는 다음 세대 청정 경제 성장을 촉진하는 데 중요한 의미를 가지며, 탈중앙화 및 물리적 탄력성에서도 뛰어난 성과를 보입니다.

이외에도 다양한 학문 분야 간에 중요한 상호 의존 관계가 존재합니다:

• 뇌-컴퓨터 인터페이스는 정보 방어 및 협업 기술로서 매우 중요합니다. 이는 우리의 생각과 의도를 더 정밀하게 전달할 수 있게 해줍니다. 뇌-컴퓨터 인터페이스는 단순히 로봇과 의식 간의 연결이 아닙니다: 그것은 의식 - 로봇 - 의식 간의 상호작용이 될 수 있습니다. 이는 다원성 개념에서 뇌-컴퓨터 인터페이스의 가치와 일치합니다.
• 많은 생물 기술은 정보 공유에 의존하며, 여러 경우에 사람들은 정보가 특정 용도로만 사용될 것이라는 확신이 있을 때만 공유하려고 합니다. 이는 개인 정보 보호 기술(예: 제로 지식 증명, 완전 동형 암호화, 혼합 기술 등)에 의존합니다.
• 협업 기술은 다른 어떤 기술 분야에 대한 자금을 조정하는 데 사용될 수 있습니다.

난제: 인공지능 안전, 긴급 시간선 및 규제의 딜레마

각기 다른 사람들은 전혀 다른 인공지능 시간표를 가지고 있습니다. 도표는 2023년 몬테네그로의 Zuzalu에서 가져온 것입니다.

작년 제 글에서 가장 설득력 있는 반대 의견은 인공지능 안전 커뮤니티에서 나왔습니다. 그들의 주장은 다음과 같습니다: "물론, 우리가 강한 인공지능을 발전시키는 데 반세기 정도의 시간이 있다면, 우리는 이러한 유익한 것들을 구축하는 데 집중할 수 있습니다. 그러나 실제로 우리는 일반 인공지능에 도달하는 데 3년, 초지능에 도달하는 데 3년이 걸릴 것으로 보입니다. 따라서 우리가 세상을 파괴하거나 다른 방식으로 되돌릴 수 없는 상황에 빠지지 않으려면, 우리는 단순히 유익한 기술의 발전을 가속화하는 것뿐만 아니라 해로운 기술의 발전을 늦추어야 하며, 이는 권력층을 화나게 할 수 있는 강력한 규제를 필요로 합니다." 작년 제 글에서는 위험한 형태의 초지능을 구축하지 말라는 모호한 촉구 외에는 "해로운 기술 발전을 늦추는" 구체적인 전략을 제시하지 않았습니다. 따라서 여기서 이 문제를 직접 논의할 필요가 있습니다: 만약 우리가 가장 바람직하지 않은 세계에 처해 있고, 인공지능 위험이 매우 높으며 시간선이 5년밖에 남지 않았다면, 어떤 규제 조치를 지지할까요?

새로운 규제에 대한 신중한 태도

작년, 주요 인공지능 규제 제안은 캘리포니아의 SB - 1047 법안이었습니다. SB - 1047은 가장 강력한 모델(즉, 훈련 비용이 1억 달러를 초과하거나 미세 조정 비용이 1000만 달러를 초과하는 모델)의 개발자가 출시 전에 일련의 안전 테스트 조치를 취하도록 요구합니다. 또한, 인공지능 모델 개발자가 충분히 신중하지 않으면 책임을 물을 수 있습니다. 많은 비평가들은 이 법안이 "오픈 소스에 위협이 된다"고 주장했지만, 저는 이에 반대합니다. 왜냐하면 비용 기준이 가장 강력한 모델에만 영향을 미치기 때문입니다: Llama3 모델조차도 이 기준을 초과하지 않을 수 있습니다. 그러나 과거를 돌아보면, 이 법안에는 더 심각한 문제가 있다고 생각합니다: 대부분의 규제 조치와 마찬가지로 현재 상황에 과도하게 적응하고 있습니다. 훈련 비용에 대한 관심은 새로운 기술에 직면했을 때 취약한 것으로 입증되었습니다: 최근의 최첨단 DeepSeek v3 모델의 훈련 비용은 600만 달러에 불과하며, o1과 같은 새로운 모델에서는 비용이 훈련에서 추론 단계로 더 많이 전이되는 경향이 있습니다.

인공지능 초지능 파괴 시나리오에 가장 책임이 있는 행위자

실제로 인공지능 초지능 파괴 시나리오에 가장 책임이 있는 행위자는 군대입니다. 지난 반세기 동안의 생물 안전(그리고 그 이전)에서 목격한 바와 같이, 군대는 끔찍한 행동을 취할 의향이 있으며, 실수를 저지를 가능성이 높습니다. 현재 인공지능의 군사 분야에서의 활용이 빠르게 발전하고 있습니다(예: 우크라이나, 가자 지역에서의 활용). 그리고 어떤 정부가 통과시킨 안전 규제 조치는 기본적으로 자국 군대와 군대와 밀접하게 협력하는 회사들을 면제합니다.

대응 전략

그럼에도 불구하고 이러한 주장은 우리가 무기력해질 이유가 아닙니다. 반대로, 우리는 이러한 우려를 최소화하는 규칙을 제정하려고 시도할 수 있습니다.

전략 1: 책임

만약 누군가의 행동이 어떤 방식으로든 법적으로 책임을 물을 수 있는 피해를 초래했다면, 그들은 고소당할 수 있습니다. 이는 군대와 다른 "법 위에 있는" 행위자들이 초래하는 위험 문제를 해결하지는 못하지만, 이는 매우 일반적인 접근 방식으로, 과도한 적응을 피할 수 있습니다. 그렇기 때문에 자유 의지주의 성향의 경제학자들은 일반적으로 이러한 방식을 지지합니다.

지금까지 고려된 주요 책임 목표는 다음과 같습니다:

• 사용자: 즉, 인공지능을 사용하는 사람.
• 배포자: 사용자에게 인공지능 서비스를 제공하는 중개인.
• 개발자: 인공지능을 구축하는 사람.

책임을 사용자가 지는 것이 가장 유인책에 부합하는 것처럼 보입니다. 모델의 개발 방식과 최종 사용 방식 간의 연결이 종종 불명확하지만, 사용자가 인공지능의 구체적인 사용 방식을 결정합니다. 사용자에게 책임을 물으면 사람들이 제가 올바르다고 생각하는 방식으로 인공지능을 사용하도록 강력한 압박을 가하게 됩니다: 인간의 사고를 위해 기계 세트를 구축하는 데 집중하고, 새로운 자가 유지형 지능 생명체를 창조하는 것이 아닙니다. 전자는 정기적으로 사용자 의도에 응답하므로 사용자가 원하지 않는 한 재앙적인 행동을 초래하지 않습니다. 후자는 통제 불능 상태에 빠져 고전적인 "인공지능 통제 불능" 시나리오를 초래할 수 있는 최대의 위험을 내포합니다. 책임을 가능한 한 최종 사용 쪽으로 가깝게 두는 또 다른 이점은, 책임이 사람들이 다른 측면에서 해로운 행동을 취하도록 유도하는 위험을 최소화한다는 것입니다(예: 폐쇄형, 고객 알기(KYC) 및 감시, 국가/기업의 공모로 사용자를 비밀리에 제한하는 것, 예를 들어 은행이 특정 고객에게 서비스를 제공하지 않도록 하는 것 등).

사용자에게만 책임을 묻는 것에 대한 고전적인 반대 의견이 있습니다: 사용자는 일반 개인일 수 있으며, 자금이 부족할 수도 있고, 심지어 익명일 수 있어 재앙적인 피해에 대해 실제로 책임을 질 수 있는 사람이 없다는 것입니다. 이 주장은 과장되었을 수 있습니다: 일부 사용자가 책임을 질 수 없을 정도로 작더라도, 인공지능 개발자의 일반 고객은 그렇지 않기 때문에, 인공지능 개발자는 여전히 사용자가 높은 책임 위험에 직면하지 않도록 확신할 수 있는 제품을 구축하도록 유인될 것입니다. 즉, 이는 여전히 해결해야 할 유효한 관점입니다. 적절한 신중한 조치를 취하도록 자원을 가진 파이프라인의 누군가를 유인해야 하며, 배포자와 개발자는 쉽게 찾을 수 있는 목표이며, 여전히 모델의 안전성에 큰 영향을 미칩니다.

배포자 책임은 합리적으로 보입니다. 일반적인 우려는 이것이 오픈 소스 모델에 적용되지 않는다는 것이지만, 이는 관리할 수 있는 것으로 보입니다. 특히 가장 강력한 모델은 폐쇄형일 가능성이 높기 때문입니다(결과가 오픈 소스인 경우, 비록 배포자 책임이 최종적으로 그다지 유용하지 않을 수 있지만, 큰 해를 끼치지는 않을 것입니다). 개발자 책임에도 동일한 우려가 존재하지만(오픈 소스 모델의 경우, 원래 허용되지 않은 작업을 수행하기 위해 모델을 미세 조정해야 할 수 있는 장애물이 존재하지만), 동일한 반박 이유가 적용됩니다. 일반 원칙으로서, 통제에 세금을 부과하는 것은 본질적으로 "당신은 통제할 수 없는 것을 구축할 수 있지만, 통제할 수 있는 것을 구축할 수 있으며, 그러나 당신이 통제할 수 있는 것을 구축한다면, 20%의 통제권은 우리의 목적을 위해 사용해야 한다"는 것입니다. 이는 법적 시스템이 가져야 할 합리적인 입장으로 보입니다.

아직 충분히 탐구되지 않은 아이디어는 파이프라인의 다른 행위자에게 책임을 묻는 것입니다. 이들은 자원을 충분히 보유할 가능성이 높습니다. d/acc 개념에 매우 부합하는 아이디어는 인공지능이 재앙적인 해로운 행동을 수행하는 과정에서 장악한(예: 해킹을 통해) 모든 장치의 소유자나 운영자에게 책임을 묻는 것입니다. 이는 사람들이 세계(특히 컴퓨팅 및 생물학 분야)의 인프라를 가능한 한 안전하게 만들도록 유도하는 매우 광범위한 유인을 창출할 것입니다.

전략 2: 산업 규모 하드웨어에 대한 글로벌 "소프트 일시 정지" 버튼

만약 제가 책임 규칙보다 더 "강력한" 조치가 필요하다고 확신한다면, 이 전략을 선택할 것입니다. 목표는 중요한 시기에 전 세계에서 사용 가능한 계산 능력을 약 90% - 99% 줄일 수 있는 능력을 확보하여, 인류에게 더 많은 준비 시간을 확보하는 것입니다. 1 - 2년의 가치는 과소평가되어서는 안 됩니다: 1년의 "전시 모드"는 자만할 경우 백 년의 일반 작업에 해당할 수 있습니다. "일시 정지"를 구현하는 방법은 탐색 중이며, 하드웨어 등록 및 위치 검증과 같은 몇 가지 구체적인 제안이 포함되어 있습니다.

보다 진보된 방법은 정교한 암호화 기술을 사용하는 것입니다: 예를 들어, 생산된 산업 규모(그러나 소비자 수준이 아닌) 인공지능 하드웨어는 신뢰할 수 있는 하드웨어 칩을 장착할 수 있으며, 매주 주요 국제 기관(최소한 하나의 비군사적 부속 기관 포함)으로부터 3/3 서명을 받을 때만 계속 작동할 수 있습니다. 이러한 서명은 장치와 무관하므로(필요하다면 블록체인에 제로 지식 증명을 게시하도록 요구할 수도 있습니다), 이는 전부 또는 전무의 방식이 됩니다: 특정 장치가 다른 모든 장치의 서명을 받지 않고 계속 작동하도록 승인할 수 있는 실제 방법이 없습니다.

이는 이익을 극대화하고 위험을 최소화하는 측면에서 "요구 사항"을 충족하는 것으로 보입니다:

• 이는 유용한 능력입니다: 만약 우리가 초지능 인공지능이 재앙적인 피해를 초래할 가능성이 있다는 징후를 받는다면, 우리는 더 천천히 전환하기를 원할 것입니다.
• 이러한 중요한 순간이 오기 전에 단순히 소프트 일시 정지 능력을 갖는 것은 개발자에게 미치는 해가 적습니다.
• 산업 규모 하드웨어에 집중하고, 목표를 90% - 99%로 설정하면, 소비자 수준의 노트북