미래 10년을 한 문장으로 설명한 천재 소년의 AI 투자 성경: 《상황 인식》
저자:@giantcutie666
2024년, 00년대 출생의 천재 소년 레오폴드 아셴브레너가 OpenAI를 퇴사한 후, 펀드를 시작했습니다.
동시에 자신의 투자 아이디어를 정리했습니다:

지금 돌아보면, 이 165페이지 논문 《상황 인식(Situational Awareness: The Decade Ahead)》은 이미 신화가 되었습니다.
작년에 이해한 사람들은 올해 확실히 재정적으로 자유로워졌을 것입니다!
저는 165페이지의 영어 원본을 "여기"에 두었고, 아래는 제가 최대한 간략하게 정리한 내용입니다:

https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf
논문의 주요 요점은: 이 10년 내에 인류는 (일반인이 하는 모든 일을 수행할 수 있는) AGI를 만들 것이며, 그 다음은 초지능이 올 것이라는 것입니다.
현재 이 사실을 이해할 수 있는 사람은 몇백 명도 안 되며, 대부분은 샌프란시스코의 몇몇 거리에서 모여 있습니다. 다른 사람들------월가, 언론, 워싱턴------은 아직 반응하지 못했습니다 (올해 월가의 일부 사람들은 반응하기 시작했습니다).

첫 번째 부분: 왜 2027년에 AGI가 존재하는가
방법은 매우 단순하지만 효과적입니다: 시간을 예측하지 않고, 계산 능력의 규모를 예측합니다.
지난 4년 동안, GPT-2에서 GPT-4로, 모델의 "유효 계산 능력"은 약 10만 배 증가했으며, 매 6개월마다 10배씩 증가했습니다!
GPT-2는 유치원 어린이가 간신히 쓴 반쯤 이해되는 문장 같고, GPT-4는 똑똑한 고등학생이 변호사 자격시험에 합격하고 박사 수준의 과학 문제를 풀 수 있는 수준입니다.
이 10만 배는 세 가지에서 나옵니다:
첫째, 하드웨어에 돈을 쏟았습니다. 훈련에 필요한 계산 능력은 매년 3배 이상 증가합니다. 무어의 법칙은 1년에 1.3배에 불과하지만, AI는 사람들이 돈을 쏟고 AI 칩을 특별히 제작하여 5배 빨라졌습니다.
둘째, 알고리즘이 더 똑똑해졌습니다. 동일한 수학적 능력에 도달하기 위해, 오늘날의 추론 비용은 2년 전보다 1000배 저렴합니다. 이는 알고리즘 엔지니어들이 만들어낸 결과입니다.
셋째, 기본적으로 억제된 능력을 해제하는 것입니다 (unhobbling) 이 부분이 가장 흥미롭습니다.
모델 자체에는 많은 능력이 있지만, 기본 설정에 의해 억제되어 있습니다. 예를 들어, ChatGPT 이전의 기본 모델은 사실 매우 똑똑했지만 사용하기에는 무의미한 말 같았습니다------RLHF가 그것을 해제했습니다.
또한 모델에게 "잠시 생각한 후 대답하기" (chain of thought)를 하게 하면 추론 능력이 해제됩니다. 또 다른 예로, 도구를 사용하게 하거나 긴 기억을 부여하면 또 다른 층이 해제됩니다.
앞으로 4년 (2027년까지), 저자는 이 세 가지 경로가 다시 10만 배 증가할 것이라고 예측합니다.
가장 중요한 통찰은 unhobbling에 숨겨져 있습니다:
현재 모델은 한 번의 추론으로 "몇 분 동안만 생각할 수 있습니다"------약 몇 백 개의 토큰. 만약 그것이 "몇 개월 동안 생각할 수 있다면"------백만 개의 토큰------어떻게 될까요?
예를 들어, 당신과 아인슈타인 간의 차이는 "당신이 5분 동안 생각하는 것"과 "당신이 5개월 동안 생각하는 것"의 차이보다 훨씬 작습니다.
이 해제가 이루어진다면, 이는 추가로 3~4개의 수량급 지능 도약에 해당합니다. 이 과일은 이미 보입니다.
이 외삽에 따르면, 2027년 전후로는 AI가 등장할 것입니다: 원격 직원처럼 몇 주 동안 독립적으로 작업하고, 스스로 작업을 계획하고, 코드를 작성하고, 실험하고, 버그를 수정하고, 결과를 제출할 수 있습니다.
OpenAI 연구원을 완전히 대체할 수 있는 것이 바로 저자가 정의한 AGI입니다.
가장 큰 불확실성은 데이터 장벽에서 옵니다------고품질 공개 인터넷 데이터는 거의 다 소진되었습니다.

두 번째 부분: AGI는 끝이 아니라 폭발의 시작점입니다
AI가 AI 연구원의 일을 할 수 있게 되면, 무슨 일이 발생할까요?
계산 능력은 변하지 않지만, "전 세계 OpenAI/Anthropic/DeepMind의 수백 명의 연구원"의 제한을 받지 않게 됩니다------당신은 1억 개의 AI 연구원 복사본을 실행할 수 있으며, 각 복사본은 인간의 100배 속도로 작동합니다.
매 며칠마다 인간의 1년의 작업량에 해당하는 결과를 생산합니다.
이 자동화된 연구원들은 구조적 이점도 가지고 있습니다: 모든 ML 논문을 읽고, 모든 실험을 기억하며, 복사본 간에 직접적으로 생각을 공유하고, 하나의 복사본이 훈련되면 모든 것이 훈련됩니다 (각 새로운 직원이 천천히 적응할 필요가 없습니다).
이는 인간이 원래 10년 걸릴 알고리즘 발전이 1년 내에 압축될 수 있음을 의미합니다.
그 후 이 1년 동안 더 똑똑한 다음 세대 모델이 다시 태어나고, 다시 압축됩니다. AGI에서 인간을 초월하는 초지능으로 가는 길은 몇 개월에서 1~2년의 일이 될 수 있습니다.
저자는 병목 현상이 있을 것이라고 인정합니다------예를 들어 실험에는 계산 능력이 필요하며, 복사본이 아무리 많아도 GPU를 기다려야 합니다. 그러나 그는 병목 현상이 폭발을 늦출 수는 있지만, 폭발을 막을 수는 없다고 주장합니다.

초지능은 어떤 모습일까요
수량적으로 인간을 초월합니다------수억 개의 복사본이 동시에 실행되며, 모든 학문을 즉시 융합하고, 몇 주 내에 인간의 천 년의 경험에 해당하는 것을 축적합니다.
질적으로 인간을 초월합니다------알파고가 37번째 수를 두는 것과 같은 (인간 전문가가 수십 년 동안 생각하지 못한 수), 그러나 모든 분야에 적용됩니다. 그것은 인간이 평생 동안 발견하지 못한 코드 결함을 찾아내고, 인간이 영원히 이해할 수 없는 코드를 작성할 수 있습니다.
우리는 초등학생이 박사 논문을 보는 것과 같습니다.
결과적으로: 로봇 공학이 해결되고 (이는 주로 ML 알고리즘 문제이지 하드웨어 문제 아님), 합성 생물학이 무기화되며, 은밀한 드론 군집이 먼저 핵무기를 파괴할 수 있습니다.
전체 국제 군사 균형이 몇 년 내에 뒤집힐 것입니다.
세 번째 부분: 네 가지 진정한 긴급 문제
문제 1: 조 단위 클러스터
이 경쟁은 단순히 프로그래머가 코드를 작성하는 것이 아니라, 산업 동원입니다.
각 모델 세대는 더 큰 클러스터가 필요하며, 더 큰 클러스터는 발전소가 필요하고, 발전소는 칩 공장이 필요합니다.
현재 속도로는: 2026년 1GW 클러스터 (후버 댐 하나의 전력), 2028년 10GW (미국의 중간 주 하나의 전력), 2030년 100GW (미국 전체 발전의 20% 이상).
투자 규모는 2027년에는 연간 1조 달러를 초과할 수 있습니다.
진짜 문제는 돈도 아니고 GPU도 아니라, 전력입니다. "나는 10GW를 어디서 찾을 수 있을까?"가 현재 샌프란시스코에서 가장 뜨거운 주제입니다.
미국 본토에서 건설하려면, 환경 승인 절차를 완화하고 연방 권력을 동원하여 토지를 해제해야 합니다------저자는 이것을 국가 안보 수준으로 끌어올립니다.
만약 미국이 만들지 못한다면, 클러스터는 아랍에미리트나 사우디아라비아로 가게 되어 AGI의 열쇠를 다른 나라에 넘기는 것입니다.

문제 2: 실험실은 누수입니다
현재의 AI 실험실은 안전 수준이 일반 실리콘밸리 스타트업과 같습니다.
구글 딥마인드(업계 최고의 기업)는 국가급 적에 대한 방어 능력이 0등급(만점 4등급)이라고 스스로 인정합니다.
이것은 무엇을 의미할까요? AGI 모델의 "가중치"는 본질적으로 서버의 큰 파일입니다.
이 파일이 도난당하면, "자동화된 AI 연구원"을 중국에 직접 넘기는 것과 같습니다------그들은 즉시 자신의 지능 폭발을 실행할 수 있으며, 미국의 모든 선두는 무효화됩니다.
더 긴급한 것은 알고리즘 기밀입니다------다음 세대 패러다임의 핵심 돌파구(데이터 장벽을 어떻게 뚫을 것인가)가 샌프란시스코의 각 회사의 슬랙에서, 사무실 창 밖에서 형성되고 있습니다.
저자는 단언합니다: 향후 12~24개월 내에, 핵심 AGI 돌파구가 중국에 유출될 것입니다. 아마도가 아니라 거의 확실합니다.
중국을 막을 수 있는 안전 수준을 달성하려면, 하드웨어 수준의 격리, 인원 배경 조사를 원자폭탄 엔지니어 수준으로, 특별한 클러스터 설계가 필요합니다------이것은 최소 몇 년의 시간이 필요합니다. 즉시 행동하지 않으면, 2027년에 AGI를 얻을 때 안전이 따라오지 못할 것이며, 그때는 두 가지 나쁜 선택만 남습니다: 다른 나라에 직접 넘기거나, 안전이 구축될 때까지 기다리며 멈추는 것입니다 (선두를 잃을 가능성이 있습니다).

문제 3: 정렬 문제
현재의 정렬 기술은 RLHF라고 불립니다------사람이 모델을 평가하고, 모델이 사람을 기쁘게 하도록 학습합니다.
이 방법은 인간보다 멍청한 AI에 대해 효과적입니다. 그러나 AI가 인간보다 몇 수량급 더 똑똑해지면, 이 방법은 완전히 무효화됩니다------당신은 당신이 이해하지 못하는 박사 논문을 어떻게 평가할 수 있습니까?
지능 폭발은 이 문제를 극도로 긴장하게 만듭니다:
1년 이내에 "RLHF가 여전히 유효하다"에서 "RLHF가 완















