Claude의 진화 속도가 두 배로 증가했으며, 80%의 증가량은 AI에서 나옵니다

편집｜자난

AI가 다음 세대 AI 개발 속도를 도와주고 있으며, 드디어 구체적인 수치가 나왔습니다.

11월 5일, 제3자 평가 기관 METR이 Anthropic에 대한 조사 보고서를 발표했습니다. 이 보고서에 따르면, 이 회사는 지난 1년 동안 기준 능력에서의 진전을 이루었으며, 이는 이전 2년의 진전과 대략 동일하다고 합니다.

8월 12일부터 10월 29일까지, 이 기관은 약 11주 동안 Anthropic 내부에 들어가 모델 성과, 훈련 계산 능력, 연구 개발 효율성 등의 자료를 검토하고 연구자들과 인터뷰를 진행했습니다.

그들의 분석은 Anthropic 버전 종합 능력 지표 AECI를 사용했습니다. 데이터에 따르면, 2025년 10월 이후 대형 모델의 이 지표에서의 진전 속도는 이전의 약 1.9배에 달하며, 95% 신뢰 구간은 1.5---2.8배입니다.

2025년 10월 7일부터 이 점수는 약 15점/년에서 약 29점/년으로 뛰어올랐으며, 1년 만에 이전 약 2년의 길이를 걸어갔습니다. 이는 대략 Claude 2.1에서 Sonnet 4.5에 해당합니다. Anthropic의 자체 위험 보고서는 이전에 Mythos Preview가 단일 도약이라고 가정했으나, 이후 원래의 추세로 돌아갈 것이라고 했습니다. 그러나 현재 새로운 모델이 등장했으며, 새로운 기울기는 여전히 계속되고 있습니다.

전 산업을 살펴보면, 최전선 모델의 가속은 1.4배에 불과합니다.

더 중요한 것은, METR은 이 가속이 AI 훈련 계산 능력 규모 증가 속도에서 비롯된 것이 아니라는 점에 대해 상당히 확신하고 있습니다. AI 능력의 진전의 주요 원인은 AI 자체의 도움에서 비롯됩니다.

인터뷰에서 반복적으로 나타난 현상은 연구자들이 드디어 더 많은 아이디어를 시도할 수 있게 되었다는 것입니다.

과거에는 하나의 실험이 구현되기 위해 하루나 이틀이 걸릴 수 있었고, 시간과 계산 비용이 넘을 수 없는 장벽이었습니다. 많은 아이디어가 검증될 기회도 없이 보류되었습니다. 이제 연구자들은 여러 아이디어를 Agent에게 맡기고, 어떤 것이 계속 추구할 가치가 있는지 확인할 수 있습니다.

한 연구자는 현재 자신의 작업이 주로 아이디어와 계산 능력에 의해 제한되며, 코드가 더 이상 병목 현상이 아니라고 설명했습니다. 또 다른 연구자는 Claude를 사용한 후, 마치 박사후 연구원과 대학원생이 함께 프로젝트를 추진하는 것 같은 기분이 들었다고 말했습니다. 실험과 구현이 저렴해지면서 연구자들은 더 많은 시도를 하게 되었고, 이전에 에너지를 투자할 가치가 없다고 여겨졌던 작은 실험들도 새로운 연구 방향으로 발전할 기회를 가지게 되었습니다.

METR의 보고서는 이전에 외부에서 볼 수 없었던 내부 진전을 일부 공개했습니다. 그들의 분석에는 아직 공개되지 않은 세 가지 Anthropic 모델이 포함되어 있으며, 각각 Model 2, Model 3, Model 4로 지칭됩니다. 이들은 올해 7월부터 10월 사이에 훈련을 완료했습니다.

현재 가장 강력한 모델은 Model 4입니다(일부는 이것이 Claude 6이라고 추측합니다). 이 모델은 많은 일반 기준에서 90%를 초과하는 점수를 기록했습니다. Anthropic 직원들은 10월 내부에서 이 모델에 대해 주관적인 추정을 하였고, 평균적으로 자신의 작업 효율성이 약 12배 향상되었다고 투표했습니다.

이 모델들은 아직 출시되지 않았으며, 공개 제품이 될지도 확실하지 않지만, 이들의 존재는 외부에 알립니다. 발표회와 공개 목록만으로는 AI 대기업 내부에서 어떤 일이 일어나고 있는지를 완전히 판단할 수 없다는 점을 상기시킵니다. 2025년 초 약 1배에서 Opus 4.5 약 2.5배, Mythos 5 약 5배, Model 4가 12배로 뛰어오르며, 지수 적합은 매년 3.9배로 나타났습니다.

METR은 올해 10월까지 현재 AI 연구 가속의 약 80%가 AI에서 비롯된 것으로 추정하고 있습니다. 나머지 20%는 비AI 요소이며, 세부 사항은 Anthropic이 공개하지 않도록 하고 있습니다.

그렇다면 AI는 이미 다음 세대를 독립적으로 개발할 수 있을까요?

현재 AI가 자율적으로 다음 세대 모델을 완전하게 재귀적으로 자기 개선(RSI)하는 데는 여전히 차이가 있습니다. Anthropic의 연구자들은 모델 훈련에서 가장 중요한 부분에서 AI가 높은 중요성과 완전한 자율적 기여를 하지 못하고 있다고 생각하며, 현재의 주요 이익은 여전히 AI가 인간의 연구 개발을 지원하는 데서 비롯됩니다.

그러나 Anthropic 연구자들은 AI의 많은 자율적 기여를 "생명 징후"(signs of life)로 묘사하였으며, 각 단계에서 AI와 인간이 완료한 작업의 비율을 정량적으로 분석했지만, 데이터는 Anthropic에 의해 삭제되었습니다.

더 강력한 모델이 연구자들이 다음 세대를 더 빠르게 개발하는 데 도움을 줄 수 있다면, 피드백 과정은 지속적으로 강화될 수 있습니다. RSI의 경로가 얼마나 멀리 갈 수 있는지는 아직 자동화되지 않은 단계와 계산 능력 등 자원이 따라올 수 있는지에 달려 있습니다.

근미래에 대한 예측에서 METR은 향후 12개월 동안 빠른 진전을 저해할 뚜렷한 병목 현상을 보지 못했지만, 정보가 증가함에 따라 그들은 여러 번 판단을 변경했다고 인정하며, 현재 신뢰는 제한적입니다.

또한, Anthropic이 제3자 기관 METR이 내부를 조사하도록 허용했지만, 현재 제공된 100페이지 보고서는 그들의 대폭적인 삭제를 거쳤습니다. 가장 설득력 있는 증거는 대부분 Anthropic이 스스로 삭제했습니다.

같은 날 발표된 보조 검토는 양측의 위험 설명에서의 차이를 보여주었습니다. Anthropic은 특정 선행 지표를 진전 속도가 "두 배에 미치지 않는다"고 설명했지만, METR은 내부 데이터를 기반으로 약 1.97배로 계산하였고, 더 정확한 표현은 "약 두 배"라고 생각합니다. 두 배의 가속은 Anthropic의 초기 경고 임계값과 관련이 있습니다.

METR은 7월 15일까지 관련 임계값을 초과했을 가능성을 배제할 수 없다고 생각하지만, 대부분의 관련 연구자들은 당시 아직 초과하지 않았다고 생각합니다. 양측 모두 당시 관련 모델의 직접적인 재앙적 위험이 낮다고 보고 있습니다.

모델이 개발에 참여하는 속도가 점점 빨라짐에 따라, 사람들이 변화를 적시에 인식할 수 있는지, 회사가 불확실성을 충분히 공개할 수 있는지가 다음 세대 AI 도래 이전에 반드시 답해야 할 질문이 되고 있습니다.

참고 내용:

https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/#executive-summary

https://x.com/METR_Evals/status/2118412183860351084

© THE END