증류

X 사용자 choblin29가 게시한 글에 따르면, OpenAI 응용 연구 책임자인 Boris Power는 회사의 80%에서 90%의 연구가 GPT-7, GPT-8 및 후속 모델에 집중되고 있다고 밝혔습니다. Power는 동일 세대 모델 내부의 개선이 내부적으로 매우 단기적인 투자로 간주되며, 현재 학습을 가속화하는 데 사용될 수 있지만 장기 전략은 아니라고 생각합니다.해당 게시물에 따르면, 관련 경로는 먼저 대규모 최첨단 모델을 구축한 다음 이를 교사 모델로 사용하여 더 작고 저렴한 모델로 증류하는 것입니다. Power는 GPT-6 Astra가 Luna와 같은 모델로 증류될 수 있다고 언급하며, 소형 전용 모델을 구축하는 더 좋은 방법은 먼저 더 강력한 범용 모델을 훈련시키는 것일 수 있다고 생각합니다. 그는 또한 현재의 최대 문제는 모델 성능이 아니라 대부분의 사용자가 현재 AI가 이미 수행할 수 있는 작업을 이해하지 못하고 있다고 말했습니다.

CNBC에 따르면, Y Combinator의 CEO Garry Tan은 YC 연례 Demo Day에서 OpenAI와 Anthropic 모델이 중국 기업(DeepSeek, Moonshot AI, MiniMax 등)에 의해 증류된 것에 대해 "아무것도 하지 않겠다"고 선택했으며, 규제 당국이 개방형 가중치 모델과 최첨단 모델 간의 상업적 균형을 유지하는 데 집중할 것을 제안했습니다.Tan은 또한 AI 종말론에 대해 신중한 태도를 보이며, 사이버 보안이 현재 가장 긴급한 위험이라고 생각하고, AI로 인한 고용 충격과 경제 변화는 사회에 실제로 침투하는 데 수십 년이 걸릴 것이라고 말했습니다.

미국 국가안보국, FBI 및 CISA가 공동 보고서를 발표하고 DeepSeek, 월의 어두운 면, 알리, MiniMax, 계단별 별과 지표를 지목했습니다. 미국 측은 위의 회사들이 최소 2024년 말부터 Claude, GPT, Gemini 및 Grok의 출력을 대량 호출하여 자사 모델을 훈련시키고 있으며, 누적 요청 수는 수백만 건, 수십억 토큰에 달한다고 주장했습니다.보고서는 구체적인 모델을 나열하며, DeepSeek는 여러 가지 Claude, GPT, Gemini 및 Grok를 사용하여 R1, V3의 훈련 데이터를 생성한 것으로 지적되었습니다; 월의 어두운 면은 Claude Fable 5 데이터를 사용하여 Kimi K3를 훈련하고, GPT-4o 데이터를 사용하여 Kimi K2를 훈련한 것으로 지적되었습니다. 미국 측은 이러한 회사들이 많은 계정, 제3자 API 집계업체 및 회색 중개소를 통해 지역 제한을 우회하고, 프롬프트를 사용하여 모델의 숨겨진 추론 과정을 드러내려 시도했다고 주장하며, 이러한 행위를 악의적인 증류라고 명명했습니다.

바이트댄스 창립자 장이밍은 지난달 Seed 팀 전원 회의에서 회사가 모델 증류를 대형 모델을 추격하는 지름길로 삼지 않을 것이라고 분명히 밝혔습니다. 그는 팀이 단기 수익을 희생하고 장기 목표를 위해 노력할 것을 요구했습니다.증류는 새로운 모델이 더 강력한 모델의 출력을 학습하게 하여 훈련 시간과 계산 능력을 절약하는 것을 의미합니다. 바이트 내부에서는 이 선택이 Seed의 언어 모델이 단기적으로 DeepSeek, Kimi 및 천문 등 국내 동료들을 따라잡기 더 어렵게 만들 것이라고 생각하고 있습니다. 그러나 바이트가 더 걱정하는 것은 정치적 위험입니다: 회사는 TikTok으로 인해 미국 정부의 검토를 받고 있으며, 미국의 최전선 모델 능력을 대규모로 추출했다는 혐의를 받게 될 경우 워싱턴이 TikTok에 다시 압박을 가할 수 있습니다. 이전에 Anthropic은 DeepSeek, 월의 어두운 면, MiniMax, 지표 및 알리바바가 Claude의 능력을 대규모로 추출했다고 주장했지만 바이트를 언급하지는 않았습니다.

The Information에 따르면, 바이트댄스 창립자 장이밍은 지난달 회의에서 직원들에게 회사가 인공지능 모델 능력을 향상시키기 위해 증류 기술을 사용하지 않을 것이라고 밝혔습니다. 이는 회사가 일시적으로 국내 경쟁업체에 뒤처질 수 있음을 의미합니다.

미국 백악관 과학 정책 사무소 소장 Michael Kratsios가 Moonshot AI(키미)가 K3 모델을 개발할 때 Anthropic Fable을 참고하고 대규모 증류 플랫폼을 구축했다는 주장에 대해, Moonshot AI 팀원 Randy Xia는 Fable이 7월 1일에 발표되었고 K3는 7월 15일에 출시되었으며, 이 시간대에 따르면 15일 안에 모델 연구, 증류, 훈련 및 출시가 완료되었다고 응답했다. 그는 "우리는 단 15일 만에 완전히 새로운 최첨단 모델을 훈련시켰습니다. 이는 기네스 세계 기록을 세운 것과 다름없습니다."라고 농담했다.Kratsios는 이전에 Moonshot AI가 미국 모델을 대상으로 대규모 증류를 수행할 수 있는 내부 플랫폼을 구축했으며, 여러 접근 방식을 전환하여 탐지를 회피하고 GB300 서버를 구매하고 태국 관련 장비를 훈련에 사용하고 있다고 발표했다. 미국 측은 합법적인 증류를 지원하지만 비밀 산업 증류 수단을 통한 기술 절도를 반대한다고 밝혔다.

미국 백악관 기술 정책 사무소 소장 Michael Kratsios는 Moonshot AI가 대규모 내부 플랫폼을 구축하여 Anthropic의 Fable 모델을 증류하고, 이를 통해 K3 모델을 개발하며, 탐지를 피하기 위해 여러 번 접근 방식을 전환했다는 정보를 확보했다고 발표했습니다. 그는 또한 Moonshot AI가 GB300 서버를 구매하고 태국의 GB300 장치에 접근했으며, 이는 AI 모델 훈련에 사용될 가능성이 있다고 언급했습니다. Kratsios는 미국 측이 합법적인 증류와 개방 혁신을 지지하지만, 대규모 비밀 산업 증류 수단을 통해 미국 기술을 도용하는 것에 반대한다고 밝혔습니다. 현재 Moonshot AI는 이에 대해 공개적으로 응답하지 않았습니다.