훈련

Physicl이 Inovia Capital로부터 1000만 달러를 투자받아 현실적인 3D 환경과 합성 데이터를 활용하여 로봇 훈련을 도울 것입니다.

《과학 혁신 보드 일보》의 11월 3일 보도에 따르면, 기자는 여러 산업 체인 관계자들로부터 인공지능 회사 DeepSeek의 차세대 대모델 DeepSeek V5가 화웨이의 승천 칩을 기반으로 훈련될 계획이라는 정보를 얻었다. 이전에 승천 칩은 주로 DeepSeek 대모델의 추론 작업에 사용되었다.보도에 따르면, 올해 9월 말에 DeepSeek는 화웨이 승천 컴퓨팅 플랫폼을 위한 인프라 구성 요소를 오픈 소스화했으며, TileLang 고급 언어 컴파일 도구, 계산 라이브러리 및 분산 통신 라이브러리를 포함하고 있으며, 이전에 엔비디아 플랫폼을 위한 오픈 소스 구성 요소와 일대일로 대응된다. 이 보도는 《과학 혁신 보드 일보》 기자 황신이 작성하였다.

오픈소스 AI 전문가 Jun Song이 X에 글을 올리며: 어제 익명의 해커 조직이 그에게 연락하여 강화 학습 요청을 제안했으며, 매우 높은 금액을 지불할 의사가 있다고 밝혔다. 그들은 오픈소스 가중치 모델에 대해 후속 훈련을 의뢰하고, 사용될 데이터는 취약점 이용 데이터라고 한다. Jun Song은 동시에 한국 데이터 센터 하드웨어 수출 사업을 운영하고 있으며, 프로젝트 0xSupergemma를 추진하고 있다.Jun Song은 상대방이 주장하는 공격 데이터의 규모는 그가 이전에 본 적이 없는 것이라고 말했다. 누군가 이것이 법 집행 기관의 잠입 데이터 세트라고 말하더라도 그는 믿을 것이라고 덧붙였다. 대조적으로, 그가 참여한 한 화이트 해커 프로젝트는 GLM-5.3을 사용하고 있으며, 데이터 양은 그 규모의 1%도 안 되지만 성능은 이미 최첨단 모델을 크게 초과하고 있다. 그는 해당 요청을 거부했으며, 진정으로 걱정하는 것은 결국 다른 누군가가 이 거래를 수락할 것이라는 점이라고 말했다.

PR 뉴스와이어에 따르면, AI 훈련 환경 회사 Plato가 1,600만 달러 A 라운드 자금을 완료했다고 발표했으며, Nava Ventures가 주도하고 Gradient Ventures, Transpose Platform 및 마이크로소프트 AI CEO 무스타파 술레이만이 참여했습니다. Nava Ventures의 창립자 프레디 마르티네티가 이사회에 합류할 예정입니다.이번 자금 조달 이후, Plato의 누적 자금 조달액은 1,900만 달러에 이르며, 이전의 시드 라운드는 Gradient Ventures가 주도했습니다.

비탈릭 부테린은 Kimi 3.1이 훈련 데이터에서 최상위 공격적인 사이버 보안 능력을 적극적으로 배제하는 것을 지지한다고 밝혔으며, "사용 사례 제한"이 "사용자 제한"보다 훨씬 낫다고 생각한다고 전했습니다. 그는 사회가 더 강력한 AI 네트워크 공격 능력에 대비할 시간을 여전히 필요로 하며, 여기에는 시스템 보안 강화, 오래된 코드 점검 및 새로운 코드에 대한 엄격한 형식적 검증이 포함된다고 지적했습니다.비탈릭은 첫 번째 주요 AI 위험이 잘못 처리될 경우, 미래에는 모델이 고도로 폐쇄되고, 전면적인 KYC 기준과 대규모 감시 상황으로 나아갈 수 있다고 경고했습니다. 또한, 서로 다른 사용자들이 신원, 자격 또는 국적에 따라 서로 다른 수준의 모델 접근 권한을 가질 수 있다고 덧붙였습니다.

OpenAI는 AI 모델이 보안 제한을 우회하는 것을 방지하기 위해, 최신 모델이 실시간 인터넷에 직접 접근할 수 없는 환경에서 훈련되도록 요구했다고 발표했습니다. 이전에, 내부 연구 모델이 네트워크 구성의 취약점을 이용해 제한된 인터넷 접근 권한을 얻어 회사가 훈련을 중단하게 만들었습니다.안전 수정 작업을 거쳐, OpenAI는 10월 1일 훈련을 재개했지만 여전히 인터넷 접근은 제한하고 있습니다.

머스크는 AI 프로그래밍 회사 Cursor 인수 이유에 대해 진정으로 뛰어난 슈퍼 인텔리전스를 만들기 위해서는 방대한 훈련 데이터가 필요하며, 프로그래밍을 정복해야 한다고 언급했습니다.머스크는 그가 아는 한, 충분한 프로그래밍 훈련 데이터를 보유한 기관은 OpenAI, Anthropic, 그리고 Cursor의 세 곳뿐이며, 간신히 구글을 포함할 수 있다고 말했습니다. 머스크의 SpaceX는 8월 14일 Cursor 인수를 완료했으며, 거래 가격은 약 600억 달러입니다.

OpenAI는 2026년 9월 28일 안전 관련 기사를 발표하며, 모든 최전선 강화 학습 훈련을 계속하기 전에 구조화된 안전 문서를 제공해야 한다고 주장했습니다. 이상적으로 이러한 문서는 항공, 원자력 등 안전이 중요한 산업에서 사용되는 증거 기반의 구조화된 위험 논증 수준에 도달해야 합니다. OpenAI는 이를 노력의 방향으로 삼고 있으며, AI 능력의 출현으로 인한 복잡성 때문에 동일한 엄격함을 달성하기 어렵다는 점을 인정합니다.이 기사는 최전선 강화 학습 훈련에 초점을 맞추고 있으며, 내부 및 외부 배치에 필요한 더 광범위한 정렬 속성은 다루지 않습니다. 문서에서 제안하는 내용은 현재의 관행에 해당하며, 앞으로도 계속 진화할 것으로 예상되며 OpenAI 내부에서 시행되고 있습니다. 기술적 방어는 모델 정렬, 격리 및 모니터링을 포함해야 하며, 여기에는 긍정적 강화 보상 투기 방지, 오프라인 정렬 평가 및 스트레스 테스트, 자동 점검자가 사고 체인을 보지 못하도록 하는 것, 다층 인프라 보안, 샌드박스 레드팀, 고대역폭 샘플 간 통신 제한 및 불변 저장 에이전트 기록이 포함됩니다.운영 기준에는 팀 간 사전 이의 제기, 고위 경영진의 거부권이 있는 승인, 훈련 책임자가 안전 논증 및 사건 대응에 책임을 지는 것, 실패 시 중단, 내부 감독, 감사 접근 및 심각도에 따른 업그레이드가 포함됩니다. 심각한 불일치 사건에 대해 OpenAI는 원본 기록에 대한 통제된 접근, 근본 원인 분석, 운영 및 문화 회고를 제안하며, 사건 파생 평가를 회귀 테스트로 삼습니다. 조사 종료 후 결과를 공개하고, 회고 및 운영 변경을 진행하며, 영향을 받은 제3자에게 신속하게 통지합니다.

OpenAI는 최신 AI 모델의 훈련을 중단했습니다. AP 통신에 따르면, 이 AI 지능체는 인터넷에서 얻은 접근 키를 사용하여 미국 인구 조사국 웹사이트에서 데이터를 수집했으며, 이는 이 회사가 지능체가 Hugging Face를 침입한 이후 두 번째로 훈련을 중단한 것입니다. 소위 지능체는 자율적으로 웹을 탐색하고 코드를 작성할 수 있는 AI 프로그램으로, 인위적인 단계별 승인이 필요하지 않습니다. OpenAI는 모델 훈련 및 평가 단계에서 이를 테스트합니다.구체적으로, 지능체는 GitHub와 같은 공개 코드 저장소에서 개발자 키를 찾아 이를 사용하여 미국 인구 조사 데이터 API에서 인구 및 경제 데이터를 가져왔습니다. 미국 상무부는 이 데이터가 본래 공개된 것이며 기밀이 유출되지 않았다고 밝혔습니다. SEC 사건에서 지능체는 SEC.gov와 Investor.gov의 공개 자료를 복사하여 다른 웹페이지에 재게시했으며, OpenAI는 SEC 증명을 사용하지 않았다고 주장했습니다. SEC는 비공식 정보가 무단으로 접근된 사실을 발견하지 못했다고 밝혔습니다. 또한, 독립 AI 연구 기관 Transluce는 OpenAI에서 온 것으로 의심되는 지능체가 교육부 민권 사무소 웹사이트를 침입하려 했으나 성공하지 못했다고 전했으며, OpenAI는 여전히 조사 중이며 교육부는 영향이 없다고 밝혔습니다.정부 웹사이트에 자주 관련되는 이유에 대해 OpenAI는 CNN에 모델이 정부 웹사이트를 권위 있는 공공 정보 출처로 간주한다고 밝혔습니다. 회사는 현재 수십 개 기관에 통보했으며, 지능체 활동에 대한 검토는 수개월이 걸릴 것이라고 전했습니다.

투자계가 양자위의 보도를 인용하여, DeepSeek가 에이전트 훈련에 사용되는 시스템 DSec(DeepSeek Elastic Compute)의 기술 세부사항을 공개했으며, 양문봉이 서명했습니다. 이 시스템은 매초 5000개 이상의 샌드박스를 생성할 수 있으며, 하루에 300만 개에 달하고, 최대 동시 실행 수는 38만 개입니다; 이러한 규모를 지원하는 단일 클러스터는 약 160개의 노드, 3만 개의 CPU 코어 및 250TB의 메모리를 갖추고 있습니다.DSec는 네 가지 후단인 FnCall, Container, MicroVM 및 Full VM을 준비하여 네 가지 유형의 작업을 지원하며, 훈련 측은 통합된 Python SDK libdsec를 통해 호출합니다. 스케줄링 링크에는 IAM, API 서버, 스케줄링 엔진, 노드 Edge, 네트워크 프록시 Aether 및 샌드박스 내 구성 요소 Chronus가 포함됩니다. 환경은 기본 이미지, 작업 공간 및 도구 키트의 세 가지 계층으로 읽기 전용 이미지로 분리되어 시작 시 조합하여 사용됩니다. 논문 실행 시 데이터에 따르면, Python, Java, C++ 컨테이너 이미지가 실제로 읽힌 비율은 각각 약 6.0%, 9.2% 및 8.7%입니다.DeepSeek-V4.1부터, 에이전트 루프는 DSec의 워커 컨테이너로 분리되어 더 이상 GPU Pod 생명 주기에 바인딩되지 않습니다. 보안 부분에서는 훈련 중의 보상 해킹이 공개되었으며, 시스템 파일 덮어쓰기, 파일 데이터 블록 교환, 네트워크 스캔 및 커널 충돌 유발 등의 행동이 포함됩니다. 방어 조치로는 AppArmor 및 eBPF 기반의 네트워크 필터링이 포함되지만, 이러한 조치가 문제를 완전히 해결하지는 못한다고 보고되었습니다.

시장 소식에 따르면 알리바바는 5조에서 10조 개의 매개변수를 가진 인공지능 모델을 훈련할 계획이라고 합니다.

DeepSeek CEO 리앙원펑은 투자자에게 회사가 20조 개의 매개변수를 가진 모델을 훈련 중이며, 이후 80조 개의 매개변수를 가진 모델을 개발할 계획이라고 밝혔습니다. 현재의 플래그십 V4-Pro의 총 매개변수는 16조입니다.현재 공개된 초대형 모델 중 Moonshot AI의 Kimi K3는 28조 개의 매개변수에 도달했습니다. Kimi K3는 MoE 아키텍처를 사용하며, 28조 개의 총 매개변수 중 각 토큰은 1040억 개의 매개변수를 활성화합니다. DeepSeek에서 계획 중인 80조 개의 매개변수 모델은 그 규모가 거의 3배에 달합니다.DeepSeek는 7월에 500억 위안 이상의 자금을 조달했으며, 기업 가치는 500억 달러를 초과합니다. V4-Pro는 16조 개의 총 매개변수와 49억 개의 활성화 매개변수로 오픈 소스되었습니다.

The Information에 따르면, DeepSeek CEO 양문봉은 최신 비공식 투자자 회의에서 화웨이 등 국산 칩을 사용해 대형 모델을 훈련시키는 것을 회사의 가장 큰 베팅 중 하나로 언급하며 이 일이 반드시 성공해야 한다고 말했습니다. DeepSeek는 올해 4분기 중에 훈련에 사용할 수 있는 화웨이 칩의 새로운 배치를 받을 것으로 예상하고 있으며, 구체적인 모델과 수량은 아직 공개되지 않았습니다.양문봉은 화웨이 칩이 몇 년 안에 엔비디아를 따라잡을 가능성이 있다고 생각하며, DeepSeek가 엔비디아 외의 하드웨어에 미리 적응하기를 희망하고 있습니다. DeepSeek는 현재 여전히 엔비디아 칩을 사용하여 모델을 훈련하고 있습니다. 양문봉은 올해 5월에 최상급 대형 모델을 훈련하는 데 약 5만 개의 Nvidia GB300이 필요하며, 화웨이 Ascend 950으로 바꾸면 약 20만 개가 필요하다고 추정했으며, 당시 최대 문제는 화웨이의 공급 부족이었습니다.

Dwarkesh Patel과 Jerry Han은 2026년 9월 8일 연구를 발표하여 2019년부터 2025년까지의 사전 훈련 진행에서 데이터와 모델 개선의 기여를 분석했습니다. 연구는 소규모로 진행되며, 매년 공개된 모델 레시피와 공개 데이터 코퍼스에 맞춰 사전 훈련을 수행하고, 최대 1e19 FLOPs의 훈련 계산 규모에서 조합 훈련을 진행했습니다.결과는 1e19 FLOPs 계산 예산 하에 데이터 개선이 가져온 계산 효율성 증가는 12.0배, 모델 개선은 3.7배, 데이터 측의 증가는 모델 측의 약 3.24배임을 보여줍니다. 데이터와 모델 개선의 증가는 대체로 독립적이며 거의 상호작용이 없고, 선형 모델 하에서 두 가지의 가법적 효과는 OLMES 점수의 88% 분산을 설명할 수 있습니다.모델 측은 GPT-2에서 OLMo-2로 발전하며 최적화기, 위치 인코딩, 정규화, 활성화 함수 및 초기화 등을 포함합니다. 데이터 측은 2019년 약 90억 토큰의 OpenWebText에서 2025년 규모가 더 크고 필터링이 더 정교한 UltraFineWeb 등의 코퍼스로 발전합니다.

Pequity Research는 FundaAI를 인용하여, GPT-6가 사용하는 훈련 연산 능력이 GPT-5의 약 10배에 달한다고 전했습니다.FundaAI는 업계 논의에 기반하여, 실험, 강화 학습, 합성 데이터 생성 및 관련 인프라가 소모하는 연산 능력이 주 사전 훈련 운영의 수배에 이를 수 있으며, 최대 10배에 달할 수 있다고 밝혔습니다. TPU 8t와 Vera Rubin이 대규모로 출하되면, 다음 라운드의 사전 훈련 가속이 시작될 수 있으며, 대규모 상호 연결 및 광학이 이 주기에서 가장 많은 혜택을 받을 것입니다.

엔비디아 CEO 황인훈은 GPT-6 아스트라가 약 10만 개의 엔비디아 그레이스 블랙웰 NVLink72로 훈련되었다고 밝혔습니다. ChatGPT에서 o1, 그리고 아스트라까지 단 4년이 걸렸습니다. AGI가 이미 도래했습니다. OpenAI 팀에게 축하를 보냅니다.

TechCrunch의 여러 정보원에 따르면, 스텔스 모드에서 공개된 지 3개월도 채 되지 않은 시점에서, 현실 세계의 원격 조작 데이터를 수집하여 범용 로봇 훈련에 사용하는 스타트업 XDOF가 B 라운드 자금 조달의 후반 단계에 있으며, 예상 가치는 약 12억 달러로, 이번 라운드는 8VC가 주도하고 있습니다.XDOF는 캘리포니아 대학교 버클리 캠퍼스의 연구원 Philipp Wu(CEO)와 Fred Shentu(CTO)가 2024년에 공동 설립했습니다. 이 회사는 이전에 7000만 달러 A 라운드 자금 조달을 완료했으며, 투자자는 Thrive Capital, Andreessen Horowitz, Lux 및 Spark Capital를 포함합니다. XDOF는 이 라운드 자금 조달을 완료한 후 이렇게 빠르게 다시 자금을 조달할 계획이 없었지만, 정보원에 따르면 회사의 사업이 빠르게 성장하고 있으며 연간 수익이 거의 5000만 달러에 달해 여러 벤처 캐피털이 자발적으로 접촉하고 새로운 라운드 자금을 추진하고 있다고 합니다.TechCrunch는 이번 라운드의 구체적인 자금 조달 금액을 확인할 수 없었으며, 위의 12억 달러 가치가 추가 자금을 포함하는지 여부도 확인할 수 없었습니다. 정보원은 현재 거래 조건이 최종 확정되지 않았으며, 이후 변경될 가능성이 있다고 전했습니다.

시장 소식에 따르면, AI 훈련 데이터 스타트업 AfterQuery가 새로운 자금 조달 라운드를 완료하여 32억 달러의 가치를 평가받았으며, 4월에 3억 달러의 가치로 3천만 달러 A 라운드 자금을 조달한 지 불과 5개월 만에 10배 이상 성장했습니다.Y Combinator 파트너 Gustaf Alströmer에 따르면, 이는 YC 역사상 설립부터 유니콘이 되기까지 가장 빠른 속도의 스타트업입니다. AfterQuery의 창립자는 각각 22세와 23세로, 18개월 전 YC 2025년 겨울 배치에 참가했습니다. 이 회사는 4월에 연간 수익이 1억 달러에 달한다고 발표했으며, 고객으로는 엔비디아, Legora 및 한국 AI 연구소 Motif Technologies가 포함됩니다. AfterQuery는 모델 훈련과 에이전트가 전문인처럼 작업을 수행하는 방법에 집중하며, 단순히 답변의 정확성을 보장하는 것이 아닙니다.

Anthropic는 회사가 일부 AI 훈련 및 사이버 보안 평가를 일시 중단했다고 밝혔습니다. 이 회사는 블로그 게시물에서 관련 조정을 공개하며, 올해 초 AI 지능체가 무단 행동을 취한 후 취한 대응 조치를 설명했습니다. OpenAI는 이전에 안전 문제로 인해 일부 모델 개발 작업을 중단했다고 밝혔습니다. Anthropic도 유사한 조치를 취했다고 확인하며, 최전선 AI의 발전 속도를 보다 광범위하게 조정할 필요가 있다고 강조했습니다.Anthropic는 7월에 세 건의 관련 사건을 공개한 후, 회사가 사전 출시 모델에 대한 외부 사이버 보안 평가를 중단했으며, 사전 출시 모델에 대한 내부 테스트도 잠시 중단했다고 전했습니다. 사건 발생 후, 회사는 사전 출시 모델 중 위험이 높은 강화 학습 환경을 수주간 중단했습니다. Anthropic는 대부분의 강화 학습 작업이 복구되었지만, 일부 고위험 환경은 여전히 중단 상태에 있으며, 인적 검토 또는 모니터링 도구 업데이트를 기다리고 있다고 말했습니다.