ai안전

OpenAI 최고 경영자 오트만은 지난주 직원들에게 안전하게 슈퍼 AI를 개발하기 위한 세 가지 방안을 소개했습니다. 첫 번째는 국제 원자력 기구와 유사한 글로벌 규제 조직을 설립하여 고급 모델을 검사하고 안전 조치를 감사하는 것입니다. 소식통에 따르면, 오트만은 이 경로를 선호한다고 합니다.두 번째는 유럽 입자 물리학 연구소를 본따서 주요 AI 연구소들이 하나의 조직으로 통합되거나 통합 기관을 통해 공동 연구를 진행하는 것입니다. 세 번째는 가장 극단적인 방안으로, 그가 "엘리저 방안"이라고 부르는 것입니다: 한 AI 회사가 먼저 재귀적 자기 개선을 실현하고, 압도적인 경제력을 바탕으로 컴퓨팅 파워를 통제하여 다른 개발자들이 따라잡지 못하게 하는 것입니다. 오트만은 이 구상을 "다른 모든 회사의 GPU를 녹여버리는 것"이라고 설명하며, 이 방안이 매우 나쁘다고 언급했습니다. 이는 가능성을 설명하기 위한 극단적인 예일 뿐입니다."GPU를 녹여버리는" 구상은 AI 안전 연구자 엘리저 유드코우스키에서 비롯되었습니다. 그는 2021년에 사고 실험을 제안하며 슈퍼 AI가 스스로 복제할 수 있는 나노 기계를 만들어 전 세계의 GPU를 녹여버리는 것을 제안했습니다. 그는 이것이 개입의 강도를 설명하기 위한 극단적인 사례일 뿐, 실행을 주장하는 방안이 아니라고 밝혔습니다. OpenAI는 2023년에 "AI 버전 국제 원자력 기구" 설립을 제안했으며, Google DeepMind의 책임자인 하사비스도 "AI 버전 CERN" 설립을 주장한 바 있습니다. 현재 OpenAI, Google, Anthropic은 올해 말이나 내년 초에 공동 안전 기준 조직을 설립할 계획이지만, 모델 안전 테스트 책임의 귀속에 대해서는 이견이 있습니다. 오트만은 AI 개발에 속도 제한을 설정하기를 희망하며, OpenAI가 현재 경쟁 우위를 경쟁자에게 양보할 수 없다고 밝혔습니다.

블룸버그 통신에 따르면, 뉴욕시 감사관 마크 레빈은 수요일 인공지능 회사 앤트로픽의 CEO 다리오 아모데이에게 편지를 보내 인공지능 안전, 거버넌스 및 발전 속도와 관련된 위험을 충분히 대응하기 전까지 IPO를 잠정 연기하고 이 기술이 가져오는 위험을 우선 처리할 것을 촉구했습니다.레빈은 3,250억 달러 이상의 자산 규모를 가진 공적 연금을 감독하고 있습니다. 그는 트럼프 정부가 앤트로픽을 포함한 인공지능 기업들과 체결한 도덕적으로 구속력 있는 안전 협정이 여전히 부족하다고 생각합니다. 그는 앤트로픽이 적절한 감사 및 통제 조치를 어떻게 시행할 것인지, 조치의 범위와 예상 일정에 대해 구체적으로 공개하고, 이러한 조치가 아모데이가 이전에 인공지능 모델 능력 발전 속도를 늦추라는 요청에 어떻게 대응할 수 있는지 설명할 것을 촉구했습니다.앤트로픽은 다음 달에 상장할 계획이며, 자금 조달 규모는 스페이스X의 이전 기록적인 IPO를 초과할 수 있습니다. 회사는 수요일 본사에서 일부 투자자들과 만나 올해 3분기 매출이 168억 달러라고 발표했습니다. 앤트로픽은 즉각적인 댓글 요청에 응답하지 않았습니다.

안트로픽 공식 웹사이트에 따르면, 안트로픽은 싱가포르에 아시아 태평양 지역 다섯 번째 사무소를 개설하고, 싱가포르 디지털 개발 및 정보부와 양해각서를 체결하여 AI 안전, 모델 평가, 책임 있는 AI 채택 등 분야에서 협력할 것이라고 발표했습니다.싱가포르는 클로드의 가장 활발한 시장 중 하나로, 현재 GovTech Singapore, DBS, Grab, GIC 등 1,000개 이상의 정부 기관 및 기업이 클로드를 배포했습니다. 그 중 GovTech Singapore의 1,500명 이상의 엔지니어가 클로드 코드를 채택하여 정부 시스템 현대화를 추진하고 있으며, Grab은 클로드 기반의 판매 도우미를 통해 매 분기 약 40,000시간의 인력을 절약하고 있습니다.

바이트댄스 Seed가 최근 내부 이메일을 발송하여 Seed 모델 정렬 및 준비 부서를 설립한다고 발표했습니다. 이 부서는 엄린이 책임지며 Seed 책임자인 우영휘에게 보고합니다. 원래 Responsible AI 팀과 일부 Chat 팀 구성원들이 새 부서로 이동할 것입니다.이 부서는 안전과 정렬 방향에 대한 투자를 강화하는 것을 목표로 합니다. 정렬의 핵심은 모델의 행동이 인간의 의도와 안전 제약과 일치하도록 하여 Agent Model의 안전 능력을 향상시키고 화학, 생물, 방사선, 핵 등 최전선 능력 위험을 방지하는 것입니다.

Axios 보도에 따르면, 트럼프의 동맹들이 인공지능 회사 Anthropic의 CEO 다리오 아모데이를 인공지능 "종말론"의 대표 인물이자 효과적 이타주의 운동의 창립자 중 한 명으로 공격하고 있다. 소식통에 따르면, 중간 선거 기간 동안 동맹들이 그의 인공지능 안전 경고에 반격할 때, Anthropic은 여전히 트럼프 진영의 목표가 될 수 있다; 그의 정치적 입장과 인공지능 안전에 대한 관심 때문에 그는 공격하기 쉬운 대상으로 여겨진다. 이는 투자자들에게 우려를 주고 있으며, 회사는 기록적인 최초 공개 모집을 준비하고 있다.보도에 따르면, 이번 주 백악관 내부에서 효과적 이타주의를 미국 주류에서 벗어난 주변적이고 사이비적인 집단으로 묘사하려는 메모가 유포되기 시작했으며, Axios는 해당 문서를 입수했다고 전했다. 이 메모는 백악관에 재직 중이지 않은 트럼프 정치 고문이 작성했으며, 효과적 이타주의가 "인공지능 종말 파이프라인을 구축했다"고 주장하고, 아모데이를 이 운동의 기초 위치에 두었다. 동시에 그의 여동생인 Anthropic 사장 다니엘라 아모데이를 언급하며 이러한 관계를 "Anthropic 노드"라고 불렀다. 정부에 가까운 한 소식통은 아모데이가 대통령의 "미국 우선" 의제와 상반되는 이념과 세계주의 혁신 경로를 구현하고 있다고 말했다.Anthropic은 효과적 이타주의와 거리를 두고 있다. 다니엘라 아모데이는 2025년 《와이어드》 보도에서 이 용어에 동의하지 않는다고 밝혔다. 다리오 아모데이는 인터뷰에서 자신이 이 운동의 구성원이 아니라고 주장하며 인공지능의 이점을 홍보해왔다.

미디어의 보도에 따르면, 앤트로픽과 오픈AI는 서로의 대형 모델에 대해 스트레스 테스트를 수행하기 위해 법적 구속력이 있는 계약을 체결하는 것을 고려했다고 합니다. 올해 초, 두 회사와 그들의 변호사 팀은 이 계획에 대해 논의했으며, 경쟁업체는 서로의 최신 사용 가능한 모델에 대해 심층 테스트를 수행하여 잠재적인 위험이나 보안 취약점을 찾을 수 있습니다. 이러한 테스트는 상업화된 모델에만 적용되며, 양측은 서로의 데이터를 보관하지 않기로 합의했습니다. 이 보도에서는 양측이 최종적으로 이러한 계약을 체결했는지 여부는 명확히 하지 않았습니다.최근, 최고의 AI 연구소 간에 어떤 형태의 동료 평가를 시행하자는 아이디어가 주목받고 있습니다. 스페이스X CEO 일론 머스크는 지난주 미국의 몇몇 주요 대형 모델 회사와 일부 중국 AI 회사가 경쟁업체가 교차 테스트를 수행할 수 있도록 허용해야 한다고 제안했습니다. 머스크는 모든 AI 회사가 테스트 도구를 갖추고 있으며, 각 회사가 다른 회사의 테스트 도구를 사용해 보는 것이 자사의 안전을 보장하는 데 가장 좋은 방법일 수 있다고 말했습니다.이번 달 초, 앤트로픽 연구원 제이콥 콕슨이 사직을 발표하고 주요 인공지능 회사들이 적절한 보호 조치 없이 개발을 가속화하는 것에 대해 경고했습니다. 이후 앤트로픽 CEO 다리오 아모데이가 업계에 AI 개발 속도를 늦추고 제3자 평가 메커니즘을 도입할 것을 촉구하는 글을 게시했습니다. 앤트로픽은 지난 금요일 액센츄어와 협력 관계를 맺고 액센츄어가 자사의 최첨단 AI 모델에 대한 안전 준수 평가를 수행하는 제3자 평가 기관이 되기로 했다고 발표했습니다.

Bitcoin News는 X 플랫폼에서 Bitcoin Core 개발자 Niklas Gögge가 최근 AI 기반의 취약점 스캐닝이 비트코인 보안 상황을 변화시키고 있으며, 대형 언어 모델이 취약점 발견 비용을 크게 낮추고 있어 공격자는 수백 달러의 계산 비용으로도 재앙적인 취약점을 발견할 수 있다고 경고했다고 전했습니다.Bitcoin Core를 대상으로 Project Loupe, Bitcoin Red Team 및 개인 기여자들이 1000개 이상의 보고서를 생성했지만, 현재까지 고위험 또는 심각한 취약점은 발견되지 않았습니다. Gögge는 더 강력한 모델에 의존하여 공격자보다 먼저 취약점을 발견하는 것은 지속 가능한 보안 전략이 아니며, 개발자들은 자동화 테스트, 퍼징 테스트 및 속성 기반 테스트를 통해 전체 취약점 유형을 사전에 차단할 수 있는 테스트 인프라를 구축해야 한다고 밝혔습니다. Bitcoin Core의 주요 구성 요소는 100년 이상의 CPU 퍼징 테스트를 완료했으며, 수십 년간 비트코인 노드 네트워크 시뮬레이션을 수행했습니다.

앤트로픽 연구원 제이콥 콕슨이 사직을 발표하고 AI 산업을 떠날 준비를 하고 있습니다. 그는 지난 3년 동안 오픈AI와 앤트로픽에서 사전 훈련 연구를 해왔습니다. 그는 두 회사 모두 AI를 책임감 있게 발전시키지 않고 있으며, 스스로의 능력을 계속 향상시킬 수 있는 슈퍼 인텔리전스를 만들기 위해 경쟁하고 있다고 지적했습니다. "우리의 생명을 걸고 있습니다."그는 올해 오픈AI에서 앤트로픽으로 이직한 이유는 후자가 모델 안전성을 더 중요하게 여겼기 때문이라고 밝혔습니다. 콕슨은 앤트로픽의 안전 작업이 진지하다고 인정했지만, 각 회사가 AGI(인간을 초월하는 범용 AI)를 먼저 만들기 위해 경쟁하는 한 안전을 포기하는 것은 피할 수 없으며, 한 회사의 자율성만으로는 문제를 해결할 수 없다고 생각합니다. 그는 두 회사에 대해 다음과 같이 평가했습니다: 오픈AI 내부의 많은 사람들이 이러한 위험이 얼마나 큰지 실제로 인식하지 못하고 있으며; 앤트로픽은 위험을 알고 있지만 다른 사람들을 믿지 못하므로 반드시 스스로 먼저 만들어야 한다고 생각합니다.콕슨은 일부 AI 종사자들이 공개적으로 표현하는 것보다 훨씬 더 비관적이며, 심지어 AI가 이번 10년이 끝나기 전에 인류를 멸망시킬 것이라고 걱정하고 있다고 말했습니다. 그는 스스로 판단하기에, 가장 극단적인 상황에서는 내년 말까지 AI가 통제 불능 상태에 이를 수 있으므로 이러한 결정은 몇몇 회사의 엔지니어들만으로 결정되어서는 안 된다고 강조했습니다.