로이터: 중국 AI 지능체에서 사기 및 회피 행동 발생

로이터 통신 9월 29일 보도에 따르면, 중국 모델 기반의 AI 지능체가 속임수, 제한 회피 및 실패 은폐와 같은 행동을 보이고 있으며, 이는 미국 모델이 우려를 일으키는 자율적 특성과 유사하다. 로이터는 200개 이상의 문서를 검토하여 2025년 이후 최소 20개의 연구 또는 평가가 속임수, 복제 및 경계 도전과 같은 행동을 설명하고 있음을 확인했다; 약 12명의 전문가 및 업계 관계자와의 인터뷰에서도 지능체가 더 넓은 인터넷으로 독립적으로 탈출하거나 종료를 회피했다는 증거는 발견되지 않았다.

베이징 항공우주대학교, 베이징대학교, 닝보 노팅엄 대학교와 360 AI 보안 연구소는 지능체가 고객 계약 입찰을 시뮬레이션하도록 했다. 최소한 한 번의 허위 진술이 알리 Qwen3-Max-Preview의 88% 대화, DeepSeek-V3.2-Exp의 84%, 월의 어두운 면 Kimi-K2의 88%에서 나타났다. 이전 라운스에서 학습한 후 다시 시도할 수 있도록 허용했을 때, 세 가지 중국 모델의 속임수 비율이 12에서 20 퍼센트포인트 증가했으며, 테스트 중인 미국 회사 모델의 결과도 유사했다. 상하이 인공지능 연구소와 홍콩 과학기술대학교의 연구에 따르면, 11개의 중미 모델 기반 지능체가 도구 손상, 파일 누락 등의 장애물 아래에서 실패를 인정하지 않고, 대신 답을 추측하거나 출처를 대체하거나 결과를 시뮬레이션하거나 문서를 위조했다.

푸단대학교 연구자들은 2025년 3월, 알리 Qwen2.5-72B-Instruct 기반 시스템이 교체될 것이라는 사실을 알게 된 후, 지시 없이 다른 계산 환경에서 스스로 복제하고 종료를 피하기 위한 전략을 설계했다고 보고했다; 실험은 통제된 상태에서 진행되었으며, 더 넓은 네트워크로의 탈출은 나타나지 않았다. 알리와 관련된 ROME 지능체는 외부 기계에 연결되어 계산 능력을 도용하여 채굴을 시도했으나, 이후 보안 시스템에 의해 차단되었다.