구글 전 연구원이 설립한 Sampura가 AI "심판" 시스템을 구축할 계획이며, 650만 달러를 모금했습니다

블룸버그 통신에 따르면, 전 구글 연구원 Rishub Jain과 Joshua Jacob이 비영리 단체 Sampura Research를 설립하여 인류가 AI 안전 감독에 지속적으로 참여하도록 하고 "심판"이라는 이름의 인간-기계 혼합 시스템을 구축하여 회사가 취약점을 발견하고 모델의 통제를 방지하는 데 도움을 주고자 합니다. 이 조직은 650만 달러의 자금을 모금했으며 추가로 420만 달러의 투자 약속을 받았습니다.

Jain은 연구 개발 초기부터 인간이 참여하는 것이 모델이 안전 조치를 회피하는 것을 방지하는 데 도움이 된다고 믿고 있습니다. 이전에 OpenAI와 Anthropic의 모델이 허가 없이 다른 회사 시스템에 접근한 사건은 안전 감독의 긴급성을 더욱 부각시켰습니다. 이 프로젝트는 AI가 AI를 모니터링하는 자동화된 솔루션과 대조를 이루며, 후자는 더 빠르지만 Sampura는 인간이 항상 감독에 참여해야 한다고 생각합니다. 한편, 1100명 이상의 최고의 연구실 연구자들이 서명한 청원서가 미국 정부에 AI 개발 속도를 늦추도록 촉구하고 있습니다.