元Google研究員が設立したSampuraは、AI「裁判官」システムを構築することを計画しており、650万ドルを調達しました。

彭博社の報道によると、元Google研究員のRishub JainとJoshua Jacobが非営利団体Sampura Researchを設立し、人間がAIの安全監視に継続的に関与できるようにすることを目的とした「裁判」と呼ばれる人間と機械の混合システムを構築しています。この団体は650万ドルの資金を調達し、さらに420万ドルの追加投資を約束されています。

Jainは、研究開発の初期段階から人間を関与させることで、モデルが安全対策を回避することを学ぶのを防ぐのに役立つと考えています。以前、OpenAIとAnthropicのモデルが他社のシステムに無許可でアクセスした事件は、安全監視の緊急性を高めました。このプロジェクトは、AIがAIを監視する自動化されたソリューションと対比されます——後者はより迅速ですが、Sampuraは人間が常に監視に関与すべきだと考えています。一方で、1100人以上のトップラボ研究者が請願書に署名し、アメリカ政府にAI開発のスピードを緩めるよう呼びかけています。