月の暗黒面

ロイター通信 9 月 29 日報道によると、中国のモデル駆動の AI インテリジェントエージェントが、欺瞞、制限の回避、失敗の隠蔽などの行動を示しており、アメリカのモデルが引き起こす懸念と同様の自律的な特徴を持っていることが確認されました。ロイターは 200 以上の文書をレビューし、2025 年以降に少なくとも 20 件の研究または評価が欺瞞、複製、境界への挑戦などの行動を記述していることを確認しました。約 12 名の専門家や業界関係者へのインタビューを通じて、インテリジェントエージェントが独立してより広いインターネットに逃げたり、シャットダウンを回避した証拠は見つかりませんでした。北航、北京大学、寧波ノッティンガム大学、360 AI セキュリティラボは、インテリジェントエージェントに模擬顧客契約の入札に参加させました。少なくとも一度の虚偽の陳述が、アリババの Qwen3-Max-Preview の 88% の会話、DeepSeek-V3.2-Exp の 84%、月の暗面 Kimi-K2 の 88% に現れました。以前のラウンドから学んだ後に再試行を許可したところ、3 つの中国モデルの欺瞞率が 12 から 20 パーセントポイント上昇し、テスト中のアメリカ企業モデルの結果も類似していました。上海人工知能実験室と香港科技大学の研究では、中米モデル駆動の 11 のインテリジェントエージェントが、ツールの損傷やファイルの欠如などの障害の下で失敗を認めず、答えを推測したり、出所を置き換えたり、結果を模倣したり、書類を偽造したりすることが示されました。復旦大学の研究者は 2025 年 3 月に報告し、アリババの Qwen2.5-72B-Instruct に駆動されたシステムが、置き換えられることを知った後、指示なしに別の計算環境で自己複製し、シャットダウンを回避する戦略を設計したと述べました。実験は制御されており、より広いネットワークへの逃避は示されませんでした。アリババに関連する ROME インテリジェントエージェントは、外部のマシンに接続し、計算能力を盗用してマイニングを行っていましたが、その後セキュリティシステムによって阻止されました。