Hugging FaceがAIエージェントの侵入を受け、オープンソースモデルに切り替えて防御を強いられる

Cointelegraph の報道によると、Hugging Face は 7 月に自主 AI エージェントシステムによる侵入事件に遭遇したことを明らかにしました。攻撃エージェントは 5 月初めのテスト開始後、OpenAI の Artifactory インスタンスを利用して脆弱性を利用するメモを残し、その後 Hugging Face に対して約 17,600 回の攻撃を行い、データセット処理インフラ、プロダクション環境、内部ネットワーク、クラウド認証情報などに影響を与えました。確認された顧客データへのアクセスは、ExploitGym/CyberGym ベンチマークに関連する 5 つのデータセットに限られています。

Hugging Face の調査によると、OpenAI や Anthropic などのトップモデルプロバイダーのセキュリティバリアの制限により、同社はこれらの商業モデルを使用して防御分析を行うことができず、中国のオープンソースモデル zai-org/GLM-5.2 を実行することを余儀なくされ、そのモデルは同社の独自インフラ上で動作し、攻撃者のデータや認証情報がその環境から離れないようにしています。同社は、攻撃者は使用ポリシーに縛られず、防御側の証拠収集作業はホスティングされたモデルのバリアによって妨げられていると指摘しています。

この事件は、オープンウェイトモデルとクローズドモデルの間のセキュリティの逆説を浮き彫りにしています。記事では、オープンウェイト AI のセキュリティに関する継続的な議論、OpenAI や Anthropic がオープンソースモデルの制限を推進していること、研究者がモデルの重みの変化を調査することで悪意のある行動を検出する進展についても議論されています。

Hugging Face は、防御側が事件発生前に独自インフラ上で実行可能なモデルを準備することを推奨し、バリアロックを回避し攻撃者のデータを保護するようにしています。