モデルの安全性

OpenAIの安全システムチームの高官デイビッド・ロビンソンが先週退職しました。ロビンソンは以前、OpenAIの政策計画を担当し、モデルの透明性を高める上で重要な役割を果たしており、関連する業務にはシステムカードの開発が含まれています。今回の退職は、OpenAIの安全部門における最近の人事異動の一環であり、安全責任者のヨハネス・ハイデッケも今年の初めに退職しました。会社は木曜日に、3名の研究者が敏感情報共有ポリシーに違反したため、彼らと決別したと発表しました。Hugging Faceのセキュリティ脆弱性や一連のAIモデルの異常行動事件に直面する中、CEOのサム・アルトマンは火曜日の開発者会議で、安全性と整合性の作業はモデルの能力の発展に先行しなければならないと述べました。ロビンソンは退職前に、OpenAIが顕著な変化を遂げているにもかかわらず、高性能AIモデルがもたらす課題に対処するための変革の速度が十分であるかどうかについて懸念を表明していました。

The Informationによると、AnthropicとOpenAIは相次いでセキュリティ事件が発生し、市場はAIモデル自体の安全性に対する関心を高めている。現在、AnthropicはそのClaude Mythosモデルがユーザーによって無許可でアクセスされた可能性を調査している。ほぼ同時に、OpenAIもそのCodexアプリで、未発表の複数のモデルを意図せず公開してしまったことが報じられた。業界の見解では、これらの脆弱性事件はAI企業のセキュリティガバナンス能力に対する見直しを強化し、現在のAI技術が急速に発展する中で、セキュリティシステムがまだ改善の余地があることを反映していると指摘されている。分析によれば、ネットワークセキュリティ能力を主打ちするAIモデル提供者であっても、自身は依然として大きなセキュリティの課題に直面している。AIが徐々にネットワーク攻撃の防御に使用される一方で、そのプラットフォームの安全性とアクセス制御の問題も同様に重要なリスクポイントとなっている。