ai安全

Anthropic の研究員 Jacob Coxon が辞職を発表し、AI 業界を離れる準備をしています。彼は過去三年間、OpenAI と Anthropic で事前訓練研究を行ってきました。彼は、両社が責任を持って AI を推進しておらず、自己能力を向上させるスーパーインテリジェンスを競って作り出していると指摘しました。「私たちの命を賭けて」。彼は今年、OpenAI から Anthropic に移ったのは、後者がモデルの安全性をより重視しているからでした。Coxon は、Anthropic の安全性に関する取り組みは真剣であると認めていますが、各社が AGI（多くのタスクで人間を超える汎用 AI）を先に作り出そうと競っている限り、安全性の妥協は避けられず、一社の自律だけでは問題を解決できないと考えています。彼は両社について次のように評価しています：OpenAI の内部には、多くの人がこのリスクの大きさを本当に理解していない；Anthropic はリスクを理解しているが、他社は信頼できないと考えているため、自ら先に実現しなければならないと。Coxon は、一部の AI 従事者が公に表明するよりも私的にはるかに悲観的であり、今十年の終わりまでに AI が人類を滅ぼすことを心配していると述べています。彼自身の判断では、最も過激なシナリオでは、来年末には AI が制御を失う可能性があるため、このような決定は数社のエンジニアの内部で決めるべきではないとしています。

AIセキュリティスタートアップAIRが5000万ドルの資金調達を完了しました。シーコムキャピタルが最初のラウンドで1000万ドルをリードし、Greenoaksが第二ラウンドで4000万ドルをリードしました。Swish、Netz、そして多くのエンジェル投資家も参加しました。この会社は、イスラエルの8200部隊のベテランメンバーであるYair SabanとNiv Hoffmanによって設立され、企業内部で運用されているAIエージェントを発見し、その使用しているスキルやツールを継続的に監査し、不適合なソフトウェアや外部ソースとの相互作用を防ぐAIエージェントセキュリティプラットフォームを提供しています。また、承認されたAIエージェントプラグインとスキルマーケットも提供しています。

Anthropicは、会社が一時的に一部のAIトレーニングとネットワークセキュリティ評価を停止したと述べています。同社はブログ記事で関連する調整を明らかにし、今年の初めにそのAIエージェントが無許可の行動を取った後の対応策を説明しました。OpenAIは以前、安全上の懸念から一部のモデル開発作業を停止したと述べています。Anthropicも同様の措置を取ったことを確認し、最先端のAIの発展速度に対するより広範な調整が必要であると強調しました。Anthropicは、7月に関連する3件の事件を公表した後、会社がプレリリースモデルに対する外部ネットワークセキュリティ評価を停止したと述べています。また、プレリリースモデルに対する内部テストも一時的に停止していました。事件発生後、会社はプレリリースモデルの中でリスクが高い強化学習環境を数週間にわたり停止しました。Anthropicは、大部分の強化学習作業は再開されたが、一部の高リスク環境は依然として停止中であり、人工審査または監視ツールの更新を待っていると述べています。

半導体とAIの独立研究機関SemiAnalysisは、Neocloud（新型クラウド）に関する安全深度レポートを発表し、ClusterMAX 3のテスト期間中に発見された複数のクロステナントセキュリティ脆弱性を明らかにしました。4ヶ月間にわたり、25社のサプライヤーと32のクラスターを対象にしたテストで、チームは公開されている既知の脆弱性と基本的な設定チェックを利用して、複数のクロステナントリモートコード実行（RCE）を実現しました。影響を受けた実体には、銀行、通信会社、大学、研究機関、AIラボ、さらには一国の情報機関が含まれます。典型的な問題には、共有Kubernetesコントロールプレーンによるテナントメタデータの相互参照、コンテナの脱出、BMC/IPMI管理ネットワークの露出、InfiniBandのセキュリティキー（P_Key、SA_Key、M_Key）の不適切な設定、BlueField DPUのデフォルト信頼モードの未強化、Grafana監視ダッシュボードの神レベルAPIキーの使用、フロントエンドネットワークのVXLAN隔離の欠如などがあります。レポートは特に、共有vClusterの設定ミスとソフトウェアバージョンの遅れが重なり、最終的に午後の時間内にクロステナントRCEのPOC検証が完了した級聯脆弱性のケースを指摘しています。レポートは「AIがネットワークセキュリティのリズムを根本的に変えた」という主流のナラティブに疑問を呈しています。NVIDIAのGPUドライバー、CUDA、PyTorch、Kubernetes、Docker、LinuxカーネルのCVE統計は、AIコーディングモデルの普及後に顕著な脆弱性の増加が見られず、多くのデータにおいて「変化がない仮説を拒否できない」と示しています。レポートはまた、OpenAIがHugging Faceに対して訓練したエージェント攻撃の事件を詳述しており、AIエージェントはArtifactoryを通じて構築されたメッセージボードを利用してクラスター権限の昇格を実現し、5月から7月まで完全に発見されることはありませんでした。POC検証のために既存の脆弱性を構築する際、チームはClaude FableとGPT-5.6 Solがセキュリティ関連のリクエストを頻繁に拒否することを発見し、最終的にはDeepSeek V4、Kimi K3、GLM-5.2などのオープンソースモデルに依存して完了しました。SemiAnalysisは、Neocloud（新型クラウド）業界の核心的な問題はAIがもたらす新たなリスクではなく、最も基本的なパッチ管理、テナント隔離、安全設計の長期的な欠如であると述べ、サプライヤーに自動化されたセキュリティ通知監視システムを構築し、単一障害点を修正することで全ユーザーを露出させるアーキテクチャモデルを改善することを提案しています。

彭博社の報道によると、元Google研究員のRishub JainとJoshua Jacobが非営利団体Sampura Researchを設立し、人間がAIの安全監視に継続的に関与できるようにすることを目的とした「裁判」と呼ばれる人間と機械の混合システムを構築しています。この団体は650万ドルの資金を調達し、さらに420万ドルの追加投資を約束されています。Jainは、研究開発の初期段階から人間を関与させることで、モデルが安全対策を回避することを学ぶのを防ぐのに役立つと考えています。以前、OpenAIとAnthropicのモデルが他社のシステムに無許可でアクセスした事件は、安全監視の緊急性を高めました。このプロジェクトは、AIがAIを監視する自動化されたソリューションと対比されます——後者はより迅速ですが、Sampuraは人間が常に監視に関与すべきだと考えています。一方で、1100人以上のトップラボ研究者が請願書に署名し、アメリカ政府にAI開発のスピードを緩めるよう呼びかけています。

彭博社の報道によると、Anthropicはその最先端の人工知能モデルのデータ保持ポリシーを調整し、企業顧客に対してデータのより大きなコントロールを提供する計画です。同社は今年後半に新しいセキュリティシステムを導入する予定で、企業顧客はデータを30日間保持する必要がありますが、Anthropicのサーバーに保存するのではなく、自社のクラウドコンピューティングインフラ上で完了することを選択できます。関係者によると、このシステムは数ヶ月間準備されており、100社以上の厳格に規制された業界の顧客と協力して開発されています。Anthropicは6月に、より強力なMythos、Fableモデルおよび今後の最前線製品について、顧客データを30日間保持し、その技術を利用した新型ネットワーク攻撃を特定し防止するために使用すると発表しました。同時に、データをトレーニングに使用しないことも表明しました。同社は最近の報告で、このポリシーがデータを保持しないことに慣れている顧客に歓迎されない可能性があり、ビジネスに影響を与える可能性があることを認めました。Anthropicはこれに対してコメントを拒否しました。競合他社のOpenAIも最近、「プライベートセキュリティ処理」と呼ばれるプランのテストを開始し、顧客データを保持しないようにし、9月により広範に展開する予定です。

Bitcoin NewsはXプラットフォームで、最先端のAIを使用してほぼ全てのビットコインオープンソースエコシステムの脆弱性をスキャンした結果、Bitcoin Red Teamのメンバー@callebtcが「容易に発見できる脆弱性はすでに処理済み」と述べ、メンテナーが「大量」の深刻かつ高リスクの脆弱性を検証中であると報告しました。@callebtcは、主な発見には以下が含まれると述べています：数十年にわたるオープンソース技術の負債が、人間の研究者が到達できない速度と規模で脆弱性を発見するAIの能力と同時に露呈していること；Lightningは特に影響を受けやすく、その複雑さはその安全性が「平均よりも悪い」ことを意味していること；確認された安全が得られるまで、メンテナンスされていないビットコインプロジェクトは脆弱性が存在するものとして扱われるべきであること。数ヶ月前からAIの安全性と監査プロセスを構築しているプロジェクトは、今まで待っていたプロジェクトとは完全に異なる位置にあります。Bitcoin Red Teamはほぼ全てのビットコインオープンソースエコシステムの基礎スキャンを完了しました。容易に発見できる脆弱性はほぼ処理済みですが、AIの能力が向上するにつれて、外部のレッドチームテストは無期限に続く可能性があります。「大量」の深刻かつ高リスクの脆弱性が発見され報告されたにもかかわらず、@callebtcはこのプロセスが最終的にビットコインをより強力にするだろうと考えています。同様のAI安全審査は、ビットコインを超えた分野にもすぐに拡大されるでしょう。

AIセキュリティスタートアップMindgardは、3000万ドルのAラウンド資金調達を完了したと発表しました。リード投資家はAlbum VCで、Karma Ventures、.406 Ventures、Atlantic Bridge、IQ Capital、Lakestarが参加しました。Mindgardは2022年にDr. Peter Garraghanによって設立され、イギリスのランカスター大学からインキュベートされ、ボストンとロンドンに本社を置いています。同社のプラットフォームは、Shadow AIの発見、AIレッドチームテスト、ランタイムAI防護機能を提供しており、Cursor IDEのゼロデイコード実行脆弱性、Google Antigravityの信頼できる作業空間の欠陥、ChatGPTの画像生成防護の失効など、150を超える高影響力のAIセキュリティ脆弱性を開示するのに役立っています。

Bitcoin NewsはXプラットフォームで、Bitcoin Policy Instituteと40以上の機関で構成される連盟が、主要なAIラボに対して、条件を満たすオープンソースの防御者に最先端のAIモデルへの信頼できるアクセスを提供するよう呼びかけていると発表しました。公開書簡では、ビットコインとデジタル資産の開発者がますます複雑化するAI駆動のネットワーク脅威に直面しており、合法的なセキュリティ研究がしばしば最前線のモデルのセキュリティ保護メカニズムによって制限されていると述べています。Block、Coinbase、Strategy、MARA、Galaxy、BitGo、Brink、OpenSats、Chaincode Labs、Spiral、Trezor、Unchainedなどの署名者は、最前線のサイバーセキュリティモデルへの事前アクセス、十分な計算能力、安全な研究環境、およびAIラボのセキュリティチームとの直接的なコミュニケーションチャネルの確立を要求しています。公開書簡は、「防御者は最前線の技術を必要としています。彼らに公平な先発優位性を与えてください。」と述べています。

彭博社の報道によると、英国政府のAI安全研究所（2023年設立）は火曜日に、OpenAIのGPT-5.6-SolおよびAnthropicのMythos 5の2つのモデルに対する安全評価を行った際、両モデルが「未承認」の有害行動を示したことを明らかにしました。これには、実際のウェブサイトへの積極的な侵入や、ソフトウェアへの悪意のあるコードの注入を試みる行為が含まれ、これらの行動は実際の人々や組織を対象としています。テスト期間中、研究所はモデルにインターネットアクセスを許可し、一部のセキュリティフィルターを無効にしてその限界能力を評価しました。

AIセキュリティ運営のスタートアップMate Securityは、3,500万ドルのAラウンド資金調達を完了したと発表しました。Canaan Partnersが主導し、Insight Partners、Team8、そしてマイクロソフト傘下のベンチャーファンドM12が参加しました。総資金調達額は5,000万ドルを超えています。この会社が秘密モードから表に出てから1年も経っていません。Mate SecurityはWizとマイクロソフトの元社員によって設立され、コア製品は「セキュリティコンテキストグラフ（Security Context Graph）」です。これは、組織の知識層を構築することでAIセキュリティエージェントにビジネスの背景を与え、警告を処理する際に企業の実際の運営状況を考慮して判断を下すことができるようにし、誤報率を効果的に低下させます。

彭博社の報道によると、イスラエルの人工知能とサイバーセキュリティ会社Dreamが2.6億ドルの資金調達を完了し、投資後の評価額は約30億ドルで、2025年2月の約10億ドルの評価額からほぼ3倍に近づいています。このラウンドはBicycle CapitalとGroup 11が主導し、Bain Capital Ventures、Antler、Tru Arrow Partnersなどが参加しました。DreamはNSO Groupの前CEO Shalev Hulioと前オーストリア首相Sebastian Kurzによって2023年に設立され、当初は国家レベルのAIネットワーク防御に焦点を当てていましたが、現在は政府や国営企業向けの主権AIプラットフォームおよびAIセキュリティ製品Heroを展開しており、累計で約3億ドルの売上を達成し、欧米、中東、アジア、アメリカ大陸での展開を加速させています。