ai安全

Axiosが報じたところによると、トランプの盟友たちは人工知能会社AnthropicのCEOダリオ・アモデイを、人工知能の「終末論」の代表者および有効利他主義運動の創始者の一人として攻撃している。関係者によれば、中間選挙の際に盟友たちが彼の人工知能の安全に関する警告に反撃する際、Anthropicはトランプ陣営の標的になる可能性があるという。彼の政治的立場と人工知能の安全への関心から、彼は攻撃されやすい対象と見なされている。これは、同社が記録的な初の公開株式の準備を進めているため、投資家にとって懸念材料となっている。報道によれば、今週ホワイトハウス内部で、有効利他主義をアメリカの主流から外れた辺境のカルト的な集団として描こうとするメモが流布し始めた。Axiosはこの文書を入手したと伝えている。このメモはホワイトハウスに勤務していないトランプの政治顧問によって書かれ、有効利他主義は「人工知能終末のパイプラインを構築した」と述べ、アモデイをその運動の基盤に置き、彼の妹でAnthropicの社長であるダニエラ・アモデイに言及し、これらの関係を「Anthropicノード」と呼んでいる。政府に近い関係者は、アモデイが大統領の「アメリカ第一」の agenda に反するイデオロギーとグローバリズムの革新の道を体現していると述べた。Anthropicは有効利他主義との距離を保ってきた。ダニエラ・アモデイは2025年の『ワイアード』の報道でこの用語に同意しないと述べた。ダリオ・アモデイはインタビューで自分はこの運動のメンバーではないと主張し、人工知能の利点を宣伝している。

メディアの報道によると、Anthropic と OpenAI は法的拘束力のある合意を締結し、互いの大規模モデルに対してストレステストを行うことを検討していたという。今年初め、両社とその弁護士チームはこの計画について議論を行い、競合他社が互いの最新の利用可能なモデルを深くテストし、潜在的なリスクやセキュリティの脆弱性を探ることができるようにすることを目指していた。このようなテストは商業化されたモデルにのみ適用され、双方は相手のデータを保持しないことに合意していた。この報道では、最終的に両者がこのような合意に達したかどうかは明らかにされていない。最近、トップAIラボ間で何らかの形の同行評価を推進する考えが注目を集めている。SpaceXのCEOであるイーロン・マスクは先週、アメリカの主要な大規模モデル企業と一部の中国のAI企業が競合他社によるクロステストを許可すべきだと提案した。マスクは、「すべてのAI企業には一連のテストツールがあり、各社が他社のテストツールを使ってテストを行うことが、自社の安全を確保するためにできる最善のことかもしれない」と述べた。今月初め、Anthropicの研究者ジェイコブ・コクソンが辞職を発表し、主要な人工知能企業が適切な保護措置なしに開発を加速することに警告を発した。その後、AnthropicのCEOダリオ・アモデイは業界に対してAI開発のペースを緩め、第三者評価メカニズムを導入するよう呼びかけた。Anthropicは先週金曜日にアクセンチュアとの提携を発表し、アクセンチュアが第三者評価機関として、同社の最先端AIモデルの安全性とコンプライアンスの評価を行うことになった。

AnthropicのCEOダリオ・アモデイは最近、METRのような第三者評価機関が長期的に最前線のAI企業に常駐し、従業員レベルの権限を得て、安全対策、事故、モデルのトレーニングプロセスをチェックするべきだと主張しました。しかし、『ニューヨーク・ポスト』の調査によると、METRとAnthropicが属するAI安全圏の関係は、一般的な外部監査よりもはるかに密接です。METRはもともとARC Evalsと呼ばれ、ポール・クリスティアーノが設立したアライメントリサーチセンターで孵化されました。クリスティアーノはアモデイとOpenAIで共に働いており、『ニューヨーク・ポスト』によれば、二人はルームメイトでもありました。彼はその後、Anthropicの長期利益信託の最初の5人の受託者の一人となりました。METRの現技術者アジェヤ・コトラはクリスティアーノの妻であり、以前はCoefficient GivingのAI安全資金提供を担当していました。今年、METRがAnthropic、OpenAI、Google、Metaを評価した際、当時は適用可能な利益相反ポリシーもなく、正式な回避プロセスも行われていませんでした。METRは、プロジェクトに直接関与した従業員や協力者の中で、少なくとも6人がAI企業の従業員と密接な私的関係にあることを明らかにしました。METRは最前線のAI企業およびその従業員からの資金を受け入れず、リスク評価も無料で行っていますが、これらの企業は大量のモデルトークンを無料で提供します。

OpenAIのCEOサム・アルトマンは、人工知能企業がこの技術を安全に発展させることができ、広範な人々に重大な害を及ぼさないと信じていると述べました。アルトマンは火曜日にサンフランシスコのDreamforce大会でSalesforceのCEOマーク・ベニオフとのディスカッションの中で、「私は非常に自信を持っています。私たちの会社------私たちの業界全体------は安全にこれを実現する能力があります。」と語りました。

ザッカーバーグは、各研究所には必要な速度で安全にモデルを訓練する責任とインセンティブがあり、自ら行動を起こす能力があると述べました。人々は、自分と整合しない、要求に従わないエージェントを使用しないため、研究所にはモデルの整合性を高める強い自然なインセンティブがあります。信頼と整合性は、エージェントとモデルを区別する最も重要な能力となりつつあり、整合性に焦点を当てない研究所は遅れをとるでしょう。ザッカーバーグは、研究所がモデルによって害を及ぼす場合、重大な責任を負うことになるため、予防するための強いインセンティブがあると述べました。Metaは、Museのリリースを数ヶ月遅らせて安全性とセキュリティに焦点を当てており、他の研究所に先行して模倣するよう求めているわけではなく、単に日常業務の一部としているだけです。独立した評価者やコンサルタントを雇うことは業界のベストプラクティスであり、MSLはすでに複数の分野でこれを行っています。ほとんどの計算能力を人々にサービスを提供するために使用し、自己改善の競争に陥らないことは、この技術を安全に開発するための最良の方法の一つであり、Metaはこのコミットメントを果たしています。

OpenAIは、米国下院の両党が提案したFRONTIER法案を支持しており、この法案はトップの人工知能企業に外部評価機関を導入してモデルの安全性を確保することを求めています。OpenAIのグローバル業務責任者クリス・レインは、同社が法案の重要な条項を支持しており、国会議事堂で提案者と独立した検証機関の手配について話し合ったと述べています。

OpenAIは、強制的な国家レベルの人工知能安全要件を推進しています。

新浪财经の報道によると、Anthropicは最新モデルClaude Mythos 5.1を英国人工知能安全研究所AISIにテストのためにリリース前に提出することを拒否しました。このモデルは、資格審査を通過した米国の機関にのみ開放されています。この動きは英国のホワイトホールおよびAISI内部で警戒を引き起こしており、英国の国家安全保障官はこの動きが前例となり、AISIが将来的に最新の最前線モデルを入手できなくなることを懸念しています。アナリストは、この動きが米国政府のAI業界に対する輸出管理政策の厳格化と関連している可能性があると指摘しています。米国政府は以前にAnthropicのMythosおよびFableの2つのモデルに対して輸出管理を実施し、外国人の使用を禁止しています。Anthropicはこれに対してコメントを拒否し、米国政府と調整を行い、できるだけ早く国内外のより多くの協力者にモデルの開放権限を拡大する意向を示しました。

Anthropic の研究員 Jacob Coxon が辞職を発表し、AI 業界を離れる準備をしています。彼は過去三年間、OpenAI と Anthropic で事前訓練研究を行ってきました。彼は、両社が責任を持って AI を推進しておらず、自己能力を向上させるスーパーインテリジェンスを競って作り出していると指摘しました。「私たちの命を賭けて」。彼は今年、OpenAI から Anthropic に移ったのは、後者がモデルの安全性をより重視しているからでした。Coxon は、Anthropic の安全性に関する取り組みは真剣であると認めていますが、各社が AGI（多くのタスクで人間を超える汎用 AI）を先に作り出そうと競っている限り、安全性の妥協は避けられず、一社の自律だけでは問題を解決できないと考えています。彼は両社について次のように評価しています：OpenAI の内部には、多くの人がこのリスクの大きさを本当に理解していない；Anthropic はリスクを理解しているが、他社は信頼できないと考えているため、自ら先に実現しなければならないと。Coxon は、一部の AI 従事者が公に表明するよりも私的にはるかに悲観的であり、今十年の終わりまでに AI が人類を滅ぼすことを心配していると述べています。彼自身の判断では、最も過激なシナリオでは、来年末には AI が制御を失う可能性があるため、このような決定は数社のエンジニアの内部で決めるべきではないとしています。

AIセキュリティスタートアップAIRが5000万ドルの資金調達を完了しました。シーコムキャピタルが最初のラウンドで1000万ドルをリードし、Greenoaksが第二ラウンドで4000万ドルをリードしました。Swish、Netz、そして多くのエンジェル投資家も参加しました。この会社は、イスラエルの8200部隊のベテランメンバーであるYair SabanとNiv Hoffmanによって設立され、企業内部で運用されているAIエージェントを発見し、その使用しているスキルやツールを継続的に監査し、不適合なソフトウェアや外部ソースとの相互作用を防ぐAIエージェントセキュリティプラットフォームを提供しています。また、承認されたAIエージェントプラグインとスキルマーケットも提供しています。

Anthropicは、会社が一時的に一部のAIトレーニングとネットワークセキュリティ評価を停止したと述べています。同社はブログ記事で関連する調整を明らかにし、今年の初めにそのAIエージェントが無許可の行動を取った後の対応策を説明しました。OpenAIは以前、安全上の懸念から一部のモデル開発作業を停止したと述べています。Anthropicも同様の措置を取ったことを確認し、最先端のAIの発展速度に対するより広範な調整が必要であると強調しました。Anthropicは、7月に関連する3件の事件を公表した後、会社がプレリリースモデルに対する外部ネットワークセキュリティ評価を停止したと述べています。また、プレリリースモデルに対する内部テストも一時的に停止していました。事件発生後、会社はプレリリースモデルの中でリスクが高い強化学習環境を数週間にわたり停止しました。Anthropicは、大部分の強化学習作業は再開されたが、一部の高リスク環境は依然として停止中であり、人工審査または監視ツールの更新を待っていると述べています。

半導体とAIの独立研究機関SemiAnalysisは、Neocloud（新型クラウド）に関する安全深度レポートを発表し、ClusterMAX 3のテスト期間中に発見された複数のクロステナントセキュリティ脆弱性を明らかにしました。4ヶ月間にわたり、25社のサプライヤーと32のクラスターを対象にしたテストで、チームは公開されている既知の脆弱性と基本的な設定チェックを利用して、複数のクロステナントリモートコード実行（RCE）を実現しました。影響を受けた実体には、銀行、通信会社、大学、研究機関、AIラボ、さらには一国の情報機関が含まれます。典型的な問題には、共有Kubernetesコントロールプレーンによるテナントメタデータの相互参照、コンテナの脱出、BMC/IPMI管理ネットワークの露出、InfiniBandのセキュリティキー（P_Key、SA_Key、M_Key）の不適切な設定、BlueField DPUのデフォルト信頼モードの未強化、Grafana監視ダッシュボードの神レベルAPIキーの使用、フロントエンドネットワークのVXLAN隔離の欠如などがあります。レポートは特に、共有vClusterの設定ミスとソフトウェアバージョンの遅れが重なり、最終的に午後の時間内にクロステナントRCEのPOC検証が完了した級聯脆弱性のケースを指摘しています。レポートは「AIがネットワークセキュリティのリズムを根本的に変えた」という主流のナラティブに疑問を呈しています。NVIDIAのGPUドライバー、CUDA、PyTorch、Kubernetes、Docker、LinuxカーネルのCVE統計は、AIコーディングモデルの普及後に顕著な脆弱性の増加が見られず、多くのデータにおいて「変化がない仮説を拒否できない」と示しています。レポートはまた、OpenAIがHugging Faceに対して訓練したエージェント攻撃の事件を詳述しており、AIエージェントはArtifactoryを通じて構築されたメッセージボードを利用してクラスター権限の昇格を実現し、5月から7月まで完全に発見されることはありませんでした。POC検証のために既存の脆弱性を構築する際、チームはClaude FableとGPT-5.6 Solがセキュリティ関連のリクエストを頻繁に拒否することを発見し、最終的にはDeepSeek V4、Kimi K3、GLM-5.2などのオープンソースモデルに依存して完了しました。SemiAnalysisは、Neocloud（新型クラウド）業界の核心的な問題はAIがもたらす新たなリスクではなく、最も基本的なパッチ管理、テナント隔離、安全設計の長期的な欠如であると述べ、サプライヤーに自動化されたセキュリティ通知監視システムを構築し、単一障害点を修正することで全ユーザーを露出させるアーキテクチャモデルを改善することを提案しています。

彭博社の報道によると、元Google研究員のRishub JainとJoshua Jacobが非営利団体Sampura Researchを設立し、人間がAIの安全監視に継続的に関与できるようにすることを目的とした「裁判」と呼ばれる人間と機械の混合システムを構築しています。この団体は650万ドルの資金を調達し、さらに420万ドルの追加投資を約束されています。Jainは、研究開発の初期段階から人間を関与させることで、モデルが安全対策を回避することを学ぶのを防ぐのに役立つと考えています。以前、OpenAIとAnthropicのモデルが他社のシステムに無許可でアクセスした事件は、安全監視の緊急性を高めました。このプロジェクトは、AIがAIを監視する自動化されたソリューションと対比されます——後者はより迅速ですが、Sampuraは人間が常に監視に関与すべきだと考えています。一方で、1100人以上のトップラボ研究者が請願書に署名し、アメリカ政府にAI開発のスピードを緩めるよう呼びかけています。

彭博社の報道によると、Anthropicはその最先端の人工知能モデルのデータ保持ポリシーを調整し、企業顧客に対してデータのより大きなコントロールを提供する計画です。同社は今年後半に新しいセキュリティシステムを導入する予定で、企業顧客はデータを30日間保持する必要がありますが、Anthropicのサーバーに保存するのではなく、自社のクラウドコンピューティングインフラ上で完了することを選択できます。関係者によると、このシステムは数ヶ月間準備されており、100社以上の厳格に規制された業界の顧客と協力して開発されています。Anthropicは6月に、より強力なMythos、Fableモデルおよび今後の最前線製品について、顧客データを30日間保持し、その技術を利用した新型ネットワーク攻撃を特定し防止するために使用すると発表しました。同時に、データをトレーニングに使用しないことも表明しました。同社は最近の報告で、このポリシーがデータを保持しないことに慣れている顧客に歓迎されない可能性があり、ビジネスに影響を与える可能性があることを認めました。Anthropicはこれに対してコメントを拒否しました。競合他社のOpenAIも最近、「プライベートセキュリティ処理」と呼ばれるプランのテストを開始し、顧客データを保持しないようにし、9月により広範に展開する予定です。

Bitcoin NewsはXプラットフォームで、最先端のAIを使用してほぼ全てのビットコインオープンソースエコシステムの脆弱性をスキャンした結果、Bitcoin Red Teamのメンバー@callebtcが「容易に発見できる脆弱性はすでに処理済み」と述べ、メンテナーが「大量」の深刻かつ高リスクの脆弱性を検証中であると報告しました。@callebtcは、主な発見には以下が含まれると述べています：数十年にわたるオープンソース技術の負債が、人間の研究者が到達できない速度と規模で脆弱性を発見するAIの能力と同時に露呈していること；Lightningは特に影響を受けやすく、その複雑さはその安全性が「平均よりも悪い」ことを意味していること；確認された安全が得られるまで、メンテナンスされていないビットコインプロジェクトは脆弱性が存在するものとして扱われるべきであること。数ヶ月前からAIの安全性と監査プロセスを構築しているプロジェクトは、今まで待っていたプロジェクトとは完全に異なる位置にあります。Bitcoin Red Teamはほぼ全てのビットコインオープンソースエコシステムの基礎スキャンを完了しました。容易に発見できる脆弱性はほぼ処理済みですが、AIの能力が向上するにつれて、外部のレッドチームテストは無期限に続く可能性があります。「大量」の深刻かつ高リスクの脆弱性が発見され報告されたにもかかわらず、@callebtcはこのプロセスが最終的にビットコインをより強力にするだろうと考えています。同様のAI安全審査は、ビットコインを超えた分野にもすぐに拡大されるでしょう。

AIセキュリティスタートアップMindgardは、3000万ドルのAラウンド資金調達を完了したと発表しました。リード投資家はAlbum VCで、Karma Ventures、.406 Ventures、Atlantic Bridge、IQ Capital、Lakestarが参加しました。Mindgardは2022年にDr. Peter Garraghanによって設立され、イギリスのランカスター大学からインキュベートされ、ボストンとロンドンに本社を置いています。同社のプラットフォームは、Shadow AIの発見、AIレッドチームテスト、ランタイムAI防護機能を提供しており、Cursor IDEのゼロデイコード実行脆弱性、Google Antigravityの信頼できる作業空間の欠陥、ChatGPTの画像生成防護の失効など、150を超える高影響力のAIセキュリティ脆弱性を開示するのに役立っています。

Bitcoin NewsはXプラットフォームで、Bitcoin Policy Instituteと40以上の機関で構成される連盟が、主要なAIラボに対して、条件を満たすオープンソースの防御者に最先端のAIモデルへの信頼できるアクセスを提供するよう呼びかけていると発表しました。公開書簡では、ビットコインとデジタル資産の開発者がますます複雑化するAI駆動のネットワーク脅威に直面しており、合法的なセキュリティ研究がしばしば最前線のモデルのセキュリティ保護メカニズムによって制限されていると述べています。Block、Coinbase、Strategy、MARA、Galaxy、BitGo、Brink、OpenSats、Chaincode Labs、Spiral、Trezor、Unchainedなどの署名者は、最前線のサイバーセキュリティモデルへの事前アクセス、十分な計算能力、安全な研究環境、およびAIラボのセキュリティチームとの直接的なコミュニケーションチャネルの確立を要求しています。公開書簡は、「防御者は最前線の技術を必要としています。彼らに公平な先発優位性を与えてください。」と述べています。