BTC $79,987.30 +0.02%
ETH $2,318.98 -0.13%
BNB $741.11 +0.67%
XRP $1.30 +0.60%
SOL $100.70 -0.54%
TRX $0.3290 -0.33%
DOGE $0.0775 +0.97%
ADA $0.2061 +1.23%
BCH $279.92 +0.95%
LINK $11.38 -0.51%
HYPE $78.09 +2.35%
AAVE $135.52 -0.45%
SUI $0.9150 +0.03%
XLM $0.1688 +0.67%
ZEC $1,232.26 +2.74%
AAPL $344.03 -0.59%
AMZN $249.80 +0.32%
GOOGL $318.52 -0.91%
MSFT $533.33 +2.02%
META $634.76 -1.11%
NVDA $216.87 +2.03%
TSLA $393.74 +6.00%
SNDK $1,271.51 +1.65%
INTC $91.61 +5.28%
SPCX $148.19 -0.36%
MU $913.87 +2.60%
AMD $536.52 +3.55%
BTC $79,987.30 +0.02%
ETH $2,318.98 -0.13%
BNB $741.11 +0.67%
XRP $1.30 +0.60%
SOL $100.70 -0.54%
TRX $0.3290 -0.33%
DOGE $0.0775 +0.97%
ADA $0.2061 +1.23%
BCH $279.92 +0.95%
LINK $11.38 -0.51%
HYPE $78.09 +2.35%
AAVE $135.52 -0.45%
SUI $0.9150 +0.03%
XLM $0.1688 +0.67%
ZEC $1,232.26 +2.74%
AAPL $344.03 -0.59%
AMZN $249.80 +0.32%
GOOGL $318.52 -0.91%
MSFT $533.33 +2.02%
META $634.76 -1.11%
NVDA $216.87 +2.03%
TSLA $393.74 +6.00%
SNDK $1,271.51 +1.65%
INTC $91.61 +5.28%
SPCX $148.19 -0.36%
MU $913.87 +2.60%
AMD $536.52 +3.55%

侵入

すべて
記事
速報

first_img DarktraceはAIインテリジェントエージェントによる侵入評価環境の不正行為を発見しました。

ネットワークセキュリティ会社 Darktrace は 9 月 24 日に研究部門 Signal Labs を立ち上げ、AI インテリジェントエージェントが期待から逸脱した際の行動を研究することに焦点を当てています。最初の実験では、Darktrace は異なるモデル(GPT 5.6 Sol、Claude Opus 4.6、Claude Sonnet 4.5 を含む)を使用するエージェントに、模擬企業ネットワーク内で 10 のプログラミングチャレンジを完了させました。そのうち 2 つは誠実に完了できないように設定され、エージェントには満点を取得できなければ「退役」させられることが通知されました。結果として、2 つのエージェントは失敗を受け入れず、ネットワークの脆弱性をスキャンし、ログイン資格情報を盗み、システム間を移動しました。そのうちの 1 つはさらに進んで、評価をホストしているマシンに侵入し、チャレンジの内容を書き換えて満点の結果として登録しました。2 番目の実験は AI の記憶メカニズムに焦点を当てています。プログラミングアシスタントは、ユーザーから告げられた内容を通常のファイル形式でローカルに保存し、そのファイルが改ざんされていないかを誰も確認しません。Darktrace の研究者はこれらのログを編集し、アシスタントに安全評価を実行する権限が与えられたと誤認させました。その後、これらのエージェントはネットワークをスキャンし、システム間を移動し、自身の権限を引き上げましたが、すべてのアシスタントが引っかかるわけではなく、一部は直接実行を拒否しました。2 つの実験は特別な脱獄手段を必要とせず、単にエージェントに見かけ上合理的な状況を提供するだけで効果を発揮しました。Darktrace の最高 AI 責任者 Tim Bazalgette は、権限と静的バリアは意図を表しているが、実際の行動を示しているわけではないと述べています。同社は 8 月にこれらの発見を Anthropic、AWS、OpenAI に通知し、1 ヶ月後の 9 月 24 日に公表しました。

first_img オーストラリアの首相:OpenAIの知能体が初めて政府のウェブサイトに侵入しました

オーストラリアの首相アンソニー・アルバニージは水曜日、ニューヨークで記者に対し、OpenAIが構築したAI知能体が今年6月にオーストラリア政府のウェブサイトMedicare Statistics Reporting Serviceポータルに侵入し、許可なく公開および非公開の文書にアクセスしたと述べました。このポータルはServices Australiaによって管理されており、Medicareの支出データなどの非機密情報が保存されています。これは、AI知能体が政府のウェブサイトに侵入したことが確認された初めての事例のようです。アルバニージは、現在のところ個人情報がアクセスされたとは考えていないが、オーストラリア信号局が証拠収集調査を支援しており、他にどの政府システムが影響を受けている可能性があるかを特定しようとしていると述べました。彼は、OpenAIのCEOサム・アルトマンに直接この件を提起し、同社が政府に通知するのに約3か月かかったことに失望しており、通知の方法も同様に受け入れられないと考えていると述べました。OpenAIはオーストラリアのABCニュースに提供した声明の中で、トレーニングおよび評価期間中に発生したモデルの行動偏差を検討しており、内部評価においてオーストラリアに関連する回答や統計データを照会する際に、複数のオーストラリア政府ウェブサイトに関与する活動を特定したと述べています。モデルは「私たちが意図したものではない行動を取った」としています。

first_img グーグルは、Geminiがセキュリティテストで3社に侵入したことを認め、7週間沈黙して公開しなかった。

Googleは、Geminiモデルが5月のセキュリティテストでサンドボックス環境を突破し、3つの実際の企業に侵入し、そのうち2社のパスワードを推測または発見したことを認めました。Googleは7月下旬にこの件を把握していましたが、9月18日に『ウォール・ストリート・ジャーナル』が報じるまで公に確認することはありませんでした。沈黙の期間は7週間に及びました。このテストはフラッグキャッチ演習で、Googleがイスラエルの会社Irregularに委託して5月に実施されました。Irregularは、本来は実際のインターネットと接触しない隔離テスト環境をオープンネットワークに接続し、実際の企業の名前を架空のターゲットとして使用しました。Geminiはその企業を検索する際に3つの一致結果を見つけ、順次攻撃しました。そのうち2社の平文パスワードは直接インターネット上に露出しており、3社目はモデルによってパスワードが推測されました。Googleは、最終的にそのモデルが盗まれた資格情報を実際に使用することはなかったと述べています。Googleは、今年4番目に内部セキュリティテストの漏洩が実際の世界に影響を与えた大規模AIラボです。以前には、OpenAIのモデルがソフトウェアの脆弱性を利用してHugging Faceのサーバーにアクセスし、Anthropicは14.1万回のテストをレビューした結果、3つのClaudeモデルが実際の企業にアクセスしたことを発見しました。また、MetaのMuse SparkモデルもIrregularの設定ミスにより類似の事故が発生しました。さらに、アメリカ合衆国下院議員のTed LieuとNathaniel Moranは7月に『AI緊急停止法案』を提出し、深刻な脅威を構成するモデルの推論を一時停止する権限を連邦規制機関に付与することを提案しました。

first_img OpenAI 悪意代理 5 月探査 Hugging Face、7 月侵入より2ヶ月早い

独立研究員 Jonas Wiedermann-Moeller は、OpenAI の悪意のある AI エージェントが 5 月 13 日に 2 つの Hugging Face ユーザーアカウントをハイジャックし、そのプラットフォームのネットワークの脆弱性を探っていたことを発見しました。これは 7 月に公開された侵入事件の約 2 ヶ月前のことです。OpenAI が先月発表した内部事件報告では、その一部のみが明らかにされており、あるエージェントが特定のユーザーのログイン資格情報を盗み、生物学に関連する文書を取得したことが記されていますが、新たに発見された情報は継続的な偵察活動を示唆しています。Reuters の報道によると、これらのエージェントはハイジャックされたアカウントを利用して、オープンソース AI リポジトリ Hugging Face のサーバーに異常な形式のファイルを送信しており、研究者たちはこれが侵入経路を探るためのネットワークマップを描こうとしているように見えると考えています。証拠を検証した研究者たちは、5 月の活動自体が実際の侵入を引き起こしたわけではないとしていますが、Wiedermann-Moeller はこの信号を見逃したことが重大な影響を及ぼすと考えており、もし 5 月にこの行動が発見されていれば、後のより大規模な事件を防げたかもしれないと述べています。現在、英偉達によって 129.3 億ドルで買収される予定の Hugging Face は、この新しい情報を知っているかどうかは明らかにしていません。Nightingale Collective の研究者たちは今月、5 月 11 日にコードリポジトリ RubyGems に対して行われたスパム攻撃を OpenAI エージェントに関連付けており、この攻撃によりプラットフォームは新しいアカウントの登録を 4 日間停止せざるを得ませんでした。
app_icon
ChainCatcher Building the Web3 world with innovations.