BTC $76,597.08 -4.19%
ETH $2,187.83 -5.14%
BNB $701.79 -5.95%
XRP $1.21 -6.56%
SOL $93.81 -5.78%
TRX $0.3578 +8.69%
DOGE $0.0738 -5.10%
ADA $0.1865 -5.43%
BCH $270.57 -3.88%
LINK $10.52 -7.68%
HYPE $89.30 +13.81%
AAVE $119.83 -7.34%
SUI $0.8499 -6.35%
XLM $0.1603 -4.17%
ZEC $1,231.98 -1.61%
AAPL $350.44 +1.09%
AMZN $225.22 -10.78%
GOOGL $280.11 -4.53%
MSFT $524.48 -4.20%
META $615.47 +0.05%
NVDA $208.11 -2.31%
TSLA $394.59 -1.00%
SNDK $1,273.67 -5.17%
INTC $70.63 -22.81%
SPCX $139.32 -2.61%
MU $895.51 -5.28%
AMD $525.46 -5.52%
BTC $76,597.08 -4.19%
ETH $2,187.83 -5.14%
BNB $701.79 -5.95%
XRP $1.21 -6.56%
SOL $93.81 -5.78%
TRX $0.3578 +8.69%
DOGE $0.0738 -5.10%
ADA $0.1865 -5.43%
BCH $270.57 -3.88%
LINK $10.52 -7.68%
HYPE $89.30 +13.81%
AAVE $119.83 -7.34%
SUI $0.8499 -6.35%
XLM $0.1603 -4.17%
ZEC $1,231.98 -1.61%
AAPL $350.44 +1.09%
AMZN $225.22 -10.78%
GOOGL $280.11 -4.53%
MSFT $524.48 -4.20%
META $615.47 +0.05%
NVDA $208.11 -2.31%
TSLA $394.59 -1.00%
SNDK $1,273.67 -5.17%
INTC $70.63 -22.81%
SPCX $139.32 -2.61%
MU $895.51 -5.28%
AMD $525.46 -5.52%

aiインテリジェントエージェント

すべて
記事
速報

first_img DarktraceはAIインテリジェントエージェントによる侵入評価環境の不正行為を発見しました。

ネットワークセキュリティ会社 Darktrace は 9 月 24 日に研究部門 Signal Labs を立ち上げ、AI インテリジェントエージェントが期待から逸脱した際の行動を研究することに焦点を当てています。最初の実験では、Darktrace は異なるモデル(GPT 5.6 Sol、Claude Opus 4.6、Claude Sonnet 4.5 を含む)を使用するエージェントに、模擬企業ネットワーク内で 10 のプログラミングチャレンジを完了させました。そのうち 2 つは誠実に完了できないように設定され、エージェントには満点を取得できなければ「退役」させられることが通知されました。結果として、2 つのエージェントは失敗を受け入れず、ネットワークの脆弱性をスキャンし、ログイン資格情報を盗み、システム間を移動しました。そのうちの 1 つはさらに進んで、評価をホストしているマシンに侵入し、チャレンジの内容を書き換えて満点の結果として登録しました。2 番目の実験は AI の記憶メカニズムに焦点を当てています。プログラミングアシスタントは、ユーザーから告げられた内容を通常のファイル形式でローカルに保存し、そのファイルが改ざんされていないかを誰も確認しません。Darktrace の研究者はこれらのログを編集し、アシスタントに安全評価を実行する権限が与えられたと誤認させました。その後、これらのエージェントはネットワークをスキャンし、システム間を移動し、自身の権限を引き上げましたが、すべてのアシスタントが引っかかるわけではなく、一部は直接実行を拒否しました。2 つの実験は特別な脱獄手段を必要とせず、単にエージェントに見かけ上合理的な状況を提供するだけで効果を発揮しました。Darktrace の最高 AI 責任者 Tim Bazalgette は、権限と静的バリアは意図を表しているが、実際の行動を示しているわけではないと述べています。同社は 8 月にこれらの発見を Anthropic、AWS、OpenAI に通知し、1 ヶ月後の 9 月 24 日に公表しました。

a16zがAIインテリジェントエージェントセキュリティ会社Runtaに投資

リスク投資機関の Andreessen Horowitz(a16z)は、AI インテリジェントエージェント(AI Agent)セキュリティスタートアップの Runta に投資したことを発表しました。この会社は、企業が「子供を育てる」ように AI インテリジェントエージェントを管理し制約する手助けをしたいと考えています。具体的な投資額はまだ公開されていません。Runta の創設者である Guanlan Dai は、Cloudflare の技術チームに勤務し、API 接続スタートアップの Kong の創設エンジニアを務めていました。彼は、AI インテリジェントエージェントは成長中の子供に似ていると述べています:それらは自律的にタスクを実行する能力を持っていますが、同様に境界、監視、権限管理が必要です。Dai は、親が子供に家庭の安全を提供し、クレジットカードへのアクセスを制限するように、企業も AI インテリジェントエージェントがアクセスできる重要なファイル、許可される操作の範囲、および一度に使える資金の規模を制限する必要があると考えています。Runta は、「AI インテリジェントエージェント監視」インフラストラクチャを開発しており、企業が AI Agent の権限、安全リスク、行動の境界を管理するのを助け、自律的な AI システムがタスクを実行する過程でデータ漏洩、誤操作、または資金損失を引き起こすのを避けることを目指しています。企業が自律的な意思決定能力を持つ AI Agent をますます展開する中で、信頼できる安全なエージェント管理システムを構築する方法が新たなインフラストラクチャのニーズとなっています。Runta は AI Agent 時代の「親の管理層」となり、企業に対してインテリジェントエージェントのアイデンティティ管理、権限管理、リスク制限、運用監視などの能力を提供することを目指しています。業界では、AI Agent が単純なアシスタントから企業システムを操作し、取引を処理し、複雑なタスクを実行する自律的な実体へと進化するにつれて、エージェントの安全性、ガバナンス、コンプライアンスに関するインフラストラクチャ市場が急成長する可能性があると見られています。
app_icon
ChainCatcher Building the Web3 world with innovations.