BTC $64,525.30 -1.38%
ETH $1,805.03 -1.22%
BNB $589.94 -1.19%
XRP $0.9480 -1.48%
SOL $71.09 -1.00%
TRX $0.3025 -1.77%
DOGE $0.0584 -0.81%
ADA $0.1523 -1.12%
BCH $206.03 -1.21%
LINK $9.11 -1.39%
HYPE $67.11 -1.33%
AAVE $109.20 +2.28%
SUI $0.7211 -1.03%
XLM $0.1372 -1.25%
ZEC $890.88 -2.01%
AAPL $358.83 +0.57%
AMZN $265.38 +0.63%
GOOGL $294.86 +0.80%
MSFT $528.71 +1.51%
META $638.73 +0.17%
NVDA $159.49 -0.90%
TSLA $386.34 -0.27%
SNDK $832.92 -2.38%
INTC $56.72 -2.02%
SPCX $139.74 +1.46%
MU $738.83 -2.48%
AMD $508.86 -2.50%
BTC $64,525.30 -1.38%
ETH $1,805.03 -1.22%
BNB $589.94 -1.19%
XRP $0.9480 -1.48%
SOL $71.09 -1.00%
TRX $0.3025 -1.77%
DOGE $0.0584 -0.81%
ADA $0.1523 -1.12%
BCH $206.03 -1.21%
LINK $9.11 -1.39%
HYPE $67.11 -1.33%
AAVE $109.20 +2.28%
SUI $0.7211 -1.03%
XLM $0.1372 -1.25%
ZEC $890.88 -2.01%
AAPL $358.83 +0.57%
AMZN $265.38 +0.63%
GOOGL $294.86 +0.80%
MSFT $528.71 +1.51%
META $638.73 +0.17%
NVDA $159.49 -0.90%
TSLA $386.34 -0.27%
SNDK $832.92 -2.38%
INTC $56.72 -2.02%
SPCX $139.74 +1.46%
MU $738.83 -2.48%
AMD $508.86 -2.50%

pmi

すべて
記事
速報

first_img グーグル DeepMind が XYEval を発表し、知能エージェントが誤解を招く提案に従うかどうかを評価します。

Google DeepMind の研究者 Zhengxuan Wu、Yuxuan Li、Oyvind Tafjord、Been Kim は、プレプリント論文「XYEval: Agents say yes to bad advice」を発表し、ユーザーの誤解を招く提案に対するエージェントのパフォーマンスを評価するためのメタ評価フレームワーク XYEval を提案しました。この論文では、「XY 問題」をエージェントのシナリオに拡張し、ユーザーが尋ねるのは自分が試した解法 X であり、実際の問題 Y ではないことを示しています。XYEval は、元のタスク環境と検証可能な回答を保持し、指示に見かけ上合理的だが誤解を招くユーザーの提案を追加します。誤解を招く提案は、生成器が完全なタスクを見た後に生成し、自信のある提案としてではなく、強制的な要求の形式で追加されるため、元のタスクは依然として解決可能です。評価は、τ2-bench、SWE-bench Verified、SWE-bench Pro、Terminal-Bench、Humanity's Last Exam、MCP-Atlas の6つのベンチマークと5つのモデルをカバーしており、その中で τ2-bench の誤解を招く提案は、人工専門家によって策定されたルールに基づいて生成されています。論文によれば、タスクが XY 変異した後のパフォーマンスは大幅に低下し、相対的な低下幅は最大で 46.7% に達します。τ2-bench では、詳細な説明を先に求めてからより良い提案を受け入れるユーザーに対して、パフォーマンスがさらに低下します。モデルが XY 問題を認識することを促す簡単なシステム指示は、部分的にしか緩和できません。関連コードは GitHub リポジトリ google-deepmind/xyeval に公開されています。

first_img Google DeepMind 初の監査:AIは自身の研究開発を加速せず、75%のコードがAIによって作成されました

Google DeepMindはGemini 4 Argonの安全報告書で、機械学習の研究開発自動化に関する初の全体的な実証評価を発表しました。その結論は、AIは自身の研究開発を加速していないというもので、AIはこの研究所のエンジニアが提供したコードの大部分を作成しています。評価に参加した研究者のHaydn BelfieldはX上で、現在、顕著なエンドツーエンドのML R&D加速は存在せず、したがってAI駆動のML R&Dのリスクは現在低いと述べています。チームは内部指数GCI v1を構築し、123のAIモデルの92のベンチマークでのスコアを単一の数値に統合しました。最前線のGemini能力は、約毎月0.1 GCIポイントの安定した速度で向上しており、Gemini 1.5 Proは2024年末に0.5ポイントに近づき、Gemini 3.8 Flashは2026年9月にわずかに2.9ポイントを超え、Argonは約3.3ポイントでトレンドラインを上回っていますが、Belfieldはこれが計算能力と組織の投入の増加に起因していると述べており、AI駆動の加速ではないとしています。DeepMindが生成するコードの75%以上はAIによって作成されており、完全に委託されたコードのマージリクエストの割合は4月から9月の間に7.5%から11.9%に増加しましたが、約88%のリクエストは依然として複数回の手動ガイドまたは手動作成を必要としています。12人の経験豊富な研究者への調査では、自動化は明確で検証可能な実行タスクにおいて最も高く、オープンサイエンスの構想、新しい実験デザイン、診断トレーニングの不安定性などの段階では最も低いことが示されています。

関係者:DeepMindの創設者ハサビスがGoogleを離れることを検討しているが、Googleの経営陣は株価の急落を懸念して退職を一時保留している。

Citrini アナリストの Jukan は X プラットフォームで内容を転送し、業界の情報筋によると、Google DeepMind の共同創設者 Demis Hassabis は以前、もう一人の共同創設者 David Silver と同時に退職する計画があったが、Google の経営陣はこのニュースが株価の大幅な下落を引き起こす可能性があることを懸念し、退職を一時的に延期するよう希望した。情報によれば、Google が関連する調整を発表した後、実際に会社の株価は下落し、最終的に Hassabis は DeepMind の会長職に転任するよう説得され、組織の円滑な移行を助け、将来的により適切な方法で Google を離れるためのスペースを作ることになった。報道によれば、David Silver が Ineffable Intelligence を設立し、John Jumper が Anthropic に参加する中で、DeepMind のコア AI 研究開発力が変化している。情報筋は、現在 Google が AI モデルの開発を推進する中心がアメリカの湾岸地域に移っており、DeepMind の重要性が低下していると考えている。Google 内部では、重点が大規模言語モデル Gemini に移行しており、OpenAI や Anthropic に追いつくことを目指している。Hassabis の調整は、Google 内部に長年存在する戦略的矛盾を反映している:研究者は長期的な科学的突破により関心を持つ一方で、ビジネスチームは迅速に商業化し、収益と株価の成長を促進できる AI 製品により関心を持っている。市場は、Hassabis が一年以内に Google を離れる可能性があり、再び起業するかもしれないと予測している。
app_icon
ChainCatcher Building the Web3 world with innovations.