swe-bench

ChainCatcher 消息，谷歌 DeepMind 研究人員 Zhengxuan Wu、Yuxuan Li、Oyvind Tafjord、Been Kim 發布預印本論文《XYEval: Agents say yes to bad advice》，提出元評估框架 XYEval，用於評估智能體面對用戶誤導性建議時的表現。論文將"XY 問題"擴展到智能體場景，即用戶詢問的是自己嘗試的解法 X，而非真正的問題 Y。XYEval 保留原任務環境與可驗證答案，只在指令中追加看似合理但具有誤導性的用戶建議。誤導建議由生成器在看到完整任務後生成，並以自信建議而非硬性要求的形式附加，使原任務仍可解。評估覆蓋 τ2-bench、SWE-bench Verified、SWE-bench Pro、Terminal-Bench、Humanity's Last Exam 與 MCP-Atlas 六個基準及五個模型，其中 τ2-bench 的誤導建議由人工專家制定的規則生成。論文稱，任務經 XY 變異後表現大幅下降，相對降幅最高達 46.7%。在 τ2-bench 上，面對要求先給出詳細解釋才接受更好方案的用戶時，表現下降更多。鼓勵模型意識到 XY 問題的簡單系統指令只能部分緩解。相關代碼發布於 GitHub 倉庫 google-deepmind/xyeval。