구글 DeepMind가 XYEval을 발표하여 지능형 에이전트가 잘못된 제안에 순응하는지 평가합니다
구글 DeepMind 연구원 Zhengxuan Wu, Yuxuan Li, Oyvind Tafjord, Been Kim이 사전 인쇄 논문 《XYEval: Agents say yes to bad advice》를 발표하며, 사용자 오도성 제안에 직면했을 때 에이전트를 평가하기 위한 메타 평가 프레임워크 XYEval을 제안했습니다. 이 논문은 "XY 문제"를 에이전트 시나리오로 확장하여, 사용자가 질문하는 것은 자신이 시도한 해결책 X이며, 진짜 문제 Y가 아님을 설명합니다.XYEval은 원래 작업 환경과 검증 가능한 답변을 유지하며, 지시문에 겉보기에는 합리적이지만 오도적인 사용자 제안을 추가합니다. 오도 제안은 생성기가 전체 작업을 본 후 생성하며, 강제 요구가 아닌 자신감 있는 제안의 형태로 첨부되어 원래 작업이 여전히 해결 가능하도록 합니다. 평가는 τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam 및 MCP-Atlas의 여섯 가지 기준과 다섯 가지 모델을 포함하며, 그 중 τ2-bench의 오도 제안은 인공 전문가가 설정한 규칙에 의해 생성됩니다.논문에 따르면, 작업이 XY 변이를 거친 후 성능이 크게 감소하며, 상대적 감소폭은 최대 46.7%에 달합니다. τ2-bench에서, 더 나은 솔루션을 수용하기 전에 자세한 설명을 요구하는 사용자에 직면했을 때 성능이 더 많이 감소합니다. 모델이 XY 문제를 인식하도록 유도하는 간단한 시스템 지시는 부분적으로만 완화할 수 있습니다. 관련 코드는 GitHub 저장소 google-deepmind/xyeval에 게시되었습니다.
