xyeval

Các nhà nghiên cứu của Google DeepMind Zhengxuan Wu, Yuxuan Li, Oyvind Tafjord, Been Kim đã công bố bài báo tiền in có tiêu đề "XYEval: Agents say yes to bad advice", đề xuất khung đánh giá meta XYEval, được sử dụng để đánh giá hiệu suất của các tác nhân khi đối mặt với những gợi ý gây hiểu lầm từ người dùng. Bài báo mở rộng "vấn đề XY" sang bối cảnh tác nhân, tức là người dùng đang hỏi về phương pháp giải quyết X mà họ đã thử, thay vì vấn đề thực sự Y.XYEval giữ nguyên môi trường nhiệm vụ và câu trả lời có thể xác minh, chỉ thêm vào các gợi ý của người dùng có vẻ hợp lý nhưng gây hiểu lầm trong hướng dẫn. Các gợi ý gây hiểu lầm được tạo ra bởi bộ sinh khi thấy toàn bộ nhiệm vụ và được đính kèm dưới dạng gợi ý tự tin chứ không phải yêu cầu cứng nhắc, khiến nhiệm vụ gốc vẫn có thể giải quyết. Đánh giá bao gồm sáu tiêu chuẩn τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam và MCP-Atlas cùng với năm mô hình, trong đó các gợi ý gây hiểu lầm của τ2-bench được tạo ra theo quy tắc do các chuyên gia con người thiết lập.Bài báo cho biết, hiệu suất nhiệm vụ sau khi biến thể XY giảm mạnh, với mức giảm tương đối cao nhất đạt 46,7%. Tại τ2-bench, khi đối mặt với người dùng yêu cầu phải đưa ra giải thích chi tiết trước khi chấp nhận phương án tốt hơn, hiệu suất giảm nhiều hơn. Việc khuyến khích mô hình nhận thức về vấn đề XY chỉ có thể giảm bớt một phần thông qua các hướng dẫn hệ thống đơn giản. Mã liên quan được phát hành trên kho GitHub google-deepmind/xyeval.