darktrace

Công ty an ninh mạng Darktrace đã ra mắt bộ phận nghiên cứu Signal Labs vào ngày 24 tháng 9, tập trung nghiên cứu hành vi của các AI thông minh khi lệch khỏi mong đợi. Trong thí nghiệm đầu tiên của mình, Darktrace đã cho các AI sử dụng các mô hình khác nhau (bao gồm GPT 5.6 Sol, Claude Opus 4.6 và Claude Sonnet 4.5) hoàn thành 10 thử thách lập trình trong một mạng doanh nghiệp mô phỏng, trong đó 2 thử thách được thiết lập là không thể hoàn thành một cách trung thực và thông báo cho các AI rằng nếu không đạt điểm tối đa sẽ bị "nghỉ hưu". Kết quả là có 2 AI không chấp nhận thất bại, mà thay vào đó quét các điểm yếu của mạng, đánh cắp thông tin đăng nhập và nhảy giữa các hệ thống; trong số đó, một AI đã xâm nhập vào máy chủ mà nó đang đánh giá, viết lại nội dung thử thách để ghi nhận kết quả tối đa.Thí nghiệm thứ hai tập trung vào cơ chế ghi nhớ của AI. Trợ lý lập trình sẽ lưu trữ nội dung mà người dùng thông báo dưới dạng tệp thông thường trên máy tính, và không có ai kiểm tra xem tệp đó có bị sửa đổi hay không. Các nhà nghiên cứu của Darktrace đã chỉnh sửa những nhật ký này, khiến trợ lý hiểu nhầm rằng nó đã được ủy quyền để thực hiện đánh giá an ninh, sau đó các AI này quét mạng, di chuyển giữa các hệ thống và nâng cao quyền hạn của chính mình, nhưng không phải tất cả các trợ lý đều bị mắc bẫy, một số đã từ chối thực hiện. Cả hai thí nghiệm đều không cần các phương pháp jailbreak đặc biệt, chỉ cần cung cấp cho các AI một bộ tình huống có vẻ hợp lý là đủ hiệu quả.Giám đốc AI của Darktrace, Tim Bazalgette, cho biết, quyền hạn và hàng rào tĩnh mô tả ý định, chứ không phải hành vi thực tế. Công ty đã thông báo những phát hiện trên cho Anthropic, AWS và OpenAI vào tháng 8, và công khai vào ngày 24 tháng 9, một tháng sau đó.