CEO của Microsoft: Cần coi các mô hình tiên tiến là rủi ro nội bộ, việc kiểm soát phải được đặt bên ngoài mô hình

Giám đốc điều hành của Microsoft, Satya Nadella, đã đăng bài thảo luận về cấu trúc niềm tin trong kỷ nguyên siêu trí tuệ. Ông cho rằng, phần mềm truyền thống có thể truy vết hành vi đến các đường dẫn mã cụ thể, trong khi các hệ thống siêu trí tuệ hiện tại thiếu sự hiểu biết cơ chế như vậy, không thể quy kết hành vi và đầu ra của mô hình cho dữ liệu huấn luyện hoặc cấu hình trọng số cụ thể, nhưng đang được triển khai và tiếp xúc với dữ liệu nhạy cảm, thực hiện các hành động quan trọng thay cho con người. Ông nhấn mạnh rằng không thể chuyển giao trách nhiệm cho hành vi trí tuệ cho nhà cung cấp mô hình, cũng như không thể coi siêu trí tuệ như một chiếc hộp đen nhiều lớp để chấp nhận hoặc từ chối các đề xuất và hành động của nó.

Nadella đề xuất rằng nên tách biệt việc cung cấp trí tuệ với việc ủy quyền cho trí tuệ, bao quanh các mô hình không xác định bằng thiết kế hệ thống xác định, kiểm soát bằng tay và quy trình vận hành, và thiết lập tiêu chuẩn ngành khi các tiêu chuẩn hiện có không đủ. Ông gợi ý rằng các mô hình tiên tiến với trọng số mã nguồn đóng và mã nguồn mở nên được quản lý như là rủi ro nội bộ, không phải vì chúng nhất định có ác ý, mà vì các thực thể hành vi có đủ khả năng và có thể tiếp xúc với các hệ thống quan trọng có thể mắc lỗi hoặc bị tấn công. Các biện pháp liên quan bao gồm thiết lập danh tính, hạn chế quyền truy cập, ghi lại hoạt động và thiết lập ranh giới cách ly, chuỗi tư duy mô hình cần phải minh bạch và trở thành điểm khởi đầu không thể thương lượng.

Ông tiếp tục nói rằng quyền hạn và kiểm soát hành động phải nằm ngoài mô hình, mô hình, lớp điều phối và không gian hành động nên được tách biệt. Các nguyên tắc bao gồm tránh để một mô hình duy nhất trở thành sự phụ thuộc duy nhất cho kết quả quan trọng hoặc tự xác minh công việc của chính nó, các hành động quan trọng phải để lại bằng chứng chống giả mạo và có thể đọc được bởi con người, liên tục kiểm tra các trường hợp thất bại, tấn công và biên giới, tổ chức quyết định độc lập về quyền truy cập và hành động, xác minh độc lập với trí tuệ được xác minh, giả định rằng mô hình đã bị tấn công và hỗ trợ tạm dừng hoặc đóng lại giữa chừng, cũng như kịp thời công bố và chia sẻ bài học trong ngành khi xảy ra sự cố hoặc bị tấn công. Ông kết luận rằng, hệ thống siêu trí tuệ đáng tin cậy nhất là hệ thống mà con người cần ít nhất phải tin tưởng vào mô hình.