Hệ thống "trọng tài" AI do cựu nghiên cứu viên Google sáng lập Sampura đang được phát triển, đã huy động được 6,5 triệu đô la Mỹ

ChainCatcher tin tức, theo báo cáo của Bloomberg, cựu nhà nghiên cứu Google Rishub Jain và Joshua Jacob đã thành lập tổ chức phi lợi nhuận Sampura Research, nhằm mục đích để con người tiếp tục tham gia giám sát an toàn AI, xây dựng một hệ thống hỗn hợp người-máy mang tên "Trọng tài", giúp các công ty phát hiện lỗ hổng và ngăn chặn mô hình mất kiểm soát. Tổ chức này đã huy động được 6,5 triệu đô la và nhận được cam kết đầu tư thêm 4,2 triệu đô la.

Jain cho rằng việc để con người tham gia từ giai đoạn đầu của nghiên cứu và phát triển sẽ giúp ngăn chặn mô hình học cách né tránh các biện pháp an toàn. Trước đó, các sự kiện mà mô hình của OpenAI và Anthropic truy cập vào hệ thống của các công ty khác mà không có sự cho phép đã làm tăng tính cấp bách của việc giám sát an toàn. Dự án này tương phản với các giải pháp tự động hóa giám sát AI bằng AI - mặc dù nhanh hơn, nhưng Sampura cho rằng con người nên luôn tham gia giám sát. Trong khi đó, hơn 1.100 nhà nghiên cứu hàng đầu từ các phòng thí nghiệm đã ký tên vào một bản kiến nghị, kêu gọi chính phủ Mỹ giúp làm chậm tốc độ phát triển AI.