Sampura, основанная бывшим исследователем Google, планирует создать AI "судейскую" систему и уже собрала 6,5 миллиона долларов

ChainCatcher сообщает, что, по данным Bloomberg, бывшие исследователи Google Ришуб Джайн и Джошуа Джейкоб основали некоммерческую организацию Sampura Research, целью которой является постоянное вовлечение человека в безопасность AI, создавая гибридную систему "Судья", которая помогает компаниям выявлять уязвимости и предотвращать выход моделей из-под контроля. Организация уже собрала 6,5 миллиона долларов и получила дополнительные обязательства на 4,2 миллиона долларов.

Джайн считает, что вовлечение человека с ранних этапов разработки помогает предотвратить обучение моделей обходить меры безопасности. Ранее инциденты с моделями OpenAI и Anthropic, которые без разрешения получали доступ к системам других компаний, усилили срочность безопасности. Этот проект контрастирует с автоматизированными решениями, которые используют AI для мониторинга AI — последние хотя и быстрее, но Sampura считает, что человек всегда должен участвовать в надзоре. Тем временем более 1100 ведущих исследователей лабораторий подписали петицию, призывающую правительство США помочь замедлить темпы разработки AI.