Исследователь Anthropic уволился, заявив, что в следующем году AI может выйти из-под контроля

Исследователь Anthropic Джейкоб Коксон объявил о своей отставке и готовится покинуть индустрию ИИ. В течение последних трех лет он работал в OpenAI и Anthropic, занимаясь исследованиями предобучения. Он отметил, что обе компании не ответственно продвигают ИИ, конкурируя в создании суперинтеллекта, который сможет продолжать повышать свои способности, «ставя на кон наши жизни».

Он перешел из OpenAI в Anthropic именно потому, что последняя больше уделяет внимание безопасности моделей. Коксон признал, что работа Anthropic по безопасности серьезна, но считает, что пока компании продолжают конкурировать за создание AGI (универсального ИИ, который сможет превзойти человека в множестве задач), компромиссы в области безопасности неизбежны, и одной только самодисциплины компании недостаточно для решения проблемы. Его оценка обеих компаний такова: в OpenAI многие сотрудники еще не осознали, насколько велик этот риск; Anthropic знает о рисках, но считает, что на других полагаться нельзя, поэтому необходимо сначала сделать это самим.

Коксон заявил, что некоторые работники ИИ в частном порядке гораздо более пессимистичны, чем в публичных заявлениях, и даже опасаются, что ИИ может уничтожить человечество до конца этого десятилетия. Он сам считает, что в самом радикальном сценарии к концу следующего года ИИ может выйти из-под контроля, поэтому такое решение не должно приниматься только инженерами нескольких компаний.