выравнивание

Главный научный сотрудник OpenAI Якуб Пачоцкий 6 сентября 2026 года опубликовал статью «Иностранный разум». В статье рассматриваются результаты исследования RLSlow, впервые появившегося в середине 2023 года, о масштабируемом обучении моделей вывода, утверждая, что через три года модели языка вывода стали частью быстрого экономического роста, начали продвигать научные границы, способны управлять компьютерами и графическими интерфейсами, сотрудничать с людьми и другими ИИ и проводить исследовательские проекты, одновременно изменяя ландшафт компьютерной безопасности и создавая новые опасности.Автор на основе внутренних результатов ожидает, что текущая скорость прогресса может продолжаться до рекурсивного самоулучшения. Если развитие ИИ продолжится по текущему пути, в ближайшие годы системы могут продемонстрировать аналогичные или более значительные скачки в способности и все больше будут управлять своим развитием. Автор призывает к крайней осторожности, полагая, что никто не готов к последствиям быстрого роста машинного интеллекта. OpenAI продолжит искать технические решения для согласования и мониторинга, строить системы защиты и при необходимости в одностороннем порядке останавливать дальнейшую масштабируемость, но считает, что требуется более широкое вмешательство.В статье говорится, что машинный интеллект в основном движется за счет увеличения вычислительных мощностей, ИИ больше растет, чем проектируется. В аспекте согласования различаются целевое согласование и ценностное согласование, основной вызов заключается в обобщении. GPT-6 Astra значительно превосходит GPT-5.6 Sol по согласованию, но все еще требует большего прогресса. В области мониторинга основное внимание уделяется мониторингу цепочек мышления, оценки показывают, что зависимость от способностей постепенно ослабевает. В области масштабируемой защиты модели становятся сверхчеловеческими в преодолении компьютерных систем, в настоящее время существует узкое окно для значительного усиления безопасности ключевых систем с использованием лучших доступных моделей.

Главный научный сотрудник OpenAI Якоб Пачоцкий заявил, что надеется избежать гонки за "неконтролируемостью" моделей, вызванной вводящими в заблуждение отчетами. Он отметил, что современные передовые модели, включая Astra, имеют глубину вычислительного графа, которая не превышает в два раза глубину GPT-4. OpenAI с момента выпуска первых моделей вывода стремится сохранить и использовать мониторинг цепочного мышления, полагая, что эта технология помогает наблюдать, как способности модели к выравниванию обобщаются из тренировочного распределения.Пачоцкий также указал, что мониторинг цепочного мышления довольно уязвим, и тенденции не внушают оптимизма, но его все же можно усилить через исследования, и он стал центральной целью текущей исследовательской программы OpenAI. Ранее The Information сообщила, что Astra использует рекуррентную глубину, позволяя одной и той же группе слоев Transformer многократно вычислять. Часть вывода, таким образом, может происходить внутри модели, не требуя полного написания в виде цепочки мышления, что также вызвало опасения о том, что модели могут становиться все труднее контролировать.