Руководитель исследований приложений OpenAI: от 80 до 90 процентов исследований сосредоточены на GPT-7 и позже

Пользователь choblin29 опубликовал сообщение, в котором руководитель исследовательского отдела OpenAI Борис Пауэр заявил, что компания уже на 80% до 90% сосредоточила свои исследования на GPT-7, GPT-8 и последующих моделях. Пауэр считает, что улучшения внутри одной и той же модели рассматриваются как краткосрочные инвестиции, которые могут быть использованы для ускорения текущего обучения, но не являются долгосрочной стратегией.

Согласно собранной информации, соответствующий путь заключается в том, чтобы сначала построить крупные передовые модели, а затем использовать их в качестве учительских моделей, дистиллируя в более мелкие и дешевые модели. Пауэр упомянул, что GPT-6 Astra может быть дистиллирована в модели, такие как Luna, и считает, что хорошим способом создания небольших специализированных моделей может быть предварительное обучение более мощной универсальной модели. Он также отметил, что текущей главной проблемой является не производительность модели, а то, что большинство пользователей все еще не понимают, какие задачи уже могут выполнять существующие ИИ.