OpenAI 응용 연구 책임자: 80%에서 90%의 연구가 GPT-7 및 그 이후에 집중됨

X 사용자 choblin29가 게시한 글에 따르면, OpenAI 응용 연구 책임자인 Boris Power는 회사의 80%에서 90%의 연구가 GPT-7, GPT-8 및 후속 모델에 집중되고 있다고 밝혔습니다. Power는 동일 세대 모델 내부의 개선이 내부적으로 매우 단기적인 투자로 간주되며, 현재 학습을 가속화하는 데 사용될 수 있지만 장기 전략은 아니라고 생각합니다.

해당 게시물에 따르면, 관련 경로는 먼저 대규모 최첨단 모델을 구축한 다음 이를 교사 모델로 사용하여 더 작고 저렴한 모델로 증류하는 것입니다. Power는 GPT-6 Astra가 Luna와 같은 모델로 증류될 수 있다고 언급하며, 소형 전용 모델을 구축하는 더 좋은 방법은 먼저 더 강력한 범용 모델을 훈련시키는 것일 수 있다고 생각합니다. 그는 또한 현재의 최대 문제는 모델 성능이 아니라 대부분의 사용자가 현재 AI가 이미 수행할 수 있는 작업을 이해하지 못하고 있다고 말했습니다.