OpenAI 수석 과학자가 Astra 논란에 응답하며, 체인 사고 모니터링은 여전히 연구의 초점이다

OpenAI 수석 과학자 Jakub Pachocki는 오해의 소지가 있는 보도로 인해 모델이 "모니터링 불가능" 상태에 빠지는 경쟁을 피하고 싶다고 밝혔습니다. 그는 Astra를 포함한 현재의 최첨단 모델들이 GPT-4와의 계산 그래프 깊이가 두 배를 넘지 않는다고 언급했습니다. OpenAI는 첫 번째 추론 모델 출시 이후로 체인 사고 모니터링을 유지하고 활용하는 데 전념해 왔으며, 이 기술이 모델 정렬 능력이 훈련 분포에서 어떻게 일반화되는지를 관찰하는 데 도움이 된다고 생각하고 있습니다.

Pachocki는 또한 체인 사고 모니터링이 다소 취약하며, 그 추세가 낙관적이지 않다고 지적했지만, 연구를 통해 강화할 수 있으며 현재 OpenAI 연구 계획의 핵심 목표가 되었다고 말했습니다. 이전에 The Information은 Astra가 반복 깊이(recurrent depth)를 사용하여 동일한 Transformer 층 그룹이 반복적으로 계산하도록 한다고 보도했습니다. 이로 인해 일부 추론이 모델 내부에서 발생할 수 있으며, 모든 것을 사고 체인으로 작성할 필요가 없게 되면서 모델을 모니터링하기가 점점 더 어려워질 것이라는 우려가 제기되었습니다.