Cloudflare와 OpenAI가 시범 운영, ChatGPT가 수억 개의 새로운 웹페이지를 색인화하다

네트워크 인프라 회사 Cloudflare와 OpenAI는 2026년 7월 연구 파일럿을 시작하여 Cloudflare의 네트워크 신호가 ChatGPT 사용자가 새로운 콘텐츠를 더 효율적으로 발견하는 데 도움이 되는지 검증했습니다. 양측은 초기 결과를 긍정적으로 평가하며, 파일럿은 이전에 알려지지 않았던 페이지를 OpenAI 검색 색인에 포함시켜 ChatGPT가 인용할 수 있는 출처를 늘렸습니다.

파일럿은 Cloudflare 전체 네트워크의 약 1%의 참여 대기열을 사용하여 OpenAI가 수억 개의 새로운 웹페이지를 발견하고 색인화했습니다. OpenAI는 독립적으로 평가하고 관련성과 유용성에 따라 순위를 매겼으며, ChatGPT Search는 백링크를 통해 사용자가 원본 콘텐츠와 게시자를 확인할 수 있도록 합니다. 관찰 결과, 자동화된 트래픽이 존재하지 않는 페이지를 주목할 만한 것으로 보이게 할 수 있으며, 일부 사이트는 임의의 주소를 홈페이지로 리디렉션하거나 중복 콘텐츠를 가리키는 주소도 있습니다. 양측은 또한 합법적인 사이트에 삽입된 가짜 로그인 페이지와 같은 잠재적으로 유해한 페이지를 식별하기 위한 신호를 테스트하고 있으며, 전체 도메인이 아닌 단일 페이지를 표시할 것을 주장하고 있습니다.

관련 신호는 존재하지 않거나 리디렉션될 페이지를 필터링하는 데에도 사용되며, 변경되지 않은 페이지가 다시 방문할 가치가 있는지를 판단합니다. 페이지 신호는 방문 허가를 구성하지 않으며, 이 연구는 검색 및 발견을 위한 웹페이지 메타데이터를 사용하고 페이지 콘텐츠를 모델 훈련에 사용하지 않습니다. 사이트 소유자는 Cloudflare의 AI Crawl Control을 통해 AI 시스템이 자신의 웹사이트에 접근하는 방식을 이해하고 관리할 수 있습니다. 다음 단계에서는 페이지 선택을 개선하고 더 빠르고 신뢰할 수 있는 변경 신호를 테스트할 예정입니다.