Shoal Research: 로봇이 HTML 요청의 60%를 차지합니다

연구 기관 Shoal Research가 발표한 보고서에 따르면, Cloudflare 네트워크에서 로봇은 HTML 콘텐츠 HTTP 요청의 약 60%를 차지하고, 인간은 38.2%를 차지합니다. Cloudflare CEO 매튜 프린스는 로봇 트래픽이 2027년에 인간을 초과할 것이라고 예측했으며, 이후 지능형 에이전트 트래픽의 증가로 로봇이 인간 트래픽을 초과했다고 발표했습니다.

보고서에 따르면, AI 애플리케이션은 사용자를 채팅 인터페이스에 유지하고 내용을 요약하며, 원래 사이트로의 유입을 유도하지 않습니다. AI 크롤러의 크롤링 및 재방문 비율은 Googlebot보다 훨씬 높으며, ClaudeBot은 지난 1년 동안 평균적으로 재방문할 때마다 약 4200페이지를 크롤링했습니다. Pew 연구에 따르면, AI 요약은 클릭률을 15%에서 8%로 낮추었습니다.

robots.txt와 콘텐츠 교환 트래픽 모델은 유지하기 어렵습니다. 소송과 개인 허가는 임시방편입니다. 요청에 따라 지불하는 것은 키가 있는 폐쇄 시장과 HTTP 402 및 스테이블코인을 사용하는 개방 프로토콜인 x402 및 MPP로 나뉩니다. 대부분의 웹사이트는 여전히 무료로 제공하거나 차단하고 있습니다.