Shoal Research: Роботы составляют около 60% запросов HTML

Исследовательская организация Shoal Research опубликовала отчет, в котором говорится, что роботы составляют около 60% HTTP-запросов к HTML-контенту в сети Cloudflare, а люди — 38,2%. Генеральный директор Cloudflare Мэттью Принс ранее предсказывал, что трафик от роботов превысит человеческий к 2027 году, а затем объявил, что рост трафика от агентов уже превысил трафик от людей.

В отчете говорится, что приложения ИИ удерживают пользователей в интерфейсе чата и подводят итоги контента, а не перенаправляют их обратно на оригинальный сайт. AI-роботы захватывают и возвращаются гораздо чаще, чем Googlebot; ClaudeBot в среднем захватывает около 4200 страниц за один визит за последний год. Исследование Pew показывает, что сводки ИИ снизили коэффициент кликабельности с 15% до 8%.

Модель обмена трафиком с помощью robots.txt и контента трудно поддерживать. Судебные разбирательства и частные лицензии являются временной мерой. Оплата по запросу делится на закрытый рынок с ключами и открытые протоколы, такие как HTTP 402 и стабильные монеты, такие как x402 и MPP. Большинство сайтов по-прежнему предлагают услуги бесплатно или блокируют доступ.