Cloudflare проведёт эксперимент по блокировке ботов с искусственным интеллектом, если они не будут платить комиссию.

Cloudflare внедрила ряд новых мер, направленных на защиту от AI-ботов-краулеров. Теперь каждый новый клиент, регистрирующийся в компании для управления трафиком своего веб-сайта, будет получать запрос о разрешении или блокировке AI-краулеров. В 2024 году компания выпустила бесплатный инструмент для блокировки AI-ботов, но с этим изменением пользователи смогут блокировать их по умолчанию, без необходимости изменять настройки. Несколько крупных издательств, включая Condé Nast, TIME и The Associated Press, уже присоединились к блокировке краулеров.

Кроме того, Cloudflare запустила закрытое бета-тестирование эксперимента под названием "pay per crawl", который позволит краулерам получать доступ к контенту веб-сайта только на платной основе. Генеральный директор Cloudflare, Мэтью Принс (Matthew Prince), недавно заявил, что издатели сталкиваются с экзистенциальной угрозой, поскольку пользователи не переходят по ссылкам на источники в чат-ботах. Если пользователи не посещают эти источники, веб-сайты не получают необходимую рекламную выручку для поддержания своей работы.

“Оригинальный контент – это то, что делает Интернет одним из величайших изобретений последнего столетия, и важно, чтобы создатели продолжали его создавать”, – заявил Принс в своем заявлении, опубликованном вместе с последними обновлениями компании. “AI-краулеры бесконтрольно собирают контент. Наша цель – вернуть власть создателям, одновременно помогая компаниям, разрабатывающим искусственный интеллект, внедрять инновации. Речь идет об обеспечении будущего свободного и динамичного Интернета с новой моделью, которая работает для всех.”

Cloudflare считает, что издатели должны иметь возможность взимать плату с AI-ботов за доступ к контенту, и "pay per crawl" – это ее первый эксперимент для этой цели. “Каждый раз, когда AI-краулер запрашивает контент, он либо предоставляет намерение оплаты через заголовки запроса для успешного доступа (HTTP-код ответа 200), либо получает ответ 402 Payment Required с указанием цены”, – пояснила Cloudflare. Компания регистрирует эти транзакции и предоставляет базовую техническую инфраструктуру. Издатели смогут разрешить определенным краулерам бесплатный доступ к своему контенту, если захотят, и они могут установить фиксированную цену за запрос на всех своих веб-сайтах для других краулеров.

Компания отмечает, что "pay per crawl" находится на очень ранней стадии развития, и она ожидает, что инструмент будет развиваться в будущем. Также компания заявляет, что поддерживает разработку других торговых площадок и способов взимания платы с AI-краулеров за контент. Например, торговая площадка могла бы позволить динамическое ценообразование, которое позволит издателям взимать разные тарифы за разные типы контента.