Criteo crawler

Что такое Criteo Crawler

Criteo Crawler — программное обеспечение, которое посещает веб-страницы и анализирует контент, чтобы демонстрировать на них релевантную рекламу.

Criteo Crawler идентифицируется следующим user-agent:

Зачем Criteo Crawler посещает мой сайт?

Criteo — глобальная технологическая компания, которая способствует успеху маркетологов по всему миру, предоставляя надежные и эффективные решения для рекламы. Criteo обеспечивает компаниям любого масштаба доступ к технологии, необходимой для лучшего понимания потребителей и удовлетворения их нужд. Criteo находится в процессе разработки решения для контекстуальной рекламы, которое позволит нашим партнерам-паблишерам монетизировать контент, а также поддержит рекламодателей, размещая их рекламу на релевантных веб-страницах.

Чтобы оно работало бесперебойно, Criteo будет анализировать веб-контент, находящийся в открытом доступе, с помощью Criteo Crawler. Технология будет идентифицировать категории контента на выбранной веб-странице. Например, статье про спорт и обувь для бега будет присвоена категория «спорт» и подкатегория «бег».

Когда Criteo Crawler посещает мой сайт?

Criteo Crawler будет подключаться, только когда ваш сайт отправит запрос в Criteo на размещение рекламы на вашем домене. Criteo Crawler посещает ваш сайт ограниченное число раз. Crawler запрашивает доступ к вашему сайту, только если имеющиеся категории более недоступны или устарели.

Какие данные моего сайта анализирует Criteo?

Criteo Crawler не запрашивает и не хранит исходный код. Он только анализирует данные о контенте веб-страницы, находящейся в открытом доступе, такие как язык и категории контента (спорт, бег и т.д.).

Criteo Crawler — система, отвечающая требованиям конфиденциальности. Crawler не имеет доступа к данным пользователей на вашем сайте. Crawler анализирует только данные, находящиеся в открытом доступе в интернете.

Как дать Crawler доступ к моему сайту? 

Многие премиум паблишеры открыто разрешают Criteo Crawler осуществлять доступ к своим сайтам. Паблишерам выгодно, чтобы Criteo категоризировал их инвентарь для оптимизации кампаний рекламодателей.

Чтобы предоставить доступ Criteo Crawler, пожалуйста, добавьте отдельный параграф в robots.txt:

Как мне отозвать доступ Crawler к моему сайту? (уже скоро: начало 2021)

Если вы хотите отозвать доступ Criteo Crawler к определенным секциям вашего сайта, пожалуйста, добавьте отдельный параграф в robots.txt и укажите путь к секции, которую вы хотите исключить:

Если вы хотите полностью исключить доступ Criteo Crawler к вашему сайту, пожалуйста, добавьте отдельный параграф в robots.txt:

Примечание
Вы можете отозвать доступ Criteo Crawler, даже если robots.txt еще не доступен.

Узнать больше

Чтобы узнать больше о Crawler, пожалуйста, свяжитесь с представителем Criteo, если вы являетесь нашим прямым партнером, или отправьте запрос на crawler@criteo.com