Criteo crawler

Criteoクローラーとは？

Criteoクローラーは、ウェブページを巡回してコンテンツを解析し、そのページに関連した広告を提供するためのソフトウェアです。

Criteoクローラーのユーザーエージェントは、以下の通りです。

Criteoクローラーがウェブサイトを巡回する理由

Criteoは、信頼度の高いインパクトある広告で世界中のマーケターをサポートするグローバルテクノロジー企業です。顧客への深い理解や顧客との強固な関係構築を可能にするCriteo独自のテクノロジーを駆使して、あらゆる規模の企業をサポートしています。Criteoは、パブリッシャーパートナーのコンテンツの収益性を高め、広告を関連性のあるウェブページに配信することによって広告主をサポートする、コンテクスト広告サービスを構築しています。

これに伴い、Criteoはクローラーを使ってウェブページを巡回し、公開中のウェブコンテンツを解析していきます。つまり、対象とするコンテンツページのカテゴリーをCriteoのテクノロジーが識別し、たとえばスポーツとランニングシューズについて書かれた記事の場合、カテゴリーは「スポーツ」、サブカテゴリーは「ランニング」のように分類します。

Criteoクローラーがウェブサイトを巡回するタイミング

CriteoクローラーがURLへアクセスするのは、御社のウェブサイトからCriteoにドメインへの広告配信リクエストが送信された場合に限ります。Criteoクローラーにはウェブサイトへのアクセスに制限がかけられ、コンパイル済みのカテゴリーが無効になったか、あるいは最新ではなくなった場合のみアクセスを要求します。

ウェブサイト内で巡回対象となるデータ

Criteoクローラーがソースコードを抽出／格納することはありません。コンテンツが記述されている言語や分類されるカテゴリー（例：スポーツ > ランニング）といった、ページで公開されているコンテンツに関連するデータのみを対象とします。

Criteoクローラーはプライバシー保護に準拠したシステムであり、ウェブサイトを閲覧しているユーザーのデータにはアクセスせず、インターネットで公開されている一般的に入手可能なデータのみにアクセスします。

クローラーを許可する方法（2021年にリリース予定）

プレミアムパブリッシャーの多くは、Criteoクローラーによるサイトへのアクセスを明示的に許可しており、パブリッシャーはCriteoによるインベントリ分類を、ターゲットを絞り込んだキャンペーンの最適化に活用することができます。

Criteoクローラーを承諾するには、以下の例に従ってrobots.txtにパラグラフを1段追加してください。

クローラーの巡回対象から除外する方法

Criteoクローラーがサイトの特定のセクションを巡回しないようにしたい場合は、以下の例に従ってrobots.txtにパラグラフを1段追加し、除外したいパスを指定してください。

Criteoクローラーが特定のサイトそのものにアクセスしないようにするには、以下の例に従ってrobots.txtにパラグラフを1段追加してください。

注：

robots.txtの設定がまだ有効になっていない場合も、クローラーの巡回対象から除外することが可能です。

詳細情報

ダイレクトパートナーのお客様で、クローラーについての詳細情報が必要な場合は、Criteoの担当者にご連絡いただくか、crawler@criteo.comまでお問い合わせください。