Baiduのクローラーはページの情報を自動的に収集しています。しかし、サイトのルートディレクトリにrobots.txtというテキストファイルを作成し、このファイルにパス名を列挙することで、クローラーのアクセスを禁止することができます。また、crawl-delay フィールドにより、クローラーの訪問頻度を制限する事も可能です。
なお、クローラーはアクセス負荷軽減のため、一度読み込んだrobots.txtをキャッシュします。そのため、robots.txtの変更がクローラの挙動に反映されるまでに最大48時間ほどかかることをご了承ください。また、クローラのアクセスを停止した場合でも、検索結果からそのページがすぐに削除されるわけではありません。検索結果からの削除も行いたい場合は、お問い合わせページよりご連絡いただければ、早急に対応いたします。