ウェブマスターサポート

Baidu（バイドゥ）について > ウェブマスターサポート > アクセス制御方法について

アクセス制御方法について

robots.txtファイルの使用例

例1. 全ての内容に対し、全ての検索エンジンを禁止 user-agent: *
disallow: /
例2. 全ての検索エンジンを許可（もしくは空ファイルを作成） user-agent: *
disallow:
例3. 特定の検索エンジンを禁止（ロボット名「badbot」の場合） user-agent: badbot
disallow: /
例4. 全ての内容に対し、Baidu.jpからの全検索エンジンを禁止 user-agent: Baiduspider
disallow: /

user-agent: BaiduImagespider
disallow: /

user-agent: BaiduMobaider
disallow: /
例5. 特定の検索エンジンを許可（Baiduspiderのみを許可） user-agent: Baiduspider
disallow:

user-agent: *
disallow: /
例6.特定の検索エンジンのアクセス頻度を制限（120秒間隔）
crawl-delay:この値は連続2回アクセスの間隔時間を表しています。		 user-agent: Baiduspider
crawl-delay:120
例7.簡単な例
このサンプルでは、サイト配下の3ディレクトリに対し、全ての検索エンジンを制限します。
（つまり、検索エンジンは3つのディレクトリに対してアクセスを行いません。）
注意すべきことは、ディレクトリごとに記述が必要となる点です。
"disallow: /cgi-bin/ /tmp/ " のディレクトリ名を続けて連記した場合、または“ disallow: /tmp/ * " 、" disallow:*.gif " のような書式は無効となります。
user-agent: の後ろの * は、全てのロボットという意味であり、連続2回アクセスの間隔時間は5秒としています。 		user-agent: *
disallow: /cgi-bin/
disallow: /tmp/
disallow: /~joe/
crawl-delay:5