meta要素を利用して、クローラーからのアクセスを制御することができます。以下にサンプルを示します。

1 . 全てのロボットを拒否する場合：
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="none">

2 . Baiduspaider のみを拒否する場合：
<meta name="Baiduspider" content="noindex, nofollow">
<meta name="Baiduspider" content="none">

3 . ページ内のリンクへのアクセスを拒否する場合
< meta name="Baiduspider" content="nofollow" >