meta要素を利用して、クローラーからのアクセスを制御することができます。具体的な仕様につきましては、ロボット排除プロトコルに準拠しておりますので、具体的な設定方法は http://www.robotstxt.org/meta.html をご参照ください。