robots.txt はウェブサイトのルートディレクトリに配置してください。

例 ： robots はサイト （例えば http://www.baidu.jp ） にアクセスした際、まず http://www.baidu.jp/robots.txt というファイルが存在するかをチェックします。このファイルが存在した場合、ファイルの内容によりアクセス権限を特定します。

サイトの URL	対応する robots.txt の URL
http://www.w3.org/	http://www.w3.org/robots.txt
http://www.w3.org:80/	http://www.w3.org:80/robots.txt
http://www.w3.org:1234/	http://www.w3.org:1234/robots.txt
http://w3.org/	http://w3.org/robots.txt