プレスリリース

日本の皆様、始めまして。検索ポータルサイト「Badu.com」を運営している百度の日本法人代表取締役の陳海騰です。
弊社は現在、日本語版検索サービスを開始に向けて準備を進めておりますが、それにあたり、現在日本語サイトのウェブページの収集Spider（クローラ）を実施しております。

Baidu SpiderのUser Agent：
Baiduspider (http://help.baidu.jp/system/05.html)
BaiduImagespider (http://help.baidu.jp/system/05.html)

それに際し、現在、Baiduspiderが日本の各サイトにご迷惑をおかけしてしまったことに対してまして、百度株式会社の代表として心よりお詫びを申し上げます。

今後は、この問題について弊社全体が真摯に受け止め、日本のインターネット業界におけるルールに従い、このようなことが二度とないように努めていく所存でございます。

弊社はこれまで現れた問題について以下のように対処致しました：

1. 総合的な方法で、サイトの限界を評価し、サイトに対してページクローリングの頻度をコントロールします。
2. 自動的にサイトのフィードバックを探知し、サイトへのクローリングの頻度が大きすぎた場合、自動的に下げます。
3. 各種ページへのクローリング方法に対し、クローリングの頻度管理を統一します。
4. 時間帯により異なるページへのクローリングの頻度を調整する方法に対応し、なるべくサイトのアクセスピーク時を避けます。
5. Robotsプロトコルの対応を強化：Crawl-delayに対応し、Baiduspiderのページクローリング頻度の制限を調整しやすいようにします。
6. URLのフィルター方法および重複識別アルゴリズムを強化し、検索に対し無価値のページおよび重複のページへのクローリングを減らします。
7. 異なる種類のサイトに対し、ページへのクローリングの方式を変えます。
8. 「新しいページへのクローリング」及び「古いページへの更新状況のチェック」の更新頻度に応じてより高効率の更新メカニズムを採用します。

各サイト管理者様におきましてはBaiduspiderに対し、何かご質問がございましたら、たいへんお手数ですが、 webmaster-jp@baidu.com までにご連絡下さい。出来る限り、迅速に対応させていただきます。

以上