ウェブマスターサポート

Baidu（バイドゥ）について > ウェブマスターサポート > クローラーについて

Baidu.jp のクローラーについて

クローラーとは

クローラーは別名スパイダーとも呼ばれる、インターネットを巡回し、検索エンジンで利用するデータを収集する自動収集型のプログラムです。Baidu.jpが運用するクローラーは、インターネット上のウェブページ（HTML）のURLリンクをたどることで情報収集を行い、Baidu.jp のデータベースに登録し、検索サービスに利用します。

現在使用しているクローラーのUser-Agent（UA）は下記の通りです。

    User-Agent:

  • Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
  • BaiduImagespider(+http://www.baidu.jp/spider/)
  • DoCoMo/2.0 P05A(c100;TB;W24H15) (compatible; BaiduMobaider/1.0; +http://www.baidu.jp/spider/)
  • DoCoMo/1.0/D506i/c20/TB/W20H10 (compatible; BaiduMobaider/1.0; +http://www.baidu.jp/spider/)
  • KDDI-CA3A UP.Browser/6.2.0.13.2 (GUI) MMP/2.0 (compatible; BaiduMobaider/1.0;+http://www.baidu.jp/spider/)
  • SoftBank/1.0/912SH/SHJ002/SN001111111111000 Browser/NetFront/3.4 Profile/MIDP-2.0 (compatible; BaiduMobaider/1.0;+http://www.baidu.jp/spider/)