当前位置: 联商论坛 -  博文选编 -  贴子
3694  |  1

主题:百度蜘蛛Baiduspider User-Agent字段更新与IP判断

baobibo

积分:9275  联商币:2066
  |   只看他 楼主
来自百度站长俱乐部的消息:百度网页搜索spider(也就是大家俗称的百度爬虫、百度蜘蛛)的User-Agent字段内容于2011年5月10日更新。查看网站日志时会发现,以前baiduspider在爬取网页时,发送请求的User-Agent字段是这样的:

Baiduspider+(+http://www.baidu.com/search/spider.htm)

更新后的baiduspider User-Agent字段内容内容为:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Baiduspider User-Agent的更新,对于一般网站是没什么影响的,因为一般的网站都没有屏蔽百度蜘蛛,所以你不需要做任何修改;如果你通过robots.txt文件屏蔽了百度蜘蛛,也不需要做任何修改,因为百度蜘蛛名称依然是Baiduspider没变;如果你此前主动在服务器端封禁了百度网页搜索的User-Agent,那么建议修改服务器端要封禁的User-Agent字段,或者更换为robots封禁。

不知道Baiduspider User-Agent的更新,会不会让百度爬虫更加高效、百度的排名机制更加完善。做SEO的人知道,百度搜索的技术与Google不可同日而语,百度蜘蛛的低效、排名机制的不完善,让各位站长和SEOer伤透了脑筋!但是如果做中文站的话,百度的排名是必须要考虑的问题,因为百度在中文搜索领域已经几乎处于垄断地位了!
 
百度各个产品使用不同的user-agent:
产品名称
对应user-agent
无线搜索
Baiduspider
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider

有冒充百度蜘蛛抓取的情况,如何判断呢?
可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。
打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
回顶部

  快速回复 高级回复
用户名:   密码:   [注册]
[Ctrl+Enter直接提交帖子]  



网站简介 | 联系我们 | 法律声明

ICP证:浙B2-20070104