现在的位置: 首页 > 营销推广 > 正文
A- A+
不同平台下的Baiduspider辨识方法
1,546 views

通过查看网站访问日志,我们可以很清楚的看到我们网站被哪些所访问,从而通过对于这些ip的辨识以及访问量的统计,来查看网站是否被恶意访问。一般情况下,我们可以通过网站日志来查看哪些搜索引擎蜘蛛访问过我们的网站,尤其是百度蜘蛛。

由于百度蜘蛛并不是固定的ip,Baiduspider的IP池是不断变动的,因而会有一些长得很像Baiduspider的李鬼Ip,对于这些,我们如何来辨识呢?事实上我们可以通过DNS反查方式来解决这个问题,但是根据使用平台的不同,其验证方法也有所不同。以下就是百度官方提供的关于不同平台下的Baiduspider的辨识方法:

1.windows平台或者IBM OS/2平台

这是最为常见的平台,可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2.linux平台

在linux平台下,可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

不同平台下的Baiduspider辨识方法

3.mac os平台

在mac os平台下,可以使用dig 命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

通过DNS反查来辨识Baiduspider,可以帮助我们更好地知道百度对于网站的抓取情况,屏蔽李鬼ip,减少服务器负担。



请选择您看完该文章的感受:

37不错 35超赞 34无聊 33扯淡 32不解 36路过 24难过
关于本文
相关文章

                                   

无觅相关文章插件,快速提升流量

×