如何分辨搜索引擎真假爬行蜘蛛

作为一名合格的网站长，我们应该学会如何辨别搜索引擎真假爬行蜘蛛，因为很多假搜索引擎蜘蛛，比如：百度假蜘蛛...等，每天都会使用工具伪造搜索引擎机器人假蜘蛛（robots）来恶意扫描我们的网站，主要目的就是为了扫描网站漏洞等...所以从安全的角度来讲，我们要学会看网站日志，网站日志里面就包含了所有的用户访问记录，包括：访问的时间、URL、UA信息...

一般在我们的网站日志里面每一条访问记录都包含了访问的：时间、URL路径、UA信息...，但是对于我们来说最终要的有时候却可能是IP地址，那我们就可以从IP地址入手进行IP反查，当然IP地址反查的方法就很多了，一种是通过在线IP地址查询工具，比如：IP138来查询、nslookup命令来反查主机名。

1、通过ip138来查询可疑搜索引擎假蜘蛛

比如我们要查询：123.125.109.194（这个是搜狗搜索引擎真蜘蛛）会显示以下：

能显示出搜狗机器人蜘蛛：sogouspider...sougou.com.这样的格式，就说明是真正的搜狗蜘蛛，反之不显示则不是。

2、我们还可以通过windows的cmd命令：nslookup 命令来进行NS记录查询真假搜索引擎蜘蛛。

按键盘上的win键+R键，弹出运行，输入：cmd敲回车，再输入：nslookup IP地址来就行反查解析的主机名。

如果是假的蜘蛛IP，比如：108.19.88.209 这个假蜘蛛IP则会显示：*** UnKnown 找不到 108.19.88.209: Non-existent domain（不存在解析记录）

怎么样？方法是不是很简单，轻松识别百度等搜索引擎真假蜘蛛？

相关内容标签