成果网广告联盟

日志剖析之辨别真假蜘蛛与处置方法

网站优化 2021-09-01 11:17153www.360aitou.net未知

一,关于日志剖析软件:

有关文章推荐:

四,怎么样处置假蜘蛛

日志剖析工具不少,用处大致都相同 ,假如你想要直观化的剖析可以选择一个很容易理解的日志剖析工具,譬如拉格号在线剖析工具等做合适!

二,日志重点剖析点

导读(日志剖析是站长需要要做的事情,假如一个网站主或者网站优化er不对日志进行剖析,那样他绝对不是一个合格的站长。日志剖析有关常识不少,我相信大多数站长对基础剖析都会学会,但一些深入的日志剖析问题可能多少有的迷茫!譬如如何辨别真假蜘蛛与处置办法!)

日志剖析的重点在于:

1.蜘蛛来类(百度,360,Google等),2.抓取目录与页面3.蜘蛛访问次数与访问时间(访问频繁代表蜘蛛喜爱此网站)4.网站安全与返回码(主要看是不是被挂黑链,返回码通常200是正常,但假如404页面返回是200就得主要,还有其他500与302应该注意)5.文章网站权重(部分工具可以剖析出访问蜘蛛的网站权重,网站权重蜘蛛访问则说明文章优质)。

对于怎么样分辨真假蜘蛛这里就详细的解答一下,办法不少譬如:

1、在linux平台下,可以用host ip命令反解ip来判断是不是来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名。

2、在windows平台或者IBM OS/2平台下,可以用nslookup ip命令反解ip来 判断是不是来自Baiduspider的抓取。打开命令处置器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能分析ip, 来判断是不是来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp的格式命名。

3、在mac os平台下,你可以用dig 命令反解ip来判断是不是来自百度spider的抓取。打开命令处置器,输入dig xxx.xxx.xxx.xxx(IP地 址)就能分析ip, 来判断是不是来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp的格式命名。

然后大家把有疑问的蜘蛛ip记录下来

譬如这个ip段的百度蜘蛛从访问的页面月状况码来看都不正常,所以大家就用上述的第二种方法查看!

操作步骤:打开电脑开始栏→输入cmd打开cmd.exe→用nslookup ip查看

大家可以通过查看有疑问的蜘蛛ip发现找不到!这样的情况就是假蜘蛛。而通常真常状况的蜘蛛是下面这种显示baidu字样的!

找到了假冒的蜘蛛那样到底这个假冒蜘蛛有哪些风险呢?我们在网上查找答案没找到有关权威的常识解答,于是去百度站长社区与反馈平台反馈得到的结果也不尽如意。于是就联络一些有过这样的情况的站长,经过他们以往的经验来看,我们得出以下的结论!

1、占用网站带宽,致使网站流量上升,增加额外开销,

2、在有限带宽的首要条件下,妨碍了正常蜘蛛的抓取,误导了大家在对网站拓展SEO工作时的思路,

3、部分伪装成假蜘蛛的采集工具剽窃了大家的工作

4..假冒蜘蛛不可以抓取内容,不可以形成建库网站收录,所以影响不是非常大。

所以假冒蜘蛛存在着一些风险,但总的来讲都在可控范围类,所以一旦发现假冒蜘蛛访问与抓取,可以暂时不需要屏蔽,可以先察看百度站长的网站抓取是不是正常,然后看具体的带来的害处,譬如是不是长期出现此类假冒蜘蛛。察看一段时间后假如没问题就不需要管,假如有影响就用robots协议屏蔽掉此ip段的假冒蜘蛛,不过应该注意的是在屏蔽的时候不要屏蔽错误。



三,怎么样分分辨真假蜘蛛

上一篇:哪种网站合适选择虚拟主机? 下一篇:没有了

成果网广告联盟-全球跨境聯盟行銷,最好的广告联盟平台 Copyright © 2002-2021 成果网广告联盟 (http://www.xyduanshipin.com) 网站地图 TAG标签 备案号