如何通过网站日志来查看蜘蛛的规律

ff2000zz

查看搜索引擎蜘蛛爬行总次数

一个网站的收录首先要搜索引擎蜘蛛来到网站爬去才能够实现。通过查看日志能够清楚的看到每天蜘蛛访问网站的总次数有多少，从而大致的判断网站的权重如何。一个高权重的网站，蜘蛛来访的次数相对是较多的，相反，一个低权重的网站，即使有非常庞大规模的内容，蜘蛛来访的次数依旧有限。爬行次数有限，分配的时间和深度也就有限，所以收录也就受到了限制。所以我们的重点就是多提供百度来访我们网站的入口，只有入口多了，访问次数才能得到提升。

查看所有被爬行目录的整体情况 纸抽盒www.51chanjinzi.com

通过日志查看所有被爬行目录的整体情况，能让我们知道搜索引擎爬行最多的目录是哪些，是否是我们想要提供给用户的目录。一般可以非常清楚的看到排名前十位的目录，如果这些目录并不是我们重点提供给用户内容的目录，那么就需要做出调整，说明当前的一些目录被多度爬行了，而真正有价值的目录没有被搜索引擎过度重视，要及时发现并找到原因。

查看爬行榜前十名的页面情况

除了查看蜘蛛总访问次数以及爬行目录的整体情况，剩下一个非常重要的就是查看爬行总页面的情况。我平时分析网站的时候，时常会看到，被蜘蛛爬行前几名的页面都是一些无关紧要的页面，比如B2C购物车链接页面、比如联系我们页面、一些主题中CSS文件，这些页面和文件对排名和收录本来没有实际的帮助，但现实情况是蜘蛛爬行的最多，所以就会造成浪费，毕竟蜘蛛来访一个网站的总时间和总爬行次数是一定的，总抓取深度也是一定的，如果时间都浪费在了这些页面上，那么对于重点的内页收录就会受到影响。因此通过日志发现之后，就需要在robots.txt中屏蔽掉，或者在页面meta中屏蔽掉。

查看平均爬行一次的抓取深度 小吃车www.yyxxcc.com

通过日志查看平均一次的抓取深度能有效的了解到网站内部结构的不足。比如百度蜘蛛在某天访问网站总共818次，抓取量是978，那么平均每次抓取的页面数就为1.2页。其实这个数据也是普遍存在的现象，很多网站都存在这样的现象。这充分说明了网站的内部链接做的不足，或者网站结构存在问题，或者是内容出现了高度重复现象，导致蜘蛛来到网站，要么没有什么新发现，要么被结构所阻止，爬行不到新的页面。毕竟，蜘蛛平均在我们网站存在的整体时间是有限的，在这个有限的时间内，如果我们自己设置了障碍，那么蜘蛛就会走掉，是非常可惜的事情。

通过以上几点的说明，就能看到搜索引擎对我们网站访问的整体情况，了解了这些情况，在下一步的优化过程中就非常具有针对性。如果不通过日志，那么很多问题就只能看到表面现象，就会出现猜测是的结论，可能对网站起不到对症下药的作用。希望这篇文章能让更多的站长受益。