从网站蜘蛛中分析网站结构的不足，从而增加网站的收录

zhengjg

　　做网站优化的人都喜欢看百度蜘蛛，那么你知道为什么需要查看百度蜘蛛吗？以及百度蜘蛛应该如何查看呢？在这里我和大家一起分享下自己的看法吧。
　　所谓百度蜘蛛其实就是百度爬取你网站的记录，从网站的蜘蛛中我们可以得知网站的不足以及需要整改的地方，还可以从蜘蛛的爬取中推测出网站大概的发展方向，当然给K站做好充足的准备。
　　我们需要了解以下几个知识点
　　1.经常观察网站蜘蛛，统计一个月百度蜘蛛平均来访的次数，因为任何一个网站，百度蜘蛛来访的次数是一定的。
　　2.我们需要了解经常来抓取网站的几个IP段，以及查看这几个IP段的地理位置，这个是为了以后有新的IP来抓取提供好依据。
　　3.我们需要知道网站蜘蛛一天爬取的时间，以及分布时间，从中可以判断出蜘蛛的喜好程度。所以有规律的更新网站以及合理的发布外链，这点我们需要强调下。
　　4.网站蜘蛛的对网站栏目的喜好程度，我们可以用软件测试出一个月每个栏目百度蜘蛛的爬取程度，从而得知哪些页面过度抓取，哪些页面抓取不到，从中可以了解网站结构的大概修改方案，对于过度抓取的页面，我们可以nofollow掉，对于没有抓取的页面，我们可以想办法尽量曝光他们。
　　以上是本人的一些见解，以及平时就是这样操作的，希望对大家起到一点小小的帮助，网站日志的分析是我们SEOER必须的功课之一，希望大家有什么问题可以分享下。在这里AD下，最近操作的小站，朋友的。希望管理员不要删帖，谢谢。http://www.020lunwen.com