可以靠蜘蛛爬取来分析吗

声雨竹

要优化的网站每天必须进行日常的维护与更新，很多注重内容的网站本身就可以给用户带来帮助和价值，因为如果你的网站有用户需要的内容，最起码可以让用户觉得“不虚此行”。这样既能留住客户的眼球了又能让搜索引擎“刮目相看”。判断一个网站内容质量的因素有很多，不同的网站面向的客户不一样，同样的网站不同眼光的人也会看出不同的看法，那么到底什么样的内容算是好的内容呢？
　　使用搜索引擎蜘蛛的爬取跟踪我们可以从中得到良多意想不到的信息从而更利于我们优化网站。
　　1、使用蜘蛛爬取的数量具体分析网站整体情形
　　我们可以通过IIS日志查询每天搜索引擎蜘蛛拜访我们网站的次数，并且可以知道它拜访了我们哪些页面，我们可以依据蜘蛛每天的爬取量就可以算出每个月蜘蛛的均匀抓取量，这样我们就可以进行对于比。
　　2、使用蜘蛛通知我们去世链接
　　去世链接对于网长短常大的，我们都知道，可以使用robots。txt来对于其进行屏蔽，但如何找出这些链接成为我们很头疼的问题，而搜索引擎蜘蛛会通知我们哪些是真正的去世链接，当蜘蛛爬取到一个去世链接网页的时候，会在IIS日志里返回