影响蜘蛛抓取

ahlzhang

影响搜索引擎蜘蛛抓取的因素主要有：
　　1.网站和页面权重。质量高、资格老的网站被被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，收录也会很多。
　　2.网站的更新频率。蜘蛛每次爬行都会把页面数据存储起来。如果 第二次爬行发现页面与第一次收录的完全一样，说明页面没有更新，蜘蛛也就没有必要经常抓取了。页面内容经常更新，蜘蛛就会更加频繁的访问页面，页面上出现的新链接，自然会被蜘蛛更快地跟踪、抓取。参考文章：为什么说网站内容更新非常重要
　　3.网站的原创内容。原创的内容对于百度蜘蛛的吸引力是非常巨大的，原创的内容就好象是主食，蜘蛛是每天都需要的。参考文章：如何写出高质量的原创文章
　　4.网站的整体结构。包括：title中是否嵌入关键词、网站标题、meta中的关键字、描述标签、导航栏等。参考文章：如何构建良好的网站结构
　　5. 建设网站地图。网站地图就好比是一个指向标，唯有清晰明了的指向标才能指引蜘蛛的去向。方便快捷的道路也会勾引来更多的蜘蛛。
　　6.内部链接优化。蜘蛛来到你的网站之后，www.kerui85862210.com自然会通过你的网站结构，遍历你的网站，几乎能够跑遍你网站上的所有链接，这些链接一旦出现死链接，就很容易造成蜘蛛爬不出来，次数多了，百度自然会对你网站没有好印象。
　　7.网站的外部链接。要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。参考文章：高质量