把互联网比喻成一个蜘蛛网

njsls10

搜索引擎就是在网上爬来爬去的蜘蛛。蜘蛛通过网页的链接地址来寻找网页，从网站某一页面开始，读取网页的内容，找到网页中其他链接地址，然后通过这些链接地址寻找下一个网页，这样一直寻找下去，知道把这个网站的所有网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
在通常情况下，蜘蛛完成某个网站的全部抓取以后，会隔一段时间又来看一下网站页面是否更新、是否有新产生的内容需要抓取，并根据网站的更新效率等因素逐渐养成爬行此网站的节奏。蜘蛛的爬行特性是根据网站的更新节奏而来的，如果网站的更新得越频繁，新内容越多，蜘蛛就会爬行得越快，随之而来的收录也就越快。所以，对搜索引擎优化来说要获得好地排名的基础，就是保证网页的收录，保证蜘蛛对网站有良好的爬行节奏。
在站长圈子中有一种玩笑说法，叫做圈养蜘蛛，大概的意思就是让蜘蛛保持对当前的热衷，提高爬行效率，增加网站内容收录的速度。这种说法虽然玩笑成分居多，但是从搜索引擎优化的角度而言，却是有一定道理的。因为达到圈养蜘蛛的目的需要两个条件：有足够的新内容；这些新内容有良好的更新节奏。如果一个网站没有足够多的新内容，蜘蛛在爬行完成以后就会变得比较懒，来访问网站的节奏会逐渐延长，及时收录新页面的机会就降低了。如果网站采用一次更新大量内容，然后长时间不更新得方法来建设内容，蜘蛛对新页面的抓取效率同样不会高。
所以对于中小型网站来说就需要养成频繁更新、稳定更新内容的优秀节奏