告诉你蜘蛛爬站的一些原理

lpatdj

网络蜘蛛英文Web Spider，这个名字形象的把互联网比喻成一个庞大的蜘蛛网，Spider在网上爬来爬去来抓取页面，它是通过网站页面的链接地址来找到网页，从网站某个页面(通常是首页)开始读取网页中的内容，找到网页中其他的链接地址，然后再通过这些链接地址寻找下一个网页，这么循环往复，直到这个网站所有页面抓取完。
网络蜘蛛有两钟抓取网页的策略：广度优先和深度优先。广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。深度优先是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易。

把整个互联网当成一个网站，Spider即网络蜘蛛就可以用这个方法这个原理把互联网上所有的网页全部抓取下来。


一个搜索引擎要抓取互联网上所有的网页那是几乎不可能的，截止目前已公布的数据来看，容量最大的搜索引擎也只不过抓取了整个网页数量的百分之四十左右，其原因一个是抓取技术的瓶颈，无法遍历所有的网页，很多网页无法从其他网页的链接中找到；另一个原因是存储技术和处理技术的问题，如果按照每个页面的平均大小为20K计算（包含图片），100亿网页的容量是100×2000G字节，即使能够存储，下载也存在问题（按照一台机器每秒下载20K计算，需要340台机器不停的下载一年时间，才能把所有网页下载完毕）。同时，由于数据量太大，在提供搜索时也会有效率方面的影响。因此，许多搜索引擎的网络蜘蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接深度。

上面所说，由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数，例如，A为起始网页，属于0层，B、C、D、E、F属于第1层，G、H属于第2层，I属于第3层。如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。 对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

网络蜘蛛在访问和抓取网页的时候，时常会出现加密数据和网页权限的问题，一个网站的网页权限有的是需要会员才能访问。当然，站长可以通过某些协议去禁止网络蜘蛛抓取，类似出售报告的网站是希望搜索引擎能搜索到他们的报告，但又限制不能完全免费提供给搜索者查看和阅览，这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛则可通过网站所给予的权限对这些网页抓取，从而提供搜索。然后当搜索者搜索点击该网页时，同样需要提供相应权限的验证。