略析百度蜘蛛爬行

yumiao1018

　　首先，介绍一下百度收录。网络世界上有很多很多网站，网站中包含了许许多多的网页，不计其数，就像我们人一样，60多亿的人口。那么，有些人在世界上很有影响力的，比如成龙、李小龙、麦克杰逊等等，但像我们这些无名小卒，就那么的卑微了。对世界贡献大的，自然就出了名，那么我可以换句话来说，在网络上“有贡献”的，就会被百度收录，收录的是它的网络地址，被百度收录了，假如收录的威望很多，那你有可能出现在百度搜索的头条，而头条永远是备受关注，正因为这个位置谁都想争，随之便产生了SEO(搜索引擎优化)。
　　然后，收录的内容统一放在一个库里，有条有序，而这个库在网络世界中有一个很好的名字“数据库”，至于数据库的原理我就不多说了，这里大家主要认识到它是以一定格式保存或者记录数据的东西，“蜘蛛爬行“就用到这个东东。再跟大家说一下“蜘蛛”，当然不是我们日常所见的蜘蛛，简单来说它是一个计算机程序，爬行的过程就是实现算法的过程(至于说法，不能简单地理解为日常的算术过程，它的意义相当于一个活动的策划流程)，最近好像百度更改了搜索算法，但具体怎么改还是让大家慢慢去了解吧。
　　“蜘蛛爬行”形象一点，有纵向爬行也有横向爬行，也就是我们计算机专业术语的深度遍历和广度遍历，而遍历的内容就是大大小小的网站或网页，遍历过后蜘蛛主动下载网页，然后将下载回来的网页通过各种程序计算过后才放到检索区，才会形成稳定的排名，然后被百度的收录到数据库里，最后显示在百度网页上。而在这里，百度派出的不止一个“蜘蛛”，而是多个，或者十个，或者百个、千个，更或者万个、几十万个，总之它的数目肯定不少，而派出蜘蛛在这里就是计算机术语：线程。显然多个蜘蛛就是多个线程，多线程执行搜索的效率才会高。多个“蜘蛛”一起搜索，就是一个广度上的搜索，一个“蜘蛛”顺着某一个规则走下去，就是一个深度搜索。而网页的搜索深度优先和广度优先，百度蜘蛛抓页面的时候从起始站点(即 种子站点指的是一些门户站点)是广度优先抓取是为了抓取更多的网址，深度优先抓取的目的是为了抓取高质量的网页，这个策略是由调度来计算和分配的，百度蜘 蛛只负责抓取，权重优先是指反向连接较多的页面的优先抓取，这也是调度的一种策略，一般情况下网页抓取抓到40%是正常范围，60%算很好，100%是不可能的，当然抓取的越多越好。我在学习了解的过程中，偶遇了一篇介绍蜘蛛爬行的安全性的文章，里面介绍到了蜘蛛一般会优先选择遍历那些网站，会自动躲开那些网络漏洞，免得自己陷进去，这个挺吸引我的，弱弱记得这篇文章里介绍说：优先遍历静态网站，因为**站里可能存在死循环，这样蜘蛛进去就出不来了，不过一般蜘蛛搜索的过程会先检测网站的安全性，发现这些毁灭性的动作，就会避开。我想这点值得大家考虑一下在建立**站的过程中，一定要严谨自己的程序代码，免得造成网站漏洞，最后没有蜘蛛敢进去。