百度spider不支持Crawl-delay设置对优化的影响

werrtt12334

百度spider不支持Crawl-delai设置对优化的影响
今天中午百度站长社区平台更新了一条公告，如下：
尊敬的各位用户，亲爱的站长们大家好：
近期，收到一些对Crawl-delai用法的询问，现明确百度对网站访问频率不再参考该设置，即不支持Crawl-delai配置，如果您希望配置网站针对百度spider访问频率，建议您使用百度站长平台的抓取压力反馈工具，先查询网站在百度近一个月的天级抓取量趋势图，可调节百度spider每天访问您网站的抓取压力上限，供百度参考，避免百度spider对站点抓取压力过大，造成网站服务器负载及抓取异常。
相信很多人都不清楚什么是Crawl-delai笔者也是才知道有这个东西，通过搜索，笔者了解到Crawl-delai翻译成中文意思是抓取延迟的意思。那么Crawl-delai底干什么用的呢?用在什么地方呢?笔者在一番查询之后整理出来，与大家分享：
要谈到Crawl-delai用途，还需要提及大家都比较熟悉的Robot协议，网站通过robot协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。而通过Crawl-delai可以设置一个让蜘蛛有较低的抓取请求频率，这样就可以降低了服务器的压力，而设置Cralw-delai大小应该根据服务器能够承受的压力和机器人的数量来确定。例如你希望yahoo机器人每2秒来一次，就应该先查看访问服务器的yahoo机 器人有多少个，假如有40个yahoo机器人，这个参数就应该设置为2*40=80但如果40多个爬虫恰好都在同一个时间段内采集，即便每只间隔100秒，40只先后脚的来爬，最后一只 爬完后，第一只的间隔时间又到造成的压力很大了不过这可能是最理想状态下才会发生的
接下来展示一个 Crawl-delai应用实例：
大家可以看到Crawl-delai后面的数值100表示告诉蜘蛛程序，以秒为单位的最低延时。如果crawler频率对您的服务器是一个负担，您可以将这个延时设定为任何您认为恰当的数字，每间隔100来爬行一次。这个设置似乎只针对于大站，小站很少见，设置Crawl-delai注要原因是蜘蛛程序爬的过快，会给服务器照成负担，影响正常的网站展示速度。
百度此次特地发出声明说不支持Crawl-delai设置，并不代表从此Crawl-delai设置无用武之地。目前支持这个参数的搜索引擎有Slurpyahoo和altaVista机器人)MSN使用的微软机器人，Googlebot还没有使用Crawl-delai参数，现在百度也没有，那么我可以反过来想，如果我主要是以百度搜索为主要推广手段以其他搜索引擎为辅助的话，可以在服务器条件不好的情况下，通过设置Crawl-delai降低其他搜索引擎的抓取频率，这样就可以合理的减少服务器压力，从影响优化因素的角度来讲也是一个好消息!
所以，不管百度怎么变，宗旨是不会变的围绕百度做优化的同时，合理的采取一些小技巧，也许会收到意想不到收获!
文章编辑由南昌胃肠检查独家编撰，转载请勿删除源地址!本文由 杜云生演讲视频全集 www.778011.com 收集整理，欢迎转载