苏苏网赚论坛

 找回密码
 立即注册
查看: 7934|回复: 0

哥来告诉你们如何减轻百度spider对网站的抓取压力

[复制链接]
跳转到指定楼层
楼主
发表于 2018-12-11 15:24:48 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
百度spider对网站的抓取压力过大,会导致某些连接无法顺利的被抓取,这个时候优化人员改做些什么呢?
  减轻百度spider对网站的抓取压力,使用“503页面”
  站点的优化排名重要还是站点的用户体验度重要?苏州网站优化认为,优化排名和转化率并没有矛盾之处,优化的最终目的是让用户了解你、认识你,而转化率的提高是让用户认可你,因此,真正的网站优化就是站点排名和用户体验的结合,也就是转换率的提高和网站优化相结合,才能将一个站点从排名、站点内部把控和用户体验都提升到一定的高度,最终目标是实现转换率与流量的同时提高,在用户的角度上优化站点才能获得真正的效益。过了解网站转换率,使得网络营销变成一个可以量化的投资行为!

  如果百度spider对您的站点抓取压力过大,请尽量不要使用404,同样建议返回503。这样百度spider会过段时间再来尝试抓取这个链接,如果那个时间站点空闲,那它就会被成功抓取了。
  【“503页面”】:该页面临时不可访问,请过段时间再重试
  503返回码的含义是“Service Unavailable”,百度会认为该网页临时不可访问,通常网站临时关闭,带宽有限等会产生这种情况。对于网页返回503,百度spider不会把这条url直接删除,短期内会再访问。届时如果网页已恢复,则正常抓取;如果继续返回503,短期内还会反复访问几次。
  当然如果网页长期返回503,那么这个url仍会被百度认为是失效链接,从搜索结果中删除。
  其他几种百度支持的常用返回码:
  301:301返回码的含义是“Moved Permanently”,百度会认为网页当前跳转至新url。当遇到站点迁移,域名更换、站点改版的情况时,推荐使用301返回码,尽量减少改版带来的流量损失。虽然百度spider现在对301跳转的响应周期较长,但我们还是推荐大家这么做。
  404:404返回码的含义是“NOT FOUND”,百度会认为网页已经失效,那么通常会从搜索结果中删除,并且短期内spider再次发现这条url也不会抓取,个性404页面,以游戏的形式缓解枯燥的页面带给人的疲惫。
银杏树价格http://www.yxhmyl.com/
热帖推荐
回复

使用道具 举报

广告合作|最大的网赚客中文交流社区!十年老站!

GMT+8, 2024-4-29 23:05 , Processed in 0.171600 second(s), 23 queries , Gzip On.

Powered by Discuz! X3.1 VIP版

© 2012-2022 苏苏网赚论坛 版权所有 | 10年老品牌

快速回复 返回顶部 返回列表