了解各个搜索引擎蜘蛛的访问次数

gcmwvp

百度蜘蛛停留时间比较多，但是抓取量不算特别多，还需要查看百度蜘蛛抓取页面返回的状态码200，304和404所占比例。如果304比较多，那么是否考虑将这些蜘蛛资源进行合理的分配到未抓取的页面。如果404页面比较多，那就要考虑蜘蛛是不是被带进一些陷阱里面，检查网站内部造成404状态码的页面，并加以改正。
1、查看百度蜘蛛对于网站目录抓取的情况，从下面的抓取图中可以很清楚的看出百度蜘蛛对于home，product目录的抓取还是比较多的，对于网站内部另外一个重要的目录news抓取却不多，而这个目录就是网站每日更新做的比较多的工作目录。蜘蛛还抓取了一些后台文件目录如upload，files，img等。
2、查看搜索引擎蜘蛛的抓取概要分析，了解各个搜索引擎蜘蛛的访问次数，总停留时间，总抓取量和所占比例。
3、引导蜘蛛更多的抓取news目录下面的网页，如针对更新的页面创造更多的链接入口，其中包括站内的互相链接导入，站外的外链发布等。
4、查看网站的社区基本上已经没有更新，可以考虑先将home目录屏蔽掉，让权重和蜘蛛更多的导入进news栏目。product目录是一个比较重要的目录，但是更多的应该引导其抓取没有收录的或者新的产品。查看网站产品页面，发现对于相关产品推荐力度不够，可以在这一块进行改进。
5、运用robots文件或者nofollow标签，对于网站不重要的目录或者页面，以及后台的一些文件进行限制。