Robots.txt一个需要注意的细节

756961

　　今天终于把困扰我半个月的问题解决了，但是也因为这么问题使我的网站被降权了，主关键字排名被K。所以今天我写出来希望能给有同样问题的站长们一个解答，少走一些弯路。我的网站从2月份上线，从3月份开始就每天坚持原创+伪原创6-9篇。两个月的坚持得到了不错的回报，网站权重挺高，发布文章一般半小时内收录，并且能够获得一个不错的排名，偶尔从一篇文章就能带来几百的IP。
　　但是好景不长，在4月底的时候忽然发现百度开始不收录我写的文章了，同时谷歌也停止收录，我想到是不是我在robots.txt禁止了目录的抓取，但是查看了robots.txt并没有禁止抓取，出现这样的问题让我很是诧异。观察了几天一直都是这个问题，一直持续到5月13号，我通过谷歌网站管理员工具实验室中的“像googlebot一样抓取”发现，文章目录提示收到robots.txt拒绝，但是我的确没有禁止过这个目录。
　　一直找不到原因，在百度也没查找到相关资料，问了几个人，他们认为可能是服务器原因，因为蜘蛛爬行太过频繁，因此占用大量服务器资源，所以空间商禁止了蜘蛛抓取我的那个目录，但空间商一口否认。我也因此换了个空间，换到一个vps主机，并且使用一个备用域名进行调试，用抓取工具测试时提示抓取成功，问题的确没有出现。于是我把我的主域名解析上去，但是令我吃惊的是依然提示收到robots.txt**。
　　这样就排除了空间商的问题，在昨天晚上我仔细观察了一下robots.txt与谷歌管理员工具，发现我的robots.txt里的确禁止了/taobao/目录，而我的文章目录为/taobaozixun/。我联想到是否是因为在文章目录中有/taobao字样的关系，在谷歌抓取权限测试中，果然发现这个问题：
　　测试结果
　　网址 Googlebot Googlebot-Mobile
http://www.**x.com/taobaozixun/
　　阻止访问第 21 行：Disallow: /taobao
　　检测为目录;具体文件可能有不同**
　　果然我的联想没有错，于是我去掉了对/taobao/目录的**，第二天再次测试问题也终于解决了。这个问题困扰了我半个月，同时在百度大更新的时候一直无法抓取，同时更换了一次服务器，导致网站关键字排名被K，权重下降，不过权重会在我恢复更新之后慢慢上来，这也让我学到一个知识。同时希望能对大家有所帮助!