网站根目录下的robots.txt文件有什么作用？

iyaner

网站根目录下的robots.txt文件用途就是用来告诉搜索引擎，你的网站哪些是可以被抓取、哪些是被禁止的！robots就好像是网站和搜索引擎蜘蛛之间的一道关卡，引擎蜘蛛在访问网站之前，需要先阅读你网站下的robots文件协议的规定，然后按照规定要求来访问和抓取网站的内容！下面，我们就来看看网站根目录下的robots.txt文件有什么作用？
1、减少不需要的服务器资源
我们的网站中，有些目录和文件页面，是没有必要让搜索引擎抓取和收录的，比如程序脚本，后台管理文件、样式表文件，图片等，既然这些没有必要被收录，那么，我们就需要在robots文件中，写协议规则来，告诉搜索引擎不要抓取和收录这些文件！收录了这些对用户没有多大作用的内容，不仅占用了更多的搜索引擎分配给我们网站的收录分配量，还会影响网站对用户的体验性！屏蔽掉这些没有必要收录的文件内容和网页，可以让搜索引擎有更多的机会和更多剩余的分配资源来抓取网站中更重要的，更有价值的文件和网页，提高用户体验性！
2、屏蔽网站访问页面的重复性和死链
有的时候，我们的网站中会有不通的链接地址形式，指向相同的或同一个页面，像这样重复的内容、页面或者404信息网页过多，搜索引擎蜘蛛就会认为我们的网站的价值不高，会导致对网站降权处理，这样就会影响我们的网站在搜索引擎中的排名。再就是死链，死链也对于网站seo优化是不利的，严重的话，会影响网站关键词排名！
3、屏蔽网站上一些比较大的文件
比如：打包文件、大图片文件、音乐文件、或电影文件、日志文件夹等等。因为这些文件被访问会加大网站服务器的响应速度，也会造成流量过大增加服务器的承载量，而影响网页访问速度！
4、可预防网站后台敏感信息泄露
有些入侵网站的黑客，他们会搜索网站的默认后台登陆地址，以达到入侵网站的目标。如果我们用robots协议屏蔽掉后台登录入口，想通过搜索网站后台侵入的黑客就会束手无策！一般我们的管理后台目录文件是admin，那么，我们的robots文件中可以添加这样的协议：
Disallow： /admin/
上面的一行协议表示禁止让搜索引擎蜘蛛抓取admin目录下所有文件
5、可通过robots.txt提交网站地图
我们可以通过robots.txt指定sitemap文件位置，主动引导每一个访问我们网站的搜索引擎蜘蛛去抓取sitemap网站地图，从而达到主动提交网站地图的目的。省掉了逐个依次向搜索引擎提交网站地图的麻烦！比如，苏苏网赚博客就是在robots.txt文件中添加了一条这样的协议（如下所示）：
Sitemap： http://www.muxufang.com/sitemap.xml
通过上面的简单介绍，相信各位站长已经对robots.txt文件的作用有了一个更加深入的了解！利用好robots.txt文件有利于我们的网站发展，和seo优化，提升排名和用户体验！