robots文件怎么写，robots文件对网站优化的作用

robots文件怎么写，robots文件对网站优化的作用—梓琳SEO

文章来源：梓琳SEO 　　日期：2019-10-14 19:30 　　浏览次数：5869

robots.txt是搜索引擎蜘蛛访问网站时要查看的第一个文件，并且会根据robots.txt文件的内容来爬行网站，在网站刚上线，或者网站改版工作中，也是非常重要的一个环节，今天，梓琳SEO为大家分享的是：robots文件怎么写，robots文件对网站优化的作用

Robots协议能更好的辅助搜索引擎蜘蛛抓取我们的网站提高抓取效率。网站上线后当天如果还没修改完毕可以利用Disallow: / 来屏蔽全站。

robots.txt是放在一个网站根目录之下的一个文件，并不是给用户看的，而是为了让搜索引擎看的。robots的意思可以翻译为搜索引擎机器人，也就是搜索引擎派出去爬取网站页面的蜘蛛，而robots文件就是蜘蛛爬取网站时需要经历的第一道们，通过robots文件可以明确自己的访问权限。形象的解释可以看做是限制某一些蜘蛛进入网站，以及限制进入了网站的蜘蛛访问网站内容权限。在某种意义上说，它的一个任务就是指导蜘蛛爬行，减少搜索引擎蜘蛛的工作量。

下图显示的是我们网站的robots文件内容。第一行的User-agent: *的意思是以下的Disallow命令是针对所有的搜索引擎的，也可以改为针对某一单独的搜索引擎。Disallow后的内容则是不允许搜索引擎爬取收录的内容。

1、自定义搜索引擎：
用User-agent：来定义搜索引擎，其中*表示所有。百度蜘蛛名字：Baiduspider，谷歌蜘蛛名字：Googlebot

User-agent：* 表示定义所有蜘蛛
User-agent: Baiduspider表示此抓取命令，针对百度蜘蛛
User-agent: Googlebot表示此抓取命令，针对谷歌蜘蛛

2、禁止访问和允许访问：
禁止所有搜索引擎访问：
User-agent: *
Disallow: /

=====华丽丽的分割线=====

允许所有搜索引擎访问：
User-agent: *
Allow: /
注意：在:后面/前面有一个英文状态下的空格，空格必须有，必须是英文状态下的

3、禁止搜索引擎访爬虫问网站中的某些目录：
假设【abc】是我网站根目录的一个文件夹，写法分别如下：
User-agent: *
Disallow: /abc
禁止搜索引擎访问abc文件夹及abc文件夹下面的所有文件

=====华丽丽的分割线=====

User-agent: *
Disallow: /abc/
禁止搜索引擎访问abc文件夹下面的所有文件，但是abc文件夹是允许被访问的

4、禁止搜索引擎爬虫访问某一类文件：
例如我们要禁止搜索引擎蜘蛛访问css、js、php等文件，可以这样写：
User-agent: *
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.php$
注意：*表示所有，$表示结尾

知道了robots文件怎么写，但是robots文件对于网站seo优化都有什么用呢？主要有以下五个方面促进网站优化推广，因为robots文件是针对搜索引擎的，所以运用好能够增加搜索引擎爬取网站的体验度，从而增加网站收录量。

1. 屏蔽网站的空、死链接
由于网站内容的修改以及删除，容易导致网站内的一些内链失效变为空链或者死链。通常我们会对网站定期检查空链和死链，将这些链接提取出来，写入robots文件之中，防止搜索引擎爬取该链接，间接提升搜索引擎的体验。该种方式是有效的，因为修改已经收录的内容时会使得搜索引擎重新的爬取修改过的网页，再次判断是否进行收录，如果没有继续收录了，那么就得不尝试了。

2. 防止蜘蛛爬取网站重复内容
因为网站很多的动态页面搜索引擎时无法收录的，所以很多时候我们需要对于这些动态页面进行制定一个静态的页面以助于搜索引擎收录。这时候就让搜索引擎不要爬取某一些重复的内容，可以减少站内的页面关键词权重竞争。

3. 防止蜘蛛爬取无意义内容，浪费服务器资源
网站上是有很多的内容都是一些无意义的内容，例如网站的各种脚本代码、css文件和php文件等等，这些文件对于网站优化都是无意义的，爬取这些网站不仅不会收录，而且还会浪费服务器的资源。上图中很多禁止访问的内容都是这类无意义的文件目录。

4. 保护网站隐私内容
网站有很多的页面都是有着一定隐私的，例如一个用户接受的推送又或者是购物车等等，这些链接虽然在一个页面之中有，但是显然是不希望搜索引擎爬取的内容。

5. 有利于网站调试
在网站初步上线前，或者网站改版的时候，都会有着一定的错误，需要一段时间的调试再对搜索引擎开放爬取，在调试期间就可以将robots文件设置为对于所有的搜索引擎都处于拒绝爬取状态，等所有的错误都解决后再修改robots文件。

需要注意的是：每次修改robots文件之后都需要到搜索引擎站长平台去提交robots文件更新提醒，因为搜索引擎更新网站的状态都是需要一定的时间，只有人工提交才能够让更新后的robots文件立刻生效。