网站SEO优化中Robots是什么意思，禁止收录Robots.txt文件怎么写

网站SEO优化中Robots是什么意思，禁止收录Robots.txt文件怎么写—梓琳SEO

文章来源：网站SEO优化—梓琳SEO 　　日期：2019-05-25 17:49 　　浏览次数：4173

Robots在网站SEO优化工作中，是比较重要的一个环节，特别是当你的网站包含不希望被搜索引擎收录的内容的时候，Robots.txt文件能告诉蜘蛛哪些可以抓取，哪些不能抓取。很多新手和站长朋友对Robots不是很了解，今天，网站SEO优化—梓琳SEO为大家分享的是：网站SEO优化中Robots是什么意思，禁止收录Robots.txt文件怎么写

网站SEO优化中Robots是什么意思，Robots . txt的定义
Robots . txt又称爬虫协议、机器人协议等。简单的来说，它告诉搜索引擎哪些页面可以被抓取，哪些页面不能被抓取。当蜘蛛访问站点时，它首先检查robots.txt是否存在于站点的根目录中。如果存在，蜘蛛将根据Robots . txt文件内容确定访问范围；如果Robots . txt文件不存在，蜘蛛将访问站点上的所有页面。

网站SEO优化中，Robots的作用
1. 引导搜索引擎蜘蛛抓取特定的内容或者栏目；
2. 屏蔽对搜索引擎不友好的链接，特别是网站版面大幅度修改或URL重写优化的时候；
3. 屏蔽死链和404错误页面；
4. 屏蔽无内容、无价值的页面，比如客户留言页面；
5. 屏蔽重复页面，如评论页面，搜索结果页面；
6. 屏蔽任何不想被抓取，不想被收录的页面；
7. 引导蜘蛛抓取网站地图。

Robots使用说明【百度站长】
1. robots.txt可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。
2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度生效的情况。
3. Robots工具目前支持48k的文件内容检测，请保证您的robots.txt文件不要过大，目录最长不超过250个字符。
4. 如需检测未验证站点的robots设置，请在百度站长上进行检测。

Robots.txt文件怎么写

robots.txt文件的写法，以www.zilinseo.com 梓琳SEO为例：
1、User-agent:(定义搜索引擎)
示例：
User-agent: *(定义所有搜索引擎)
User-agent: Googlebot (定义谷歌，只允许谷歌蜘蛛爬取)
User-agent: Baiduspider (定义百度，只允许百度蜘蛛爬取)
不同的搜索引擎的搜索机器人有不同的名称，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)
示例：
Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)
Disallow: /admin (禁止蜘蛛爬取admin目录)
Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)
Disallow: /lianxiwomen.html (禁止蜘蛛爬去lianxiwomen.html页面)

3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)

示例：
Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)
Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

4、匹配符 “$”
$ 通配符：匹配URL结尾的字符

5、通配符 “*”
* 通配符：匹配0个或多个任意字符

Robots.txt文件需要注意的问题

1、robots.txt 文件必须放在网站的根目录中，不可以放在子目录中。
比如以梓琳SEO为例，robots.txt 文件放网站根目录。通过http://www.zilinseo.com/robots.txt 你就可以访问www.zilinseo.com的robots.txt文件了。

2、robots.txt 文件命令必须小写，记得是robots而不是robot。

3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。

4、路径后面加斜杠“/” 和不加斜杠的是有区别的

比如：Disallow: /help
禁止蜘蛛访问 /help.html、/help/abc.html、/help/index.html
Disallow: /help/
禁止蜘蛛访问 /help/index.html。但允许访问 /help.html、/helpabc.html

网站SEO优化中Robots是什么意思，禁止收录Robots.txt文件怎么写—梓琳SEO的分享到这里就结束了，禁止收录robots文件相当于给蜘蛛方向指引，减少不必要的抓取任务。特别是当网站改版，有死链或者不想收录的页面的时候，Robots.txt文件更为重要。如果您的网站，现在行业内获得更好的排名，更多的流量，专业的事情找专业的人，网站SEO优化就找梓琳SEO平台。

上一篇：网站文章一定要原创文章吗—梓琳SEO

下一篇：百度站长必看：闪电算法，针对网站首屏加载时间问题—梓琳SEO

返回列表

分享到：