快捷搜索:  as  外链  seo工具  xxx  SEO监控  sem  高质量  seo外链专员
SEO培训教程网公告  辉宇SEO培训班:提供最新的SEO培训教程、SEO入门基础自学教程、SEO优化技术教程等,SEO交流群:241865235(每天前两名加群的朋友,免费分析网站)
SEO培训联系方式

robots.txt文件怎么写?最详细的robots.txt写法大全

相信很多学习SEO的朋友都会接触到robots协议文件,对于robots协议文件,很多SEO新手都处于懵逼状态,那么什么是robots协议文件呢?这个文件的格式和写法又是怎样的呢?如何创建robots文件呢?相信一系列的问题一直困扰着大家,今天小编就来给大家分享一下详细的robots.txt写法大全。

robots.txt文件怎么写?最详细的robots.txt写法大全

一.什么是robots文件?

robots文件类似与和搜索引擎之间的一个协议,网站能通过该协议文件告诉搜索引擎蜘蛛哪些地方可以抓取,哪些地方不能被索引,站长们通常会把网站不重要的地方禁止搜索引擎抓取,达到一个集权的目的。

二.robots.txt怎么写?

格式例子:
User-agent: *
Disallow:
 
1.User-agent: *:这里的*代表的所有的搜索引擎种类,*是一个通配符,也可以是具体的搜索引擎蜘蛛,如Baiduspider 百度蜘蛛。
 
2.Allow:是代表允许指令,就算不写指令,搜索引擎也是默认抓取,因此允许指令的作用没其他指令大。
 
3.Disallow:该指令代表禁止指令,按网站路径或者某一特性进行限制抓取,一般后面会加上禁止访问页面的路径,作用很大。
 
下面通过写作例子来给大家详细讲解,方便大家理解。
 
例1.禁止搜索引擎访问网站的所有内容
 
格式例子:
User-agent: *
Disallow: /
 
其中“/”代表网站的根目录,该意思就是禁止搜索引擎抓取网站根目录下的所有内容。
 
例2.允许搜索引擎访问网站的所有内容
 
格式例子:
User-agent: *
Allow: /
 
允许搜索引擎抓取网站所有内容,可以不用写robots文件,或者创建一个空的robots文件,搜索引擎默认抓取。
 
例3.仅禁止百度蜘蛛(Baiduspider)访问网站
 
格式例子:
User-agent: Baiduspider
Disallow: /
 
如果要禁止某一特定的搜索引擎访问网站,就需要在第一排指令填写该搜索引擎蜘蛛名称,而第二排禁止指令进行禁止访问,这个例子主要是限制百度蜘蛛访问网站,而其他搜索引擎则不受限制。
 
例4.仅允许百度蜘蛛(Baiduspider)访问网站
 
格式例子:
User-agent: Baiduspider
Allow: /
 
User-agent: *
Disallow: /
 
第一段的指令是允许百度蜘蛛访问网站,第二段的指令是禁止所有搜索引擎访问网站,而指令也分优先级,因此要把允许指令写在前面,禁止指令写在后面。
 
例5.仅允许百度蜘蛛(Baiduspider)和谷歌(Googlebot)访问网站
 
格式例子:
User-agent: Baiduspider
Allow: /
 
User-agent: Googlebot
Allow: /
 
User-agent: *
Disallow: /
 
和例4没什么不同,只是多加了一个优先指令而已。
 
例6.禁止所有搜索引擎蜘蛛(spider)访问指定目录
 
格式例子:
User-agent: *
Disallow: /XXXXXX/
Disallow: /YYYYYY/
 
这个例子比较特殊,而且涉及的知识点比较多,很多朋友就是没有注意到这些细节,导致一下屏蔽掉了整个网站,这个例子主要屏蔽/XXXXXX/和/YYYYYY/目录,搜索引擎就不会继续访问这两个目录。同时需要注意的是每一个目录都需要一个特殊的指令,必须分开声明,千万不要写成“Disallow: /XXXXXX/  /YYYYYY/”。

robots.txt文件怎么写?最详细的robots.txt写法大全
 
例7.允许访问特定目录中的部分目录
 
格式例子:
User-agent: *
Allow: /XXXXXX/YYYY/
Disallow: /XXXXXX/
 
如果被禁止访问的目录下有着想要搜索引擎抓取的内容,也可以使用允许访问指令,该例子前面允许访问特定的目录,而下面的父级目录被禁止访问的,不过只要优先允许访问特定目录,依然还是能访问的。
 
例8.使用“*”通配符限制访问特定url
 
格式例子:
User-agent: *
Disallow: /XXXXXX/*.html
 
如果有很多Url路径需要限制,一个个写禁止指令会花费很长时间,因此可以寻求这些Url路径的共性,然后采用“*”通配符进行限制,例子中的“*”就是代表任意字符都被限制。
 
例9.使用“$”结束语限制访问特定url
 
格式例子:
User-agent: *
Allow: /*.html$
Disallow: /
 
前面一排主要是允许搜索引擎访问以html结束的路径页面,“$”代表结束符号,也是非常重要的。
 
例10.禁止访问网站中所有的动态页面
 
格式例子:
User-agent: *
Disallow: /*?*
 
一般动态路径都包含"?"符号,因此可以限制带有"?"符号,就等于限制了搜索引擎抓取网站中所有动态路径。
 
例11.仅禁止百度蜘蛛(Baiduspider)抓取网站上所有的图片
 
格式例子:
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.bmp$
 
该指令是仅允许抓取网页内容,禁止抓取图片,当然仅限于百度搜索引擎,其他搜索引擎照样能抓取图片。
 
例12.仅允许百度蜘蛛(Baiduspider)抓取网页内容和jpg格式图片
 
格式例子:
User-agent: Baiduspider
Allow: /*.jpg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.jpeg$
Disallow: /*.bmp$
 
该指令是允许百度搜索引擎抓取网页内容和jpg格式的图片,不允许抓取其他格式的图片。
 
例13.仅禁止百度蜘蛛(Baiduspider)抓取jpg格式图片
 
格式例子:
User-agent: Baiduspider
Disallow: /*.jpg$
 
注意:每一个指令的“:”符号后面,都要空一个空白字符,同时每一个指令前面的第一个英文字母都是大写的,后面跟上小写的,这两点是非常重要的,需要大家注意。
 

三、如何创建robots.txt文件?

 
1.如果网站根目录下没有robots文件,可以新建一个txt纯文本文件,然后命名为“robots.txt”,然后在该文本中编辑相应指令,通过ftp上传到网站根目录即可。
 
2.如果网站本身就有robots文件,则可以下载文件进行修改,然后在上传覆盖即可。注意,robots文件一定要放在根目录下。
 
总结:以上就是岑辉宇给大家整理的robots文件相关介绍,关于robots的写法如果还有疑问的,可以私聊笔者。

您可能还会对下面的文章感兴趣:

SEO培训联系方式