当前位置: 重庆seo » 重庆网站优化 » robots.txt文件写法
   

robots.txt文件写法

   
作者: 重庆seo博客 分类: 重庆网站优化 发布时间: 2016-12-20 17:19

robots是每一个站长必须要知道和了解的,写法要求:

1、所有的首字母大写

2、定义蜘蛛时名字不能写错

3、冒号后面需要空格一下

4、Disallow和Allowl的后面必须以/开头。注意都是在英文状态下书写,否则不生效。
对于书写格式错误、空白或导致搜索引擎不能识别的,都是默认允许。

robots.txt文件写法
常用的语法书写
1、User-agent: *
Allow: /
允许所有的搜索引擎访问所有的内容
2、User-agent: *
Disallow: /
Allowl: /news/
所有的搜索引擎只允许抓取news目录
3、User-agent: *
Disallow: /chongqing/*.html$
对于所有的搜索引擎,不允许抓取路径中包含有chongqing目录的所有路径。
4、User-agent: Baiduspider
Disallow: /*.asp$
Disallow: /*.php$
对于百度蛛蛛,不允许抓取所有以asp和php为后缀的路径。
5、User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.gif$
这段话连起来的意思就是,所有的蛛蛛,都不允许抓取常见的图片。
6、User-agent: Baiduspider
Disallow:
User-Agent: 360Spider
Allowl: /
User-Agent: *
Disallow:/
我的网站只允许,百度和360蛛蛛抓取。
7、User-Agent: *
Disallow:/*?*
禁止抓取所有的?路径,通常用于屏蔽动态路径
常见的错误写法
disallow: / 首字母没有大写
Disallow:/ 使用中文符号
Disallow:/ 没有空格

我们可以使用这些语句,根据自身的需要组合在一起,形成一个完整的robots协议,也可以参考别人的协议,访问网站域名+robots.txt

查询自己的网站的robots.txt有没有生效,可以在百度搜索资源平台,输入网址查询。
robots协议常用于屏蔽后台数值、js、插件、会员信息。对于整个网站的robots协议,只会遵循细化原则,最细的那条规则优先执行。

版权声明
除非注明:重庆思追seo博客文章均为原创,转载请注明出处和链接!
本文标题:robots.txt文件写法
本文链接: http://www.kdiea.cn/jishu/201.html