当前位置: 重庆seo » 重庆网站优化 » robots.txt文件的设置与写法
   

robots.txt文件的设置与写法

   
作者: 重庆seo博客 分类: 重庆网站优化 发布时间: 2018-03-31 13:59

网站robots.txt文件是站长与搜索引擎之间的一种,规则协议,也是蜘蛛来访网站的第一步,通常用于屏蔽不需要收录的页面、安全保密性操作。

一、了解robot.txt的重要性,可以屏蔽什么

1、搜索引擎抓取时的,抓取的第一个文件

2、保护网站隐私,信息泄露。网站后台、用户数据等

3、站在优化的角度,站内哪些页面需要参与排名,合理分配抓取资源:隐私内容、后台、数据文件、插件文件

4、屏蔽垃圾内容和重复内容,文中不必要链接、404页面

二、robots.txt文件存放位置

robots协议文件的写法

1、robots文件存放于网站根目录下,并且是以txt格式保存,没有可以新建一个上传。

2、写好robots的前提,需要你对网站程序有所了解,网站的路径结构、robots规则的熟悉。

三、robots文件语法规则的了解

1、 User-agent:该项的值用于描述搜索引擎robot的名字

常见的搜索引擎蜘蛛名称有:

1)、百度蜘蛛:Baiduspider,

百度旗下的其它蜘蛛类型:Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap)
2)、谷歌蜘蛛:Googlebot
3)、360蜘蛛:360Spider
4)、SOSO蜘蛛:Sosospider
5)、雅虎蜘蛛:Yahoo! Slurp China或者Yahoo!
6)、有道蜘蛛:YoudaoBot,YodaoBot(两个都有)
7)、搜狗蜘蛛:Sogou Spider
8)、MSN蜘蛛:msnbot,msnbot-media
9)、必应蜘蛛:bingbot
10)、一搜蜘蛛:YisouSpider
11)、Alexa蜘蛛:ia_archiver
12)、宜搜蜘蛛:EasouSpider
13)、即刻蜘蛛:JikeSpider

2、Disallow:用于屏蔽不希望被抓取的,目录或路径 

3、Allow:用于希望被索引抓取的目录或路径

4、使用“*”and”$”Baiduspider支持使用通配符“*”“$”来模糊匹配url
“*” 匹配0或多个任意字符
“$” 匹配行结束符。

robots协议怎么写语法规则

四、robots.txt文件写法

robots文件写法的难点区分: /date和/date/

User-Agent: *

Disallow:/date

/date.html/date.html/date/index.html  /date/abc/index.html  都是被禁止的

含义:屏蔽/date开头的路径,以及/date/目录下的文件和文件夹(包含子文件夹)

个人理解Disallow:/date等于Disallow:/date*


User-Agent: *

Disallow:/date/

/date/ 、  /date/abc.html、 /date/123.html  被禁止抓取   /date.html、/date12/ 、/date11.html是允许抓取的

含义:屏蔽/date/目录以及/date/目录下的文件和文件夹


User-Agent: *

Disallow:/*js$

屏蔽网站内的js代码抓取


五、robots.txt误写,错误屏蔽的恢复步骤

1.修改Robots封禁为允许,然后到百度站长后台检测并更新Robots

2.在百度站长后台抓取检测,此时显示抓取失败,没关系,多点击抓取几次,触发蜘蛛抓取站点。

3.在百度站长后台抓取频次,申请抓取频次上调。

4.百度反馈中心,反馈是因为误操作导致了这种情况的发生。

5.百度站长后台链接提交处,设置数据主动推送(实时)。

6.更新sitemap网站地图,重新提交百度,每天手工提交一次。

注意事项

1、首字母大写

2、冒号后面需要空格一下

3、全部使用英文输入

4、robots工具目前支持最大48K的文件内容检测

5、不要随便屏蔽整站生效时间,短的几天,长的一个月,有可能在robots.txt中禁止收录了,还是被展现。

总结:在了解网站的程序结构,熟悉robots.txt协议规则之后,遵循细化原则,把网站需要屏蔽和允许抓取的细化,慎用通配符以免造成匆屏蔽,就要即时处理了。最后在搜索资源平台—数据监控—robots进行验证测试。

版权声明
除非注明:重庆思追seo博客文章均为原创,转载请注明出处和链接!
本文标题:robots.txt文件的设置与写法
本文链接: http://www.kdiea.cn/jishu/937.html