当前位置: 重庆seo » seo基础知识 » 什么是robots协议
   

什么是robots协议

   
作者: 重庆seo博客 分类: seo基础知识 发布时间: 2016-12-20 12:15

什么是robots协议

搜索引擎与网站之间的协议,用于约束搜索引擎爬虫,保护网站安全及隐私,放于网站下根目录下.txt格式的纯文本文件。
搜索引擎来到我们网站首先会访问robots.txt,看看哪些是允许的,哪些是不能访问的之后,才进行抓取。没有robots或空白都是默认全部抓取。
只需要三个字段两个通配符
User-agent: 用户、来访者
Disallow: 不允许
Allow: 允许
“$” 一某某为后缀
“*” 匹配0或多个任意字符

版权声明
除非注明:重庆思追seo博客文章均为原创,转载请注明出处和链接!
本文标题:什么是robots协议
本文链接: http://www.kdiea.cn/jichu/190.html