网站基础优化有很多，其中robots协议就是其中之一，今天就来谈谈百度robots协议解析，关于robots协议写法的相关问题。写好robots协议文件有助于我们的网站更快的收录及保护好网站。
一、什么是robots协议？
它是给于网站与蜘蛛之间的一种协议文件，所以其也可以称之为爬虫协议或者机器人协议。而百度站长平台给出的官方叫法是“网络爬虫排除标准”，通过这个文件网站管理员可以规定蜘蛛来到网哪里可以爬取，哪里不能爬取。
二、robots协议的意义
整个网站是由网站内容，程序，数据库信息等等相关的组合在一起搭建起来的，而网站里面的东西不是什么都需打百度蛛蛛爬取收录的，有的东西不能让其收录，如网站后台地址、登录信息，网站模板文件等等，这些东东西如果被蜘蛛爬收录了，不仅会降低网站排名的收录页面得分，还会泄露网站重要信息。
为了避免这一情况的出现，robots协议就在中间起到了重要的作用。
三、robots协议文件的格式及写法
User-agent:
该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。
如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent：*"这样的记录只能有一条。
一般都是用"User-agent：*"，允许所有引擎蜘蛛到网站收录页面。
Disallow :
该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。
例如：
"Disallow: /help"
对/help.html和/help/index.html都不允许搜索引擎访问，
而"Disallow:/help/"
则允许robot访问/help.html，而不能访问/help/index.html。
任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"robots.txt"文件中，至少要有一Disallow记录。
如果"robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。
四、robots.txt文件放在哪里?
robots协议应该放在网站根目录下面，当蜘蛛来了网站时第一时间是查看robots文件协议，然后会根据这个文件的协议规则来对网站内容进行爬取及收录页面。
seo文章优化技巧，高质量内容创造.jpg)
SEO优化百度移动端排名方法基础篇
手机端网站建站步骤
小墨如何做企业网站优化诊断？.jpg)
网站url路径要怎么去优化(wordpress)
网站关键词排名查询
搜索引擎优化学习五大招，快速掌握排名
做SEO必知的搜索引擎排名原理
网站404页面的SEO优化技术
网站栏目规划关键词