许多建站程序，在完工网址后，都网址网站根目录，默认设置有robots.txt协议书文档。在网站优化市场竞争日趋严重的今日，本来开设之初无提升要素的robots.txt文档也被利润最大化应用，把握其书写，防患于未然。
一：robots.txt协议书文档有什么作用？
百度搜索引擎浏览一个网站的情况下，最开始浏览的文档就是说robots.txt。她告知百度搜索引擎搜索引擎蜘蛛，什么网页页面能够被爬取，什么严禁爬取。表层看来，这一作用功效比较有限。从seo优化的视角看来，能够根据屏蔽掉网页页面，做到集中化权重值的功效，这，都是提升工作人员更为注重的地区。
以某seo网站为例，其robots.txt文档如下图所示：
二：网址设定robots.txt的好多个缘故。
1：设定访问限制维护网站安全性。
2：严禁百度搜索引擎抓取失效网页页面，集中化权值到关键网页页面。
三：如何使用规范书写撰写协议书？
几个定义需把握。
User-agent表达界定哪家百度搜索引擎，如User-agent：Baiduspider，界定百度爬虫。
Disallow表达严禁浏览。
Allow表达运作浏览。
根据之上三个指令，能够组成多种多样书写，容许哪家百度搜索引擎浏览或严禁哪家网页页面。
四：robots.txt文档放到那边？
此文档需置放在网址的网站根目录，且对英文字母尺寸有限定，文件夹名称务必为小写字母。全部的指令第一个英文字母需英文大写，其他的小写字母。且指令以后要有一个英语空格符空格符。
五：什么情况下必须应用该协议书。
1：没用网页页面，许多网址常有在线留言，隐私条款等网页页面，这种网页页面相对性于seo优化而言，功效并不大，这时必须应用Disallow指令严禁这种网页页面被百度搜索引擎爬取。
2：动态性网页页面，公司类型网站屏蔽掉动态性网页页面，有益于网站安全性。且好几个网站地址浏览同一网页页面，会导致权重值分散化。因而，一般状况下，屏蔽掉动态性网页页面，保存静态数据或伪静态网页。
3：网站后台管理网页页面，网站后台管理还可以分类于没用网页页面，严禁百度收录有百益而无一害。
来源于：robots.txt协议书
