您的位置:广州网站优化 > Robots文件怎么写?Robots文件的写法技巧。
时间:2020-05-19 19:20:06 来源: 编辑:广州网站SEO

Robots文件怎么写?Robots文件的写法技巧。
网站优化过程中,有些时候,网站中有重要及私密的内容,站长并不希望某些页面被蜘蛛抓取,比如后台的数据,测试阶段的网站,还有一种很常见的情况,搜索引擎抓取的大量没有意义的页面。比如电商网站按照各种条件过滤、筛选的页面等,而要确保页面不被抓取,就需要使用robots.txt文件。
robots.txt是一个纯文本文件,用于声明该网站中不想被蜘蛛访问的部分,或指定蜘蛛抓取的部分,当蜘蛛访问一个站点时,它会首先检查该站点是否存在,robots.txt,如果找到,蜘蛛就会按照该文件中的内容来确定抓取的范围,如果该文件不存在,那么蜘蛛就会沿着链接直接抓取。即,只有在需要禁止抓取某些内容是,写robots.txt才有意义

Robots文件
robots.txt文件的的常用语法有三种,分别是:User-agent、Allow、Disallow,下面讲解三种语法的具体用法。
User-agent
指定robots.txt中的规则针对的是哪个搜索引擎蜘蛛。
针对所有搜索引擎所有搜索引擎直至的写法是User-agent:*,通配符*代表的是所有搜索引擎。指适用于百度蜘蛛的正确写法师User-agent:baiduspider。不同的搜索引擎,其蜘蛛名称也不相同,列举几个:
Allow
允许搜索引擎蜘蛛抓取某些文件,例如允许蜘蛛访问网站中的/a/目录,正确的写法是Allow:/a/。
$:表示匹配URL结尾的字符。例如允许直至抓取以.html为后缀的URL,写法正确的是Allow:html$。
Disallow
告诉搜索引擎蜘蛛不要抓取某些文件或目录,例如禁止蜘蛛抓取/admin/目录的写法是Disallow:/admin/。
禁止的目录或文件必须分开写,每个一行,例如禁止所有的搜索引擎蜘蛛抓取/a/、/b/、/c/目录,正确的写法是:

Robots文件
User-agent:*
Disallow:/a/
Disallow:/b/
Disallow:/c/
在网站优化中,seo人员需要熟练掌握robots.txt的基本语法,