您的位置:广州网站优化 > Robots文件是什么?Robots文件的知识解读。
时间:2020-05-19 19:19:04 来源: 编辑:广州网站SEO

Robots文件是什么?Robots文件的知识解读。
今天来了解一个可能有些人都没有见过的东西,就是robots文件。大家都知道人与人之间交往都会把最好的一面展示给对方,让对方更加喜欢。同样百度收录也为了展示更多有效有价值的页面,避免没有意义的页面,所以就有了这个robots文件。

Robots文件
当蜘蛛首次爬行我们的网站的时候,会优先爬行我们的这个robots文件,看看里面是需要爬行收录哪些和禁止收录哪些。但是robots文件不是每个目录下都要放的,下面我简单介绍一下怎么使用robots文件。
1、robots.txt的位置
robots.txt文本文件必须存放在站点的根目录,可以理解为跟首页是同一个页面。这样,蜘蛛会在爬行的时候就不用判断robots.txt文件在哪里,然后首先就爬行robots.txt文件。如果没有发现robots.txt文件,蜘蛛就会爬行所有的文件,增加了很多没有意义的操作,增加了蜘蛛的工作量。
2、robots的展现形式
一般当SEO工作者需要在网站中展现robots文件的时候,可以进行一些必要的代码添加。而常用的代码是<meta name="robots" content="index,follow"> , meta标签作用是展现网站的关键词和网站描述,name="robots" 是指识别所有搜索引擎;content="index,follow"搜索引擎索引页。

Robots文件
一个比较好的网站都会拥有一个robots文件,今天,你学会了吗?
robots.txt文本文件必须存放在站点的根目录下,也就是需要和首页在同级目录下。这样一方面优先百度查找并进行排除,一方面使百度蜘蛛没有必要去判断 robots.txt文件存放在哪个目录下。如果没有 robots.txt文件,会使百度蜘蛛爬行所有的网站,然后进行收录等,增加了一些不必要的操作,加大了百度蜘蛛的工作量。