您的位置:广州网站优化 > 网站robots文件该怎么写?网站robots文件的写法分享。
时间:2020-05-21 16:31:51 来源: 编辑:广州网站SEO

网站robots文件该怎么写?网站robots文件的写法分享。
对于网站站内优化,相信对于robots的书写是非常重要的,robots相当于蜘蛛进入网站的第一道关卡,如果没有在这文件里面写入一些蜘蛛不能摸的东西,估计到时候蜘蛛就会给你曝光,所以robots文件的重要性就是如此的。
robots协议文件对于网站的重要性?

网站robots

1、减少蜘蛛工作量
robots.txt是搜索引擎蜘蛛访问网站时要查看的第一个文件,并且会根据robots.txt文件的内容来爬行网站。在某种意义上说,它的一个任务就是指导蜘蛛爬行,减少搜索引擎蜘蛛的工作量。
2、保护自己网站的隐私文件
当搜索引擎蜘蛛访问网站时,它会首先检查该站点根目录下是否存在robots.txt文件,如果该文件存在,搜索引擎蜘蛛就会按照该文件中的内容来确定爬行的范围;如果该文件不存在,则所有的搜索引擎蜘蛛将能够访问网站上所有没有被口令保护的页面。
robots协议文件对于不同热门程序的写法?
1.WordPress建站程序的robots.txt文件写法

网站robots
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: ***.com/sitemap.xml
2.DedeCMS建站程序的robots.txt文件写法
User-agent: *
Disallow: /plus/feedback_js.php
Disallow: /plus/feedback.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /member
3.discuz论坛建站程序的robots.txt文件写法
User-agent: *
Allow: /redirect.php
Allow: /viewthread.php
Allow: /forumdisplay.php
Disallow: /?
Disallow: /*.php
4.phpcms建站程序的robots.txt文件写法
User-agent: *
Disallow: /admin
Disallow: /data
Disallow: /templates
Disallow: /include
Disallow: /languages
Disallow: /api
Disallow: /fckeditor
Disallow: /install
Disallow: /count.php
Disallow: /comment
Disallow: /guestbook
Disallow: /announce
Disallow: /member
Disallow: /message
Disallow: /spider
Disallow: /yp
Disallow: /vote
Disallow: /video
所以对于robots协议文件的重要性,大家是不是都清楚了,一个网站程序如何缺少robots文件,对于网站就是一种致命的伤害,更不要说什么权重排名问题了,这些都是基本的优化操作,希望大家能够掌握。