热线QQ客服
扫一扫
刷百度指数二维码

扫一扫
刷百度指数专家

全国免费服务热线
18927460947

返回顶部

添加微信,免费了解SEO优化:

微信二维码

点击添加我为QQ好友:加好友

当前位置:主页 > 刷指数 > /正文

利于网站排名的Robots搜索引擎协议写法

分类:刷指数   时间:2018-08-06 11:22

1、淘宝的robots协议:
    User-agent:Baiduspider
    Disallow:/
    User-agent:baiduspider
    Disallow:/
    百度百科对robots的定义:Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。简单来说就是网站和搜索引擎签署的一个协议,协议里面的路径不要抓取收录。
    2、为什么要有robots协议
    Robots协议也就是robots.txt文本文件,当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt。如果存在,搜索爬虫就会按照该文件中的内容来确定访问的范围;如果robots.txt文件不存在,搜索爬虫将会抓取网站上所有没有被口令保护的页面。
    网站里面有低质量、死链接内容这样的建议屏蔽,百度如果抓取你的好多低质量页面会拉低网站质量,降低网站权重影响搜索引擎对你网站的印象,比如男女开始谈对象都会把不好的一面藏起来,还有网站后台会员隐私一般都屏蔽。

网站权重

3、robots协议写法
    User-agent描述搜索引擎的蜘蛛的名字
    Disallow描述不想被访问的路径
    Allow指示想被抓取的路径
    "*"通配符,表示匹配所有
    "$"结束符号
    Sitemap网站地图路径
    网站的robots协议是一个txt文本文件,robots.txt文件写好后要放到网站的根目录,可以通过访问路径:你的域名/robots.txt来检查正确性,可以在百度的站长平台检查协议正确与否,同时把网站地图路径加进去最好,有利于蜘蛛爬去和网站收录。
    4、Robots协议书写注意事项
    robots协议里的面首字母要大写,字母后面的冒号必须是英文状态;冒号后面"/"之前还有空格,在"/"后面如果只是屏蔽某个特定路径,千万不要再有空格,否则搜索引擎就会认为你是屏蔽整个网站。如果希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。
    这里区别一下“Disallow:/aaa/'和"Disallow:/aaa",前者这是屏蔽了aaa后面的路径不被蜘蛛抓取到,而后者则表示连同aaa这个路径也被屏蔽掉。

原标题:利于网站排名的Robots搜索引擎协议写法
本文地址:http://www.dongstv.com/szs/948.html
上一篇:百度点击算法和哪些因素有关
下一篇:搜索引擎排名过程介绍

更多利于网站排名的Robots搜索引擎协议写法

相关推荐
Tags:
刷指数

最新发帖





刷百度指数 联系我们
  • 咨询电话:18927460947
  • 客服QQ:208777028

  • 扫一扫关注我们的微信号

    刷百度指数二维码