SEO是什么

SEO是免费网络运营的核心技术,它是互联网搜索引擎至关重要的一步,它能带来想不到的收获...

您现在的位置是:首页 > seo技术 >

robots的写法,为什么要写robots协议?

发布时间:2018-10-10 22:02编辑:admin浏览(129)

    第一先了解什么是robots协议
     
    robots协议是网站一道门,可以控制搜索引擎的抓取,可以说我们的网站有不想让蜘蛛抓取的页面,就可以使用robots协议来解决,比如网站后台、呵呵!要是蜘蛛抓取了你网站的后台,你网站后台不就暴露在别人面前,心肠坏的人给你网站修改了!你哭都来不及!那我们要怎么写robots。
     
    robots协议的写法
     
    User-agent表示搜索引擎,当然搜索引擎有:百度(Baiduspider)、360(360Spider)、搜狗(Sogou News Spider)
    Disallow表示禁止蜘蛛抓取,Allow表示允许蜘蛛抓取。没有特殊要求Allow是默认抓取的,所以不用写!
     
    robots的写法详情图
     

    举个栗子:
     
    Disallow: /           禁止蜘蛛抓取整站(一定不能这么写)
    Disallow: /wp-admin/  禁止抓取网站中带wp-admin的文件夹。
    Disallow: /page/      禁止抓取网站中带page的文件夹。
    Disallow: /*?*        禁止抓取网站中的所有动态路径。
    Disallow: /.js$       禁止抓取网站中的所有带.js的路径。
    Disallow: /*.jpeg$    禁止抓取网站中所有jpeg图片
     
    认识一些简单语法符号
     
    / 表示的是网站根目录,后面“/”表示到这个文件夹为止。
    * 是所有的意思;例如:Disallow: /*.jpeg$ 是禁止抓取网站中所有jpeg图片
    $ 表示统配符结束语 
     
    robots协议的写法注意事项
     
    1、第一个字母必须要大写,
    2、写符号必须切换英文输入法,
    3、冒号后面有一个空格。
     
    robots在什么情况下使用
     
    1、用来屏蔽死链,(后面我会写怎么处理死链)
    2、用来屏蔽无内容页面和重复页面(统一路径 动态和静态)
    3、用来屏蔽个人网站隐私。