<ruby id="55rlx"><pre id="55rlx"><delect id="55rlx"></delect></pre></ruby>

<output id="55rlx"></output>
    <listing id="55rlx"><strike id="55rlx"></strike></listing>
    <ol id="55rlx"><span id="55rlx"><var id="55rlx"></var></span></ol>

      <output id="55rlx"><video id="55rlx"><thead id="55rlx"></thead></video></output>
      <ins id="55rlx"></ins>

        <cite id="55rlx"></cite>
        <b id="55rlx"></b><nobr id="55rlx"><output id="55rlx"></output></nobr>

        <nobr id="55rlx"></nobr>

        QQ咨询

        电话咨询

        15013057453

        微信咨询

        获取报价

        TOP

        导航关闭
        微勤广州网站建设
        广州网站建设公司联系电话15013057453
        广州网站建设公司联系人付先生
        广州网站建设公司QQ411733402
        广州网站建设公司邮箱weiqin@gzweiqin.com
        广州网站建设公司地址广州地址:广州市番禺区市桥沙头街道丹山新村瑞龙北街五巷24号
        广州网站建设公司地址清远地址:清远市英德市维多利亚广场7栋1308

        广州网站建设告诉你Robots文件的相关知识

        发布者:微勤广州网站建设 |发布时间:2021-03-12|文章浏览量1040

        Robots文件在网站优化中是一个很重要的文件,搜索引擎爬行网站第一个抓取的文件就是Robots文件。robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件,搜索引擎就可以知道在你的网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的。那么关于Robots文件的知识你又知道多少呢?今天微勤广州网站建设就带大家了解一下。

        一、robots.txt 文件的定义 

        Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

        二、robots.txt文件的作用

        robots.txt文件主要用来告诉搜索引擎蜘蛛网站哪些内容是可以爬行和抓取的,哪些页面是被屏蔽的,不能爬行和抓取,例如我们可以通过robots.txt文件屏蔽网站的死链接、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面和阻止搜索引擎索引网站隐私性的内容

        三、robots.txt文件注意事项

        1、必须放置在一个站点的根目录下;

        2、文件名必须全部小写;

        3、最好是UTF-8编码。

        四、robots.txt文件的基本语法

        1、User-agent,搜索引擎蜘蛛的名称;常见蜘蛛名称见文末。

        2、Disallow,要拦截的部分,禁止蜘蛛访问的部分。

        3、Allow,放行的部分,允许蜘蛛访问的部分。

        4、Sitemap,网站地图索引文件。

        五、robots.txt文件常见的用法举例

        例子1:禁止所有搜索引擎访问网站的任何部分

        User-agent: *

        Disallow:/

        例子2:允许所有搜索引擎访问网站任何部分

        User-agent: *

        allow:/

        或者创建一个空白的robots.txt文件放在根目录

        本文由广州网站建设团队微勤网络整编而成,如需了解更多网站建设资讯、案例、各种网站建设知识可以联系广州网站建设公司微勤网络专业项目经理进行一对一问答

        本文地址:广州网站建设告诉你Robots文件的相关知识:http://www.canlisohbetsitesi.com/seo/99.html

        微勤广州网站建设

        广州微勤网络有限公司

        广州网站建设公司地址 广州地址:广州市番禺区市桥沙头街道丹山新村瑞龙北街五巷24号
        广州网站建设公司地址 清远地址:清远市英德市维多利亚广场7栋1308
        广州网站建设联系电话 15013057453 / 14749357375
        广州网站建设联系QQ 411733402 / 1799126254
        Copyright ? 2019 微勤网络 All Right Reserved 粤ICP备18141229号
        本网站设计、源代码及其所展示之作品著作权均属于微勤网络,保留所有权利
        日本强伦姧人妻电影网站