SEO优化中robots.txt的作用是什么?该如何去写?

     今天给深圳SEO给大家介绍一下什么是robots.txt,他的作用是什么?

SEO优化中robots.txt的作用是什么?该如何去写?

什么是robots.txt?

     这是一个文件,是搜索引擎抓取你网站看的第一个文件,通过这个文件你可以告诉搜索引擎哪些内容可以抓取,哪些内容不能抓取。说通俗一点,这个文件就是你网站的警示牌。
 

robots.txt有什么用?

     为什么要用到这个文件?这个文件的作用就是告诉搜索引擎我有些地方你不能抓取,例如你网站的后台管理文件、程序的脚本、数据库等文件。说简单一点,即使搜索引擎抓取了。用户也看不到,没啥作用。还能节省服务器的资源,更重要的就是能让蜘蛛围绕你的重点内容去抓取。
 

robots.txt的写法。

     1、用User-agent:来定义搜索引擎,其中*表示所有

     2、百度蜘蛛名字:Baiduspider,谷歌蜘蛛名字:Googlebot。

     3、User-agent:*表示定义所有蜘蛛

     4、 User-agent: Baiduspider表示自定义百度蜘蛛,

     5、User-agent: Googlebot表示自定义谷歌蜘蛛

     PS:可以参考京东或者淘宝的robots.txt,他么就是这样写的,但由于我们是小站,我们就设置来者不拒就行了。

     User-agent: *

     Disallow: /

     含义:表示禁止所有搜索引擎访问;

     User-agent: *

     Allow: /

     含义:表示允许所有搜索引擎访问。
 

     假设a是我网站根目录的一个文件夹,写法分别如下:

     User-agent: *

     Disallow: /a 

    含义:禁止搜索引擎访问a文件夹及a文件夹下面的所有文件
 

     User-agent: *

     Disallow: /a/

     含义:禁止搜索引擎访问a文件夹下面的所有文件,但是a文件夹是允许被访问的。


     $表示结尾,如果要禁止搜索引擎访问css结尾的文件,写法如下:

     User-agent: *

     Disallow: /*.css$ 

     如果要禁止搜索引擎访问js结尾的文件,写法如下:

     User-agent: *

     Disallow: /*.js$ 

     含义:*号表示所有,$表示结尾,上面两个举例则表示所有css或者js结尾的文件。
 

     禁止访问网站中的动态页面,写法如下:

     User-agent: *

     Disallow: /*?*

      注释:?表示动态路径,*号表示所有。
 

     禁止访问某个字母开头的文件

     为了隐藏我们网站的一些目录,如后台地址等,假如shenshan这个文件夹是我网站的后台地址,我不想让别人通过robots.txt文件看到它,可以这样写:

     User-agent: *

     Disallow: /hp*  

     这就表示所有hp开头的目录都不能访问。
 

我们需要禁止蜘蛛抓取哪些内容?

     一般来说,对于我们这些小站点。我们设置所有搜索引擎都可以抓取,而不能抓取的页面是哪些呢?例如重复的页面,百度最忌讳的就是这个,但你也避免不了有这种情况的发生,所以一定要检查好。另外就是网站css与js也需要禁用,因为百度蜘蛛很烦JS,那么他烦,我们就告诉他不要抓就得了呗。另外就是动态页面,搜索引擎同样也烦动态页面,我们也要禁止搜索引擎抓取动态页面。

     以上就是robots.txt的作用以及写法,做好robots.txt对网站SEO优化有着至关重要的作用.但我说的不是绝对,要看你的自身网站情况来定,好了,今天就讲到这里!

 
标签: SEO优化 SEO教程

内容版权声明:除非注明,否则皆为本站原创文章,张晓乐SEO优化交流群:SEO流量资源群

软文投稿、友情链接请联系QQ:916770530