首页 > WordPress > 巧设robots.txt,优化WordPress

巧设robots.txt,优化WordPress

在国内,站长们似乎对robots.txt并没有引起多大重视,看了下卢松松等一些博客,都没有放robots.txt。

            robots.txt是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛/爬虫机器人),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。 robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据。                                                                                        (资料来源 维基百科)

重视robots.txt,一定程度上提升网站对搜索引擎友好度。让Google、百度等搜索引擎更多的收录你的站点,也减少网络蜘蛛工作量,提高它们的效率;同时也会带来更多的访问量。

这是我的写法,仅供参考,请根据网站情况增减条目

   User-agent: *
   Disallow: /cgi-bin
   Disallow: /wp-
   Disallow: /feed/
   Disallow: /comments/feed
   Disallow: /trackback
   Disallow: /comments
   Sitemap: http://yeaher.net/sitemap.xml
   Sitemap: http://yeaher.net/sitemap.xml.gz
   Sitemap: http://yeaher.net/sitemap_baidu.xml

稍微解释下
    Disallow参数是禁止爬虫机器人访问该页面

关于禁用的原因

cgi-bin 提供CGI程序存放的目录

wp-

WP核心目录,必须禁止访问
feed 避免文章页面重复

comments/feed

避免评论页面重复

trackback

避免垃圾引用

comments

避免垃圾评论

有3个sitemap文件,因为我装了Google XML Sitemaps 插件和Baidu Sitemap插件,这样文章一更新或者爬虫机器人一过来。就可以被收录,间接提升搜索引擎友好度。

弄好之后,上传到网站根目录下,最好使用Google网站管理员工具测试下效果。

不足之处,请指正,谢谢!


  •   正在提交中,请稍候...
      评论提交成功
    回复 的评论,点击取消回复。

    113 COMMENTS

    1. SOHO一族2010-12-14 21:54

      嘿,我再对照着修改修改。

    2. 掩耳2009-12-04 21:02

      @小农夫
      /尴尬 学习是相互的学习!我们可以从对方身上学到更有用的东西!

    3. 掩耳2009-12-04 21:01

      @Louis Han
      为什么你要禁用多国语言啊?

    4. 掩耳2009-12-04 21:00

      @腾飞
      /可爱

    5. 掩耳2009-12-04 21:00

      @先看看
      还好吧,很多资料参考人家的!

    6. 掩耳2009-12-04 20:59

      @GEZ鸽子
      我设定的晚,昨天刚弄的!

    7. 掩耳2009-12-04 20:59

      @老七
      也类似的,改下对应的目录!

    8. 掩耳2009-12-04 20:58

      @卢松松
      以为你是SEO达人,结果一看robots.txt,什么都没有。。。

    9. 掩耳2009-12-04 20:56

      @星网
      也可以,不过还是设置下比较好! /坏笑

    10. 老七2009-12-04 19:21

      z-blog呢?

    11. GEZ鸽子2009-12-04 18:05

      我的早就设置好了!呵呵!

    12. 卢松松2009-12-04 17:27

      目前我也需要设置一下了

    13. 先看看2009-12-04 15:18

      又是一牛人啊

    14. 腾飞2009-12-04 13:32

      顶起@@@

    15. 星网2009-12-04 13:32

      不设置这个有没有关系? /白眼

    16. 小农夫2009-12-04 04:15

      看来小农夫要学习的东西实在是太多了。

    17. Louis Han2009-12-04 00:46

      我基本上就是这么设置的