芒果小站

  1. 全球最具业界良心的主机 - DigitalOcean

    毫无疑问,目前做得最好的主机供应商

    猛击这里查看

  2. 芒果小站目前使用的主机 - DigitalOcean

    客服响应快,随时退款,XEN 架构稳定

    猛击这里查看

  3. 最好的日本东京线路主机 - DigitalOcean

    可选弗里蒙特、达拉斯、亚特兰大、纽瓦克、伦敦、东京机房

    猛击这里查看

  • 1
  • 2
  • 3
切换到精简模式
4

用 Robots.txt 优化 WordPress

作者 芒果/分类 教程/发布于 2009-02-13 09:36

Robots.txt 文件用法举例:

例1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

例2. 允许所有的 Robot 访问
或者也可以建一个 robots.txt 空文件

User-agent: *
Disallow:
或者
User-agent: *
Allow: /

例3. 禁止 Spider 访问特定目录
在这个例子中,该网站有两个目录对搜索引擎的访问做了限制,即 Robot 不会访问这两个目录。需要注意的是对每一个目录必须分开声明,而不能写成 “Disallow: /cgi-bin/ /tmp/” 的形式。

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/

例5. 允许访问特定目录中的部分 URL

User-agent: *
Allow: /cgi-bin/tmp
Disallow: /cgi-bin/

例6. 使用 “*” 限制访问 URL
禁止访问 /cgi-bin/ 目录(包含子目录)下的所有以 “.htm” 为后缀的 URL 地址。

User-agent: *
Disallow: /cgi-bin/*.htm

例7. 使用 “$” 限制访问 URL
仅允许访问以 “.htm” 为后缀的 URL 地址。

User-agent: *
Allow: .htm$
Disallow: /

例8. 禁止访问网站中所有的动态页面

User-agent: *
Disallow: /*?*

例9. 禁止 Spider 抓取某种格式的图片

User-agent: *
Disallow: .jpg$

WordPress 的 Robots.txt 一般写法:

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback/

芒果的 Robots.txt

版权所有,转载请注明出处。
转载自 <a href="http://mangguo.org/use-robotstxt-optimize-wordpress/" title="用 Robots.txt 优化 WordPress" rel="bookmark">用 Robots.txt 优化 WordPress | 芒果小站</a>
如果喜欢这篇文章,欢迎订阅芒果小站以获得最新内容。

已经有 4 条群众意见

  1. mianfei /2009-04-25 03:51

    挺实用的,谢谢了。 回应

    #1
  2. ?
    利用Robots.txt优化wordpress | 埃右小居 /2009-08-15 20:37

    […] 引用来源 AKPC_IDS += "5742,"; var sogou_param = new Array(); sogou_param["pid"] = 'ellfame'; sogou_param["ct"] = 'context'; sogou_param["fmt"] = 'v_250_250'; sogou_param["iw"] = '250'; sogou_param["ih"] = '250'; sogou_param["charset"] = 'gb2312'; sogou_param["c_bo"] = 'FFFFFF'; sogou_param["c_bg"] = 'FFFFFF'; sogou_param["c_li"] = '0055E5'; sogou_param["c_te"] = '000000'; sogou_param["c_bt"] = '000000'; sogou_param["c_hl"] = 'EE6911'; sogou_param["sv"] = '1'; sogou_param["sl"] = '1'; sogou_param["hl"] = '0'; 分类: 博客代码 标签: seo, wordpress, 优化 RANDOM POSTS […] 回应

    #2
  3. dongbinghua /2010-09-13 16:49

    我一般是全站允许了。 回应

    #3
  4. 潘延锋博客 /2012-11-22 20:33

    有没有一种相对来说完美点的,我看了很多感觉现在一头雾水了,好像有很多种。 回应

    #4

下面我简单说几句