为本博客创建了Robots.txt文件，屏蔽一些重复页面

今天分析本站的服务器日志时，发现蜘蛛爬行了很多重复的页面，比如评论分页什么的，爬得最多的是这种页面：

[25/May/2010:13:02:43 +0800] “GET /201005283.html?replytocom=155 HTTP/1.1″ 200 22851 “-” “Baiduspider

虽然这些对SEO影响不是特别大，但很多细节我认为还是要注意的。所以我给博客创建了robots.txt文件，什么是robots.txt我们以前也说过，这里给大家贴一下我的写法：

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: */trackback
Disallow: /*?replytocom=
Disallow: /*?*
Disallow: /tag/
Disallow: */feed*
Sitemap: http://www.xiaohan86.com/sitemap.xml
Sitemap: http://www.xiaohan86.com/sitemap.xml.gz

有几条使用了通配符，把一些可能出现的重复页面全屏蔽掉了，TAG页面我也给屏蔽了，因为有时候一篇文章有两个或多个TAG，但这两个TAG其他文章又没有，所以会造成了重复页面的产生了。

如果你也是使用的Wordpress程序，正想找一份写好的robots.txt文件，那就可以直接下载本站的robots.txt文件了，记得网站地图那修改成你的网址。