[25/May/2010:13:02:43 +0800] “GET /201005283.html?replytocom=155 HTTP/1.1″ 200 22851 “-” “Baiduspider虽然这些对SEO影响不是特别大,但很多细节我认为还是要注意的。所以我给博客创建了robots.txt文件,什么是robots.txt我们以前也说过,这里给大家贴一下我的写法:
User-agent: *有几条使用了通配符,把一些可能出现的重复页面全屏蔽掉了,TAG页面我也给屏蔽了,因为有时候一篇文章有两个或多个TAG,但这两个TAG其他文章又没有,所以会造成了重复页面的产生了。
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: */trackback
Disallow: /*?replytocom=
Disallow: /*?*
Disallow: /tag/
Disallow: */feed*
Sitemap: http://www.xiaohan86.com/sitemap.xml
Sitemap: http://www.xiaohan86.com/sitemap.xml.gz
如果你也是使用的Wordpress程序,正想找一份写好的robots.txt文件,那就可以直接下载本站的robots.txt文件了,记得网站地图那修改成你的网址。
没有评论:
发表评论