利用robots.txt和Noindex调整不得言博客

利用51啦统计的数据下载功能，不得言仔细分析了近一年来博客的流量入口，经过再三考虑和准备，决定利用Nofollow和robots.txt限制部分页面被抓取或索引。造成百度谷歌以及其他搜索引擎收录量的减少那是不可避免的了，但我认为这一切还是值得的。

不得言博客流量分析

有个问题在脑海中萦绕不休，写博客到底是为了什么？记录生活工作，学习经验教训？好一个童话般的口号！而事实上我常常一不留神，注意力就开始偏向于博客访问量，关键词排名。要不是时常自我反省，早就为追逐流量而让博客变得庸俗不堪了。

曾狠下心在流量维持2500IP时，删除了两个最关键的词，使博客流量急剧下降，到如今只能保持在1100IP；事实上在一个多月以前，我还删除了近200多个文章标签Tags,这让百度收录量猛降。

图片分三部分，上面部分是百度统计数量变化数字，左下是51啦统计最高流量和现在流量概况，右下是百度统计百度收录量曲线图。此图经过简单加工，让有用的部分缩紧了，把空白的地方扔掉了，图片中的统计数字等没做改动。

仔细分析图可知，能形象的知道当时我删除对象的惊心动魄。8月10号动的手,23号写了写给一月后的我。——看着最高访问量时PV和IP之比，简直对我是极大的侮辱，按耐不住冲动和博客干了一架。从此世界安逸了一切消停了。

事实上，努力了2月之多，PV和IP之比也没有多少改观。悲哀！

上面是以前的动作，如今我又要动作了

我要做什么呢？

1. 给归档页面加上Noindex，让他们消失在搜索引擎中。
2. 给分类页面（除首页）加上Noindex，让他们在搜索引擎中消失。

第一条简单，在All in One SEO设置里，把“存档页面不抓取”选中即可；此项包含了作者存档、日月年度存档，设置会在这些页面源代码里加入下面代码：

<meta name="robots" content="noindex,follow" />

意思是告诉搜索引擎，你可以自由出入这个页面的链接，但不要索引抓取此页面，也就是说一切活动您照旧，只是别给我放出这些页面。

第二条，因为考虑到分类首页对我来说还用得着，因此需要robots.txt进行限制。在网站根目录下的此文件（没有请新建）里加入下一行：

Disallow: /*/page/

另外为了显示决心，决定把无关文件一并禁止。下面是我的robots.txt全文

User-agent: *
Disallow: /?
Disallow: /feed
Disallow: /*/*/feed
Disallow: /trackback
Disallow: /*/*/trackback
Disallow: /index.php?
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*/page/
Disallow: /wp-admin/
Disallow: /wp-includes/

有什么问题等到出问题在解决吧。