MSN搜索引擎最近的收录变化分析

日期:2007-10-2 17:02:38

今天查看了下msn搜索引擎的收录情况，之前还有13个页面收录，10月1日就只剩下4个页面了，甚至奇怪。不过通过命令“site:www.tj66.net domain:www.tj66.net”查询，居然又多了2个页面出来：
www.tj66.net/banzhuren · 2007-10-1 · 缓存页面
www.tj66.net/zhongxuelunwen · 2007-10-1 · 缓存页面
缓存的页面全部都更新到10月1日。是否Msn终于要大更新天骄网了呢？
还是查看下MSN的蜘蛛爬行记录吧：），下载了站点的iis日志记录，查看了下当天10月1日的日志，其实还应该观察之前3天左右的日志。
在国庆节的时候，MSN的蜘蛛共爬行了天骄网48次，估计是有史以来最多的一次了。
站长博客爬行的次数最多，看来原创果然权重比较高，不管哪家搜索引擎都喜欢啊。www.tj66.net/Blog/jishujiaoliu/1198.html
www.tj66.net/blog与 /blog/index.html  这里出现了一个问题，没有301转向，频道首页被当作两个页面爬行了。
www.tj66.net/Blog/jishujiaoliu/25.html
www.tj66.net/Blog/jishujiaoliu/612.html
www.tj66.net/Blog/List_1.html
www.tj66.net/Blog/jianzhanriji/4.html

www.tj66.net/gaozhongjiaoan/gaozhongjiaoan01/53726.html
www.tj66.net/gaozhongjiaoan/gaozhongjiaoan01/53698.html
www.tj66.net/gaozhongjiaoan/List_17.html
www.tj66.net/gaozhongjiaoan/gaozhongjiaoan01/53697.html
www.tj66.net/gaozhongjiaoan/gaozhongjiaoan02/53814.html
www.tj66.net/index.html
www.tj66.net/banzhuren/index.html
www.tj66.net/Article/xiaoshuoyuedu/537.html
www.tj66.net/Article/xiaoshuoyuedu/537_9.html
www.tj66.net/Help/huiyuanhuodong/1178.html
www.tj66.net/Help/FAQ/513.html

www.tj66.net/chuzhongkejian/chuzhongkejian03/17703.html
www.tj66.net/chuzhongshijuan/chuzhongshijuan5/33731.html
www.tj66.net/zhongxuelunwen/index.html
www.tj66.net/gaozhongjiaoan/gaozhongjiaoan02/48236.html
www.tj66.net/chuzhongjiaoan/chuzhongjiaoan02/58065.html
www.tj66.net/gaozhongsucai/gaosanyinpinsucai/7116.html

/SiteMap/Article1.htm错误  已经删除的页面，爬行的时候出现了错误。
/SiteMap/Soft1.htm错误
另外，还爬行了几个动态页面。这是我最引为奇怪的。我已经设置不让蜘蛛爬行动态页面了，每次msn的蜘蛛来访总是先对robots.txt文件进行抓取的，算是所有搜索引擎中最关注该robots.txt文件的蜘蛛了，不管什么时候，只要重新抓取一次，就要再次先探下这个robots.txt文件，有时候一天都要抓取好多次这个robots.txt文件，却并不抓取任何页面。
煞是奇怪，难怪我写的robots.txt真的不是每家蜘蛛看得懂的？