从搜索过来的比例很小, 只有20%多一点, 对这么小的一点数据来做一下分析吧, 这是3月份的数据. 先来看一下各机器人在本站拉网页的情况:

搜索机器人 文件数 字节数(MB)
MSNBot 7638+889 289.67
Googlebot 8397+19 206.46
Yahoo Slurp 9358+1082 122.41
BaiDuSpider 4252+35 73.45

    接下来是从搜索过来的访问的情况:

搜索网站 网页数 百份比 文件数 百份比
Google 5278 78.8 % 5286 72.7 %
Baidu 1078 16.1 % 1648 22.6 %
Yahoo 246 3.6 % 246 3.3 %
MSN 24 0.3 % 24 0.3 %

    如果本站的负荷出现问题, 首先可以想到的方法是将MSN和Yahoo的搜索机器人禁掉, 这样的话可以节约很多的流量, 但访问量不会有减少.