5、网站全部被k了，通过日志来了解蜘蛛最近动作；
那么，在分析日志时，我们一般分析什么？分别得出什么结论，对我们接下来的工作有什么指导意义？
从蜘蛛角度分析日志时
一般直观得到 蜘蛛访问次数 蜘蛛停留时间 蜘蛛抓取量 与 蜘蛛返回码
可以计算得到 蜘蛛平均停留时间 蜘蛛平均抓取量 蜘蛛唯一抓取量 蜘蛛重复抓取率
我们知道 网站的收录与蜘蛛抓取非常相关 抓取量大说明网站页面受到蜘蛛的喜欢
所以：
1.抓取量与平均抓取量的提升与下降 可以看出网站的结构情况 蜘蛛总访问量说明网站的规模
2.平均停留时间说明蜘蛛爬行一个页面花费，减少这个时间无疑对网站有重要意义
3.唯一抓取量的数据，可以分析出网站是否让蜘蛛不断爬行无效页面 是否浪费很多蜘蛛 从蜘蛛重复率也是同理 重复抓取并不能让收录量提升 而收录量与网站整体权重与排名 和流量有很大关系