分析apache日志中蜘蛛爬行记录数量的shell脚本(图文)
发布时间：2014-10-04 编辑：jiaochengji.com
一个可用于分析apache日志中蜘蛛爬行记录的数量的shell脚本，有需要的朋友可以参考下。
以下脚本用于分析apache日志中的蜘蛛爬行记录，能统计出各个搜索引擎的蜘蛛爬行了多少页面，给出一个清晰的统计结果，用来分析apache日志，真是挺不错的。
本脚本接收二个参考，参考一是日志所属的日期文件夹，参考二是日志的扩展名(在这里主要是轮循日志的序号，比如access.log.1，这里要传入的第二个参数就是1)。
完整代码如下图所示：
把以上代码保存为do.sh，并赋上执行权限：chmod +x do.sh 。
调用示例
在终端命令行输入：
# ./do.sh 201303 1
即统计分析 logs/201303 目录下的 access.log.1 日志文件。
统计结果如下图所示：
统计结果还是很清晰明了的，本脚本的完整源代码，教程集，稍后为大家奉上。
您可能感兴趣的文章：
分析apache日志中蜘蛛爬行记录数量的shell脚本(图文)
搜索引擎蜘蛛爬行统计分析
GOOGLE 工作原理分析
php 抓取蜘蛛爬虫痕迹的代码分享
自动统计网站访问日志的shell脚本
php记录蜘蛛爬行历史的实现代码
python和爬虫有什么关系
看懂IIS日志
php记录搜索引擎关键词的代码示例
python的爬虫是什么意思
[关闭]