shell统计pv与uv、独立ip的方法

问题描述：
每天分析日志的哥们实在伤不起，经常需要给出PV,UV，独立IP等一些统计值，使用C/C++，java都可以写，过程是这样的，先读取文件，逐行扫描，把能标记的值放入数据结构中，排重得出最终结果，其实Linux本身有很强大的文本处理功能，完全可以用shell + 一些文本小工具得出结果。

Nngix输出的access log文件：
日志文件内容：
 

PV很简单，大致就是统计某个URL的访问次数，例如统计/index.html的访问次数
 

UV呢，根据用户标识(第四列) ，首先需要字符串截取，使用cut命令,以空格符号分割，-d “ ”, 再取第四列-f 4，然后这里需要排重，需要使用uniq工具，uniq速度很快，但是基于就近排重，前一个后一个一样会排重，之间间隔了不一样的，就不行了，这就必须使用sort工具来对标识符进行排序，排序后再使用uniq工具就可以达到目的，之间我们用管道符号链接, 最后再用 wc –l 输出统计数
比如，统计访问了/index.html这也页面的uv:
 

独立IP：
假设要统计整站的独立IP，那么不需要使用 grep来匹配具体页面，只需要使用cat输出即可：
 

awk命令完成了基本的统计需求。

有关awk命令的详细教程，大家可以参考：

您可能感兴趣的文章：
shell统计pv与uv、独立ip的方法
PHP高并发和大流量的解决方案
教你如何肉眼识别网站流量大小（交换链接必杀技巧）
shell脚本实现网站日志分析统计
如何用shell脚本分析网站日志统计PV、404、500等数据
PHP网站大流量与高并发的解决方法
inux shell初级入门教程
分析日志统计网站pv 404 500状态码的shell脚本
自动统计网站访问日志的shell脚本
如何使用Chrome控制台进行3D模型编辑的实现（代码）