如何使用 awk 统计 服务器日志每个url的访问次数(排除搜索引擎)?

日志格式为：

    
  117.72.201.7 - - [30/Jun/2012:00:04:09 +0800] "GET /news/3186 HTTP/1.1" 200 19048 "http://www.xxx.com/xxxx/xxx" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.106 Safari/535.2" -

如何统计分别统计出每个url的访问次数？ 需要排除各个搜索引擎的记录。

awk shell


share
桃黒亭一门 12 years, 10 months ago

Answers

用sed删除搜索引擎的访问记录；
参照这个问题 @用SHELL如何统计排序WEB ACCESS LOG

    
  sed "/Baiduspider/d;/Googlebot/d;/Sogou web spider/d;" xxx.log|awk -F' ' '{print $7}'|sort | uniq -c | sort -k1,2 -nr > times.txt


share
糟糕这翔里有毒 answered 12 years, 10 months ago

Your Answer

Ask Question
Related questions

如何用awk查找字符“,,”所在行

下面代码，awk中ARGIND为什么没有从 0 开始，而是从 1 开始？

shell筛选出同一ip在2次访问间隔不超过5分钟的记录

shell列出两个ip段的其他ip地址

awk 如何去除最后一个分隔字符？

shell如何按指定行数分割成多列